Nexus 1000V安装成功+分享
大体是参照 [size=5][url=http://www.netemu.cn/BBS/thread-11550-1-1.html][size=5][color=#000000]Cisco Nexus 1000V安装指南[/color][/size][/url][/size] 这个帖子来安装的,其间也参考了一些cisco的troubleshooting guide[b][color=red]注:Nexus 1000V跟传统交换机不同,希望用这个来练交换的可以打住。[/color][/b]
[b][color=#ff0000][/color][/b]
对于nexus 1000v,我认为是一个分离集中化同时又集中分离化的东西,说他分离集中化是因为整个平台的网络缩减到只需要在两台接入服务器的高密度端口的交换机上划分很少几个VLAN、剩下的都在VSM和vcenter上做就可以了。说他集中分离化则是指以后每台ESX就只相当于是整个交换网络里的一块板卡,与其他ESX的数据交互可以用传统交换机的板卡间流量交换来理解。
总的来说,nexus 1000v对于大量采用ESX的主机商是很有用的。
原文用的是Nexus1000v-4.0.4.SV1.1的版本,我用的是最新的Nexus1000v-4.0.4.SV1.3,应该差别不大。
Cisco Nexus 1000V安装指南
Nexus 1000V是Cisco推出的第一款纯软件的虚拟交换机产品,可以在VMware虚拟化环境中提供Cisco Catalyst交换机的功能,如QoS、ACL、SPAN等。
Cisco Nexus 1000V包含VEM和VSM两部分,其中VEM运行在ESXi服务器上取代VMware原有的虚拟交换机,VSM是一个单独运行的虚拟机,提供CLI接口,用于管理和配置整个虚拟交换机。
Cisco Nexus 1000V的具体安装步骤如下: (建议按照我描述的顺序来装,不要关注前面的序号)
安装环境:
ESXi 4.0 x 1 ip address: 192.168.0.10(要求enterprise plus的license)
vCenter Server x 1 ip address: 192.168.0.20 (最好单独装在一台win2003的虚拟机上)
vSphere Client and RCLI x 1 ip address: 192.168.0.30(包括两个软件,vSphere client和vSphere CLI)
Cisco Nexus 1000V mgmt ip: 192.168.0.50(既可以单独为一个VM,也可以装在ESXi上,单独装比较好些,不怕在做distribute virtual switch的时候断掉)
1、 从[url]www.cisco.com[/url]下载Nexus 1000V安装包,将安装包解压得到VSM和VEM安装程序(建议不要先用这里面的vem去装在esx上,原因后面有)。
http://tools.cisco.com/support/d ... t.x?mdfid=282362725
3、 在vSphere Client中,选择File > Deploy OVF Template,选中VSM目录中的Nexus1000v-4.0.4.SV1.1.ova,导入VSM虚拟机。(我装下来的感受,应该是用ovf目录里的那个ovf文件,ova这个在esxi 4u1上会用不了)
4、 启动虚拟机,选择安装Nexus 1000V,HA模式设定为standalone,定义管理地址及网关。
5、 查看虚拟机的host-id,并根据此id在[url]www.cisco.com[/url]上申请60天试用License。(最近貌似cisco网站有问题,我这两天申请过几次都没有成功,说网站出问题了)
[color=blue][code]#show license host-id[/code][/color]
6、 将下载的License文件放在TFTP服务器,并上传到虚拟机的bootflash中。(试用的话没必要搞license,默认的license可以支持16个VEM,时间应该是将近两个月,足够了)
[color=blue][code] #copy tftp://192.168.0.30/cisco.lic bootflash:
#install license bootflash:cisco.lic
#show license usage
#copy run start[/code][/color]
7、 在vCenter Server上安装Cisco Nexus 1000V Plug-in。(用vSphere client连到vCenter上去加,连到esxi上的时候是加不上去的,加上后状态显示download and install,点击连接无效,进度0%,但确实
是可用了)
用浏览器打开虚拟机管理地址(nexus VSM的地址),如[url]http://192.168.0.50[/url],下载cisco_nexus1000v_extension.xml,在vSphere Client中选择Manage Plug-in,右键点击空白处选择新建Plug-in,选择下载的
xml文件并点击注册。如果注册失败,可以删除此plug-in然后重新尝试注册,具体方法见如下的Nexus 1000V安装故障解决指南。
http://www.cisco.com/en/US/docs/ ... tall.html#wp1197079
2、 在ESXi服务器上安装并验证VEM。(这里,必须使用zip文件,用浏览器打开nexus VSM的管理地址,网页上有各版本esx对应的vem版本,先看清楚esx的版本,再去下载对应的vem,必须匹配,否则是装不上的)
将VEM目录中的cisco-vem-v100-4.0.4.1.1.27-0.4.2.zip复制到C:\Program Files\VMware\VMware vSphere CLI\bin\ 目录中,选择开始菜单中的
All programs > VMware >VMware vSphere CLI > Command Prompt
[color=blue][code]C:\Program Files\VMware\VMware vSphere CLI>cd bin
C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl -i -b cisco-vem-v100-4.0.4.1.1.27-0.4.2.zip --server 192.168.0.20 [/code][/color] (根据esx版本不同,不一定是0.4.2这个,esxi 4u1 打了20100518最新的补丁后对应的vem版本好像是对应的1.11.2那个,zip不一定要放在这个目录,在其他目录的时候打绝对路径就可以了)
[color=blue][code]C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl -q --server 192.168.0.20[/code][/color]
8、 从VSM虚拟机连接vCenter Server,如果连接失败通常是第6步没有成功注册Plug-in。
[color=blue][code]n1000v# config t
n1000v(config)# svs connection VC
n1000v((config-svs-conn)# vmware dvs datacenter-name DC-1 //这里貌似是要跟vcenter里的datacenter的名字对应起来(比如我下面取的名字就是dc)
n1000v((config-svs-conn)# protocol vmware-vim //如果没有注册plug-in,敲了这个命令会提示vmware-vim,但没有别的提示
n1000v((config-svs-conn)# remote ip address 192.168.0.20 //vcenter server的管理地址
n1000v(config-svs-conn)# connect
n1000v# show svs connections[/code][/color]
==============================================
这样就表示与vcenter的连接成功了
[color=blue][code]n1kv-VSM# show svs con
connection s1:
ip address: 192.168.126.130
remote port: 80
protocol: vmware-vim https
certificate: default
datacenter name: dc
DVS uuid: 17 f3 3a 50 1b f8 02 c5-d1 33 33 df 27 45 02 42
config status: Enabled
operational status: Connected
sync status: Complete
version: VMware vCenter Server 4.0.0 build-162856[/code]
[/color]
9、 定义VSM和VEM通讯使用的Port Profile。(如果是VSM为ESX上的一个VM的时候需要注意,否则很容易把与VSM的连接弄断,无法管理,搞得要重新import一次)
[color=blue][code]n1000v(config)# port-profile system-uplink
n1000v(config-port-prof)# switchport mode trunk
n1000v(config-port-prof)# switchport trunk allowed vlan 1
n1000v(config-port-prof)# no shut
n1000v(config-port-prof)# system vlan 1 //有时候在另外一个port-profile里执行system vlan 1也可以让某个可用的VEM up起来。。。很奇怪
n1000v(config-port-prof)# vmware port-group
n1000v(config-port-prof)# capability uplink //这条命令是直接敲进去回车,问号里是没有uplink的,敲进去以后在配置里也是看不到的。
n1000v(config-port-prof)# state enabled //这句相当于是启用这个profile,只有执行了state enabled,在vcenter的networking里才看得到,另外,貌似esx光加入这个DVS的port-group的话对应的VEM还是起不来的,至于什么样才能起来我也不能确定,比较奇怪的。估计是需要有个state enabled触发才会将配置下发到vcenter吧。[/code][/color]
10、 定义其他虚拟机数据和上联通讯的Port Profile。
[color=blue][code]n1000v$ config t
n1000v(config)# port-profile vm-uplink
n1000v(config-port-prof)# switchport mode access
n1000v(config-port-prof)# capability uplink
n1000v(config-port-prof)# switchport access vlan 262
n1000v(config-port-prof)# vmware port-group
n1000v(config-port-prof)# no shut
n1000v(config-port-prof)# state enabled
n1000v(config)# port-profile data262
n1000v(config-port-prof)# switchport mode access
n1000v(config-port-prof)# switchport access vlan 262
n1000v(config-port-prof)# vmware port-group data262
n1000v(config-port-prof)# no shut
n1000v(config-port-prof)# state enabled
n1000v(config-port-prof)# copy run start
[########################################][/code]
[/color]
11、 完成上述步骤后就可以在vSphere Client中的Inventory > Networking中看到Nexus 1000V,在Nexus 1000V上点右键,选择add host,把ESXi主机添加到分布式虚拟交换机(DVS)。
12、 验证安装是否成功
[color=blue][code]n1000v# show module
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
1 0 Virtual Supervisor Module Nexus1000V active *
3 248 Virtual Ethernet Module NA ok
[/code][/color]
要做多个VEM的实验可以这样,关闭之前的那个ESX,然后复制ESX虚拟机的文件夹(假设复制后的为ESX2),再在VM里打开ESX2,进去后,reset一下configuration,再重新配置IP地址、机器名之类的,最后加入到DVS
的port-group里,对应VSM那边最好state enabled一下,不一定是要包含这个VEM的port-group(就是这里觉得奇怪),需要这样触发一下新加的那个VEM才会UP。
VEM里的接口,是VEM对应的ESX的网卡加入到一个port-group后VSM里才出现对应的接口,而不是一下子这个槽的接口全部都出来,就是说有可能出现有interface ethernet 3/2而没有3/1的情况。
VEM的槽位号貌似是跟加进VSM的顺序有关,不过这几乎没有什么关系,因为ESX成为VEM基本都是在vSphere client里操作,而不是在命令行里去指定。
当VSM和VEM的svs neighbor建起来后,可以在配置里看到
[color=blue][code]vem 3
host vmware id 564d1f34-97a5-702a-76ef-27639f8f7519[/code][/color]
这个也可以手工进去配置,但邻居起来了配置里自动就会有,并且是删不掉的。
[color=blue][code]n1kv-VSM# show svs neighbors
Active Domain ID: 50
AIPC Interface MAC: 000c-29ba-7595
Inband Interface MAC: 000c-29ba-75a9
Src MAC Type Domain-id Node-id Last learnt (Sec. ago)
------------------------------------------------------------------------
0002-3d40-3202 VEM 50 0302 414.03
0002-3d40-3203 VEM 50 0402 408.94
[/code][/color]nexus1000v里有分routing-context,总觉得这个东西不伦不类的,明明管理地址是在routing-context management里,但在default里居然可以使用mgmt的地址来ping,看路由又看不到
==========================================================================================
做好两个VEM的情况:
[color=blue][code]n1kv-VSM# show modu
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
1 0 Virtual Supervisor Module Nexus1000V active *
3 248 Virtual Ethernet Module NA ok
4 248 Virtual Ethernet Module NA ok
Mod Sw Hw
--- --------------- ------
1 4.0(4)SV1(3) 0.0
3 4.0(4)SV1(3) 1.9
4 4.0(4)SV1(3) 1.9
Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
1 00-19-07-6c-5a-a8 to 00-19-07-6c-62-a8 NA
3 02-00-0c-00-03-00 to 02-00-0c-00-03-80 NA
4 02-00-0c-00-04-00 to 02-00-0c-00-04-80 NA
Mod Server-IP Server-UUID Server-Name
--- --------------- ------------------------------------ --------------------
1 192.168.126.140 NA NA
3 192.168.126.131 564d1f34-97a5-702a-76ef-27639f8f7519 esx1
4 192.168.126.131 564dac7a-cbad-39d9-68ff-ce4dcc6e4457 esx1
* this terminal session
[/code][/color]==============================================上面这个就是直接copy了ESX1的,没有reset configuration,但是改了机器名和地址的,在这里显示还是老的。
[color=blue][code]n1kv-VSM# show modu
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
1 0 Virtual Supervisor Module Nexus1000V active *
3 248 Virtual Ethernet Module NA ok
4 248 Virtual Ethernet Module NA ok
Mod Sw Hw
--- --------------- ------
1 4.0(4)SV1(3) 0.0
3 4.0(4)SV1(3) 1.9
4 4.0(4)SV1(3) 1.9
Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
1 00-19-07-6c-5a-a8 to 00-19-07-6c-62-a8 NA
3 02-00-0c-00-03-00 to 02-00-0c-00-03-80 NA
4 02-00-0c-00-04-00 to 02-00-0c-00-04-80 NA
Mod Server-IP Server-UUID Server-Name
--- --------------- ------------------------------------ --------------------
1 192.168.126.140 NA NA
3 192.168.126.131 564d1f34-97a5-702a-76ef-27639f8f7519 esx1
4 192.168.126.132 564dac7a-cbad-39d9-68ff-ce4dcc6e4457 esx2
* this terminal session
[/code][/color]=============================================这回是改好了的
[[i] 本帖最后由 flickxie 于 2010-5-18 23:55 编辑 [/i]] 嗯。。。。。发出来了才发现,很乱,哈哈,不管了,凑活看吧y133
nd,60秒之内不让再发帖,太恶心了y072 楼主可否把支持的电脑设备清单列出来?
本帖肯定是近段时间的热贴了!
[[i] 本帖最后由 powercharme 于 2010-5-19 00:49 编辑 [/i]] Nexus1000v-4.0.4.SV1.3.zip
VMware-esxi-VMvisor-Installer-4.0.0.Update01-208167.x86_64.iso
VCenterServer-all-4.0.0-162902.iso
vSphere client在装好了esxi后可以进esxi的管理地址对应的web页面下载
VMware-vSphere-CLI-4.0.0-198790.exe
另外,VMware对应的注册机也是必不可少的,网上多的是y014
就这么几个。我都是在虚拟机里来做的,用掉了我87%的内存,即便内存已经是8G了,pagefile还是花了1.2G。CPU方面要求不算大,双核的应该都可以。
所以,要做这个实验的话需要先考虑内存的问题。
vCenter需要至少2G内存
ESXi最低要求是4G,装的时候分配4G,关机后改成2G就可以了
VSM也是说的最低要求2G内存 楼主能说说你电脑的硬件配置么? 很经典,对兄弟奋斗精神也非常佩服! ThinkPad X200 P8400,8G DDR3,160G X25-M G2 好强大的机器啊! 我的电脑ThinkPad T400,双核,加内存8G,你是直接搞个4G×2的DDR3??我当前是4G,但是我的系统是32位的,认得3G而已。
请问楼主,安装完成之后能够work吗?我是说其功能方面。
如果能work的话,大家赶紧区升级内存吧!
楼主要是贴个图文并茂的教程就更好了! 当然是可以工作的。图就懒得上了,虚拟机我嫌占空间,都已经删掉了,一个vCenter就得将近6G的空间
内存是4G*2,难道还能有别的组合?
win7 64,VM ws 7.0.1 牛人!4G一根要1K,2根就是2K,舍得。。。
所以我要问能不能completely work,否则不值得我们去加内存啊。。。。 good job y133y133[quote]原帖由 [i]flickxie[/i] 于 2010-5-18 23:48 发表 [url=http://netemu.cn/bbs/redirect.php?goto=findpost&pid=129520&ptid=13458][img]http://netemu.cn/bbs/images/common/back.gif[/img][/url]
嗯。。。。。发出来了才发现,很乱,哈哈,不管了,凑活看吧y133
nd,60秒之内不让再发帖,太恶心了y072 [/quote]
就要恶心你。y133y133 可以安装OS吗?我以前玩过,说什么“不能在虚拟机中安装虚拟机”。 锅兄多问楼主几个实际的问题吧,大家是否升级内存就看楼主的话了。。。。 y016 [quote]原帖由 [i]ronsun[/i] 于 2010/5/20 17:11 发表 [url=http://netemu.cn/bbs/redirect.php?goto=findpost&pid=129584&ptid=13458][img]http://netemu.cn/bbs/images/common/back.gif[/img][/url]
可以安装OS吗?我以前玩过,说什么“不能在虚拟机中安装虚拟机”。 [/quote]
在ESX对应的vmx文件里加上一句
[color=blue][code]
monitor_control.restrict_backdoor = "TRUE"[/code][/color]
就可以了
OS也是可以装的,要不然我里面也不会说不建议VSM安装在ESX里了。
想装什么装什么,只要ESX支持的。
[[i] 本帖最后由 flickxie 于 2010-5-20 20:23 编辑 [/i]]
第一次贴
第一次贴第一次贴 谢谢分享! 精品文章,真的很厉害竟然在x200手提电脑上跑出这个东西,佩服了,呵呵!好好学习一下!另外楼主给出的nexus 1000v安装包的下载地址连接不全啊,能补上完整就更好了,呵呵!
谢谢!! [quote]原帖由 [i]chenjianyuan[/i] 于 2010/5/22 17:41 发表 [url=http://netemu.cn/bbs/redirect.php?goto=findpost&pid=129647&ptid=13458][img]http://netemu.cn/bbs/images/common/back.gif[/img][/url]
精品文章,真的很厉害竟然在x200手提电脑上跑出这个东西,佩服了,呵呵!
好好学习一下!另外楼主给出的nexus 1000v安装包的下载地址连接不全啊,能补上完整就更好了,呵呵!
谢谢!! [/quote]
我故意这样的,自己去cisco找吧 [quote]原帖由 [i]flickxie[/i] 于 2010-5-20 20:22 发表 [url=http://www.netemu.cn/bbs/redirect.php?goto=findpost&pid=129591&ptid=13458][img]http://www.netemu.cn/bbs/images/common/back.gif[/img][/url]
在ESX对应的vmx文件里加上一句
monitor_control.restrict_backdoor = "TRUE"
就可以了
OS也是可以装的,要不然我里面也不会说不建议VSM安装在ESX里了。
想装什么装什么,只要ESX支持的。 [/quote]
我说原来在安装过程中怎么提示“不能在虚拟机里安装虚拟机呢”,原来是写错了语句:
把monitor_[color=magenta]control[/color].restrict_backdoor = "TRUE"
我写成了monitor_[color=red]console[/color].restrict_backdoor = "TRUE",晕。
回复 1# 的帖子
问个“简单“问题: 怎样配置的机器可以装ESX 4.0.0 ? 有何窍门用高档PC替代?从思科和VMware官方网站,要装ESX 4.0.0,再装Nexus1000v,所需硬件是较高档的服务器,像楼主用高档laptop ThinkPad X200 P8400,8G DDR3,160G X25-M G2, 不知有何窍门?
[url]http://cco.cisco.com/en/US/docs/switches/datacenter/nexus1000/sw/4_0/compatibility/information/n1000v_compatibility.html[/url]
[url]http://www.vmware.com/resources/compatibility/search.php[/url] 有什么窍门?ESX不过是个linux而已,能要求多高嘛,cisco那么推荐只是希望你能跑得比较流畅些 y014
回复 23# 的帖子
我没装过VMware ESX 4.0.0 + , 所以请教。你的意思是装VMware ESX 4.0.0 + 可以不管 厂家的硬件要求?
从 [url]http://www.vmware.com/resources/compatibility/search.php[/url] 可看到 哪些Server可装esx4.0+, 哪些只可装esx 3.x 以下。但从你的经验看,厂家的硬件要求是废话?
我正打算买个二手Server来跑 GNS3 和 VMware ESX 4.0.0 + ,2x Intel Xeon 3.2GHz, 512KB L2 cache,
4G RAM, 你看够吗?
谢谢 内存当然是越大越好,服务器的话买Dell、HP、IBM比较好,ESX官方有专门对应的版本 vmware
ESX 对 硬件 是有要求的。
CPU 内存 大小 IO 网卡 ....
非兼容列表里的硬件即使能安装上去 某些功能 也不能实现。
回复 26# 的帖子
谢谢flickxie和spender的回复.有以下两台Server:
Server 1 : IBM eserver xseries 366 ( 88631RU ) (2x) Intel Xeon MP 3.16GHz
Server 2 : HP ProLiant DL380 G3 (2x) Intel Xeon 3.2GHz, 512KB L2 cache, 533MHz front side bus
从VMware网站看,Server 1 能支持esx4, Server2只能支持esx3.x以下。
根据flickxie的经验,Server2 可以装上esx4 吗? 如可以,哪些参数/步骤要注意?
从VMware的hardware compatibility guide看, 觉得对cpu要求很严,esx4是不是根据CPUIDs来识别server是否符合要求? 如果是,有没有窍门去改参数? 这样的话Server2也可以装上esx4了。
谢谢 我没有实地部署ESX的经验,master001你就为大家献身一回吧y014
回复 28# 的帖子
没问题, 那先等服务器到手后..........y100我看明白了,Flickxie, 你装的是ESXi 4.0 (thin version of ESX) 但我上面提到的server2 还是不支持ESXi 4.0。
你的文章没讲怎样在你的laptop上装ESXi 4.0, 可否分享一下?
my email: [email=checkpointng@yahoo.com]checkpointng@yahoo.com[/email] 谢谢
[[i] 本帖最后由 master001 于 2010-5-27 00:45 编辑 [/i]] 喂,flickxie, 没信啦?能讲下如何装ESXi 4.0? 在同一台laptop? [quote]原帖由 [i]master001[/i] 于 2010/5/29 02:31 发表 [url=http://netemu.cn/bbs/redirect.php?goto=findpost&pid=129883&ptid=13458][img]http://netemu.cn/bbs/images/common/back.gif[/img][/url]
喂,flickxie, 没信啦?能讲下如何装ESXi 4.0? 在同一台laptop? [/quote]
我不是用我的NB做host来装ESXi的。我的ESXi安装在VM7里y014
至于如果要直接安装在笔记本上的话,那有什么区别呢?能用就能用,不能用就不能用呗y188 y188
ESXi的安装相当的easy,根本不需要文档。直接上手,干吧x24
[[i] 本帖最后由 flickxie 于 2010-5-29 08:46 编辑 [/i]] 明白了,谢谢。 已买下server 2 ..... 先干GNS3 再干Nexus.... 如果能补几张在CVecenter和VM的配置图就好了。 Lz 看看这个问题怎么解决?
[url=http://bbs.vmsky.com/viewthread.php?tid=21317&highlight=%2BCisco%2BNexus%2B1000V]http://bbs.vmsky.com/viewthread.php?tid=21317&highlight=%2BCisco%2BNexus%2B1000V[/url]
[root@vmware-esx01 ~]# vmware -v
VMware ESX 4.0.0 build-164009
[root@vmware-esx01 ~]#
现在还没明白Cisco Nexus 1000V到底有什么作用?
安装完了 怎么测试是否成功?
谢谢各位大侠的解答! To flickxie,
手边没有多余的电脑,无法做模拟实验,反复研究你的帖子有2个疑问,希望可以得到你的回复。
1)第9步和10步 定义VSM和VEM通讯使用的Port Profile,定义过的这个Port Profile data262 ,是否可以在VEM和VSM里面同时调用并应用,还是需要在VEM和VSM里面分别配置相同的Port Profile?
2) 第11步,为什么需要把ESXi主机添加到分布式虚拟交换机(DVS),楼主意思是否是在DVS里面建立Port Profile,并且分配给不同的ESXI主机或者ESXI主机中的VM,中央部署集中管理不同的VSM?
3)DVS和VSM的关系是什么,谢谢。 [quote]原帖由 [i]crazy521[/i] 于 2010/8/24 14:36 发表 [url=http://netemu.cn/bbs/redirect.php?goto=findpost&pid=132987&ptid=13458][img]http://netemu.cn/bbs/images/common/back.gif[/img][/url]
To flickxie,
手边没有多余的电脑,无法做模拟实验,反复研究你的帖子有2个疑问,希望可以得到你的回复。
1)第9步和10步 定义VSM和VEM通讯使用的Port Profile,定义过的这个Port Profile data262 ,是否可以在VEM ... [/quote]
抱歉,时间太长,记忆已经被后来的东西给覆盖掉了x27 我在4.1中没有安装成功,版本是Nexus1000v-4.0.4.SV1.3a,不知道是不是不支持4.1 谢谢楼主,该好好学习一下了 4G内存~ 我死了 非常感谢!!!! 非常感谢楼主分享 楼主真是个好人~~~ thanks! 好奇的说,进来看看。先围观下~~~ 看看 . kankan ...............ssssssssssssssssss 哇,不得了了,又是好东西来了, 还没接触过Nexus
看看。。。。。。学习中 多谢,这个要看看。switch的另一个选折啊。 这么多看不见呀...........连楼主的也看不见
都是
提示: 作者被禁止或删除 内容自动屏蔽 谢谢楼主,给力啊!!!~~~~~~~~~~~~ 看看,学习中,什么情况还,看看,就看看
页:
[1]