珂珂的个人博客 - 一个程序猿的个人网站

ESXI 和软路由遇到的坑

19年知道有软路由这个东西,后来偶尔折腾下,21年6月的时候买了台  J4125   4网口的小主机,裸机1050  ,其实加100可以是4口2.5G 的网口,但螃蟹网卡没有Intel I210兼容好,所以还是买的千兆版。19年的时候有个一块 Intel原装 DQ77KB  200买的,有一个网卡坏了,但不是物理损坏,研究几天也没搞好,后来原件出掉了。。之后就没遇到这么便宜的了。


这个月终于决定将这个J4125 小主机用起来,我一开始买的时候就考虑到了要虚拟化,所以先在Hyper-V 实验下,经过各种百度安装是成功了,但出现了令我纠结很久的问题,我知道一个WLAN 一个LAN ,然后LAN接交换机,但我就是想试下一个WLAN   多个LAN。在OpenWRT中 eth0我分配给了WLAN, eth1和eth2 分配给LAN ,在LAN的设置中,勾选了eth1  eht2 ,按道理这两个接口任意一个都可以的,但我始终是只有一个eht1 可以使用, 如果再添加个LAN2  将eth2 分配给LAN2 ,可以倒是可以,但没在同网段,我是希望LAN1 和LAN2 能互通的。纠结几天换了LEDE  Ikuai 也是同样问题,系统环境是Windows 10 实体机安装的Hyper-V 。


顺便提下网卡,Intel I211 和 I210 基本是一样的,但I210 原生支持Windows Server   ,I211 支持?   我主力机的主板是 ITX 的技嘉Z370n  双网口,一个是I219v  另外个是I211  在Windows Server 中可以识别一个,在黑苹果中也能识别一个。


后来另外购入了Intel 760P  512G 这个SSD ,因为我知道它的温度比较低,想法是用来安装Esxi 。这个倒是蛮顺利,但理解Esxi 的网络设置费了好几天,Esxi中虚拟的OpenWRT  LAN中勾选2个网卡,没有遇到Hyper-V 只能使用一个的问题,我另一个想法是用2个网段并且它们不能互通,但新建一个LAN2后, LAN1和LAN2 能ping通,后来我总结了如下:

Openwrt    2个LAN  可以互相ping通  192.168.x.1  但不代表可以访问  192.168.x.x

比如LNA1 是192.168.10.1   LNA2是 192.168.100.1  如果客户端1连接到 LAN1 客户端2连接到LAN2 ,那么客户端1可以ping通 192.168.10.1  也可以ping通192.168.100.1   但不能Ping通客户端2


下面说下Esxi 的网络

物理网卡就是机器上的实际网卡,如果直通了是看不到的,因为直通是虚拟机独占了,当然还有一种方式是 SR-IOV 但我这个不知道怎么显示的不支持。

虚拟交换机不知怎么说,一般设置一个物理网卡对应一个交换机,物理网卡就是上行链路,也可以添加内部用的交换机,不关联物理网络。

Vmkernel 网卡就是Esxi 的网卡,一般用来管理Esxi的

端口组就是用来分配给虚拟机的,新建虚拟机的时候网络下拉框,但这个有个坑,如果一个端口组分配给了Vmkernel用来管理Esxi,那么它不能添加到创建的虚拟机中,即新建虚拟机的时候网络下拉框找不到这个端口组。

不知上面说的网络对不对,我是这么理解的。


后来装黑裙子,第一个装了找不到,OpenWRT也没有看到, 过了几天第二次重装又可以了.... 但我发现用OpenWRT内部LAN传输速度只有20M 左右,后来把电脑接到路由器上就110M左右,所以是内部交换效率不高,要用到交换机的道理?


后来又想到硬盘直通,了解到板载的SATA 要经过特殊操作才可以,另一种方式就是 RDM, 这种方式不能把这个RDM 的vmdk 分配给两个不同的虚拟机,当然直通也不能哈,我只是好奇试试。所有PCIE 的 RAID卡用来直通硬盘比较方便?

我想到一个问题,这种直通方式万一系统盘存的vmdk映射文件坏了RDM直通的硬盘数据会怎么样,虚拟化nas不直通的话文件都是vmdk 感觉不放心,所以NAS和软路由分开是有道理的?

后续:了解到RDM直通就算esxi坏了也没事还可以重新映射数据都在,软路由也没一定必要和NAS分开,因为直通sata控制器相当于硬盘直接连的NAS 也就相当于在物理机上装NAS系统。


2021.12.4

换新设备了,终于决定正式将NAS用起来,折腾了一天。买了个拓普龙8盘位机箱,主板是技嘉B460M 小雕ELITE ,本来之前是买华硕的后来看到这个更便宜点,当然还有更差的丐版看不上。

CPU是i5 10400 这个降到890 了感觉划算,前一个月买的i3 8100还要600呢,电源买的全汉FX500G   小1U Flex ,其实可以买个益衡7025B  但我想要原生全模组,淘宝的益恒7025B是改的全模组,

机箱加电源主板CPU 这里就花了2200 了,我当然知道可以捡垃圾几百就行,但想要好一点的,因为要做服务器。后来又发现之前买的CX3 洋垃圾双万兆网卡没有2U挡板,又在那家买了个2U挡板,一开始就怀疑那个网卡太高了,果然装上去网卡还是超出挡板一截,导致不好盖上机箱盖,虽然强制也许能盖上,这时候以前心心念的X520 网卡就提上日程,毕竟之前的CX3在ESXI中不能开启SRIOV这玩意之前买了个看起来不是原装的插上电脑中win10 没反应,用娱乐大师打了下驱动显示82599  我又在淘宝买了个全适应Aquantia方案的10G/5G/2.5G/1G 的电口模块,发现这个插上面和2.5G USB网卡传输文件不是特别稳定,有时候降到0 根本不动,好像和1G 的USB网卡也不咋稳定,后来就都退了,原本是想和将来2.5G 网口路由器连接的。这次买的X520 SR2 看起来像原装的,特意为了卖家插电脑上是显示x520而不是82599,有点强迫症。本来想买X550 的这个原生支持2.5G  但太贵了劝退。 前几天收到了这个x520网卡 说是服务器拆机的,插上电脑 window10 不能免驱好奇怪,去Intel 官网下载驱动后可以显示X520  ,但在windows Server 2019中可以免驱,当然Esxi 也是直接识别,顺便记录下这个主板Esxi 不能原生识别板载的 Intel I219V  网卡,当时买主板的时候还特意想了下没买带2.5G 口的主板就是怕兼容问题,这个问题不大,反正是直通给软路由作为WLAN 的

还有遇到的一个坑是没注意原装的电源线不够长,后来分两次去淘宝定制了线,2条大4D镀银线,一条24PIN主板软硅胶线一条CPU软硅胶线 ,早知道买不带线的版本了还能便宜80。还有就是机箱风扇太吵,后来把那个风扇的3PIN 线插到主板上就不吵了,另一个风扇线不够长我也取了,应该够散热。


装上熟悉的ESXI7.0  发现一个问提 无法用ESXI管理端关机...  关了后马上会自动重启,如果按机箱的电源键关机也会关了后重启,这时候再按下电源键才可以关。但windows 没有这样的问题可以正常关机。另一个主板问题是无法启用SRIOV 但Esxi显示的支持,但启用后下次重启还是提示需要重启,关闭ACScheck  仍然如此,另一块技嘉Z370N 也是如此,但微星的z370破击炮就可以开启SRIOV 但添加PCI设备和添加虚拟网卡的时候选SRIOV 都没用?ikuai 找不到网卡,windows 也找不到,是不是需要装驱动,懒得研究了。

 

关于网卡速度,我做了个测试,路由器是用的TP Link 5480 插的原装2.5G 电口模块,用Surface Pro7 测试无线速度,WIFI 显示2.4Gbps ,X520上的模块还是那个全速自适应的,但这次没有出现之前那个82599网卡那么不稳定了,也许是换了个模块?

1.  x520  直通到esxi 的win2019  电口模块再通过TPlink的2.5G模块插到路由器上    与usb2.5G 正常速度 偶尔有波动

2.  x520  直通到esxi 的win2019  电口模块网线插到路由器千兆口上    与usb 1G网卡正常速度并且稳定

3.  x520  非直通到esxi 的ikuai  电口模块通过TPlink的2.5G模块插到路由器上    与usb2.5G 很慢 

4.  x520  非直通到esxi 的ikuai   电口模块通过网线插到路由器千兆口上    与usb 1G网卡很慢

5.  x520 直通到esxi 的ikuai  电口模块通过TPlink的2.5G模块插到路由器上    与surface 无线很慢

6.  x520 非直通到esxi的ikuai 电口模块连接到到USB 2.5G 网卡 下载速度100M 左右 上传200多M 

7.  以上从Surface 无线上传速度正常 200多MB/s

8.  USB2.5G 连接到 ikui  再通过TPlink的2.5G模块插到路由器上  Surface wifi 下载100M+  最高130M  上传160M 左右

9. USB2.5G 连接到 ikui  再通过电口模块插到台式机CX2上   下载120M到150M之间 上传180-250M 

10. x520 通过光纤连接非直通到esxi的win2019  下载速度从100M到800M 不是很稳定,上传基本可以到达1000M 

11. usb2.5 G 接 esxi win2019 上 再与PCIE 8125B 接PC ,下载速度280M  非常稳定, 上传速度150M 左右不是很稳,

12. X520 通过电口模块接 esxi 2910 再与PCIE 8125B 接PC ,下载速度150M  稳定, 上传速度160M 左右稳,

13. pcie  2.5G 接PC 再与USB2.5G 接Surface     ,Suraface 下载 150M 左右  上传250M 左右

14. pcie  2.5G 接PC 再与tplink 2.5G模块接路由器 ,Surface wifi连接路由器     ,Suraface 下载 160M 左右  上传190M 左右 都稳定

15. x520 非直通到esxi的ikuai  电口模块再连接到x550   上传和下载均稳定1G/S 

16. usb 2.5G连接到esxi的ikuai 再连接到x550    协商速度1G   下载和上传都稳定110M/s   可以通过Intel 驱动手动协商2.5G 速度上传下载均稳定280M/s

17. X550连接到PC 再连接到路由器2.5G 网卡 自动协商速度1G  可手动协商2.5G  surface 上传下载均稳定170M/s

18.X550 非直通到Ikuai  再与usb2.5G 网卡连接  下载速度100-180M 不是很温  上传基本温度200多M 

19.X550 与路由器2.5G 模块只能协商到1G 速度

20.X550 非直通到Ikuai 与路由器2.5连接 Surface 无线上传下载都是30M-100M 波动

21.X550 非直通到Ikuai 再通过电口模块与电脑连接,电脑显示10G  exsi也是10G 但是传输只有113M/s

22.X550 非直通到Ikuai 再通过pcie2.5G与电脑连接,电脑显示2.5G  但是传输只有113M/s

23. pcie2.5G 网卡直通到ikuai  再与路由器2.5G连接  surface 下载100M  上传190M 左右

其实2.5G USB网卡作为软路由LAN口连接到路由器效果感觉还可以


再来说说安装群晖遇到的问题,这个坑就比较多,白群晖那个硬件配置太寒酸了,DS920 居然还是配的千兆网口,都不够一块机械硬盘的速度。最初的想法是双NVME硬盘作为缓存加万兆,所有有了以上的配置,我的想法是3个M2 硬盘,一个用来装ESXI和各种虚拟机,另外两个直通群晖做为缓存,ITX 主板显然无法做到如此扩展,所以选择了MATX 


了解到DS3617 无法nvme 所以这次选择了ds918  在网上找到了7.0.1 的引导文件,成功安装,但是但是无法显示直通的SATA控制器连接的硬盘,也没有显示缓存的2块M2   SSD,顺便说下这个直通SATA控制器也无法给EFI 启动的windows7  windows10  windows Server 2019 ,进入引导转圈的时候就会关机,不知道为何,后来尝试可以直通给BIOS引导的 windows Server 2019 。 


群晖不能显示硬盘和SSD 这显然不行,后来查到方法,之前是一个 libNVMEpatch.sh   但后来了解到这个只针对6.23以下, 刚开始7.0 我用这个方法导致有问题,去删掉就又正常,后来查到替换

libsynonvme.so.1 

但我这里只显示一个地址,另一个是nvme字符串 把这个nvme字符串位置替换成PCI地址倒是可以,但没效果,改了后重新引导,能识别1个SSD ,直通SATA控制器没搞定,尝试更改虚拟机的硬盘为SCSI  添加2个SATA控制器均不行,有的提到extra_args_918  参数,但我看gxnas.com 下载的引导文件没有这个参数,别的地方下载的引导文件有。无奈只好重新安装了6.2.3,安装后SATA控制器倒是可以识别了,按上面的方法两个M2也识别了,但添加M2缓存的时候始终在“正在装载ssd缓存”想来不应该呀,等了一晚上也是如此,折腾不起了,只好占用硬盘位SATA的SSD 来缓存了。



上一篇:个人代码全部开源

下一篇:ESXI 和软路由遇到的坑


0 评论

查看所有评论

给个评论吧