万兆交换机配置,服务器内网高速传输:万兆交换机配置
当服务器之间需要频繁迁移虚拟机、备份数据库或传输大文件时,千兆网络往往成为瓶颈,而万兆交换机配置能显著提升内网传输效率。
本文面向零基础运维,从硬件准备、交换机设置、服务器端调整到最终测速,手把手带你完成整套流程,并给出常见问题的排查思路。
准备工作:硬件与连接确认
在开始配置前,请先确认以下条件,避免因硬件不兼容导致返工。
- 交换机:具备至少2个万兆端口(SFP+或RJ45),并已接通电源。
- 服务器:安装万兆网卡(如Intel X520、Mellanox ConnectX-3等),并安装好官方驱动。
- 线缆与模块:根据端口类型准备DAC高速线缆或光模块+光纤跳线。注意:SFP+端口通常不兼容千兆模块,需确认速率匹配。
- 管理方式:交换机的管理IP地址、用户名和密码,通常通过Web界面或Console口访问。
关键判断:如果交换机端口指示灯不亮,先检查模块是否插紧,或更换线缆测试,不要急于修改配置。
交换机侧配置:划分VLAN与启用巨型帧
以下以通用命令行界面为例,具体命令请参考你的交换机型号手册。
1. 创建VLAN并分配端口
假设将万兆端口1和2划入VLAN 10,用于服务器互联。
system-view
vlan 10
quit
interface Ten-GigabitEthernet 1/0/1
port link-type access
port default vlan 10
quit
interface Ten-GigabitEthernet 1/0/2
port link-type access
port default vlan 10
quit
验证:执行 display vlan 10,应看到两个端口均已加入。
2. 开启巨型帧(Jumbo Frame)
巨型帧能减少小包开销,提升大文件传输效率,但要求端到端设备都支持。
interface Ten-GigabitEthernet 1/0/1
jumbo-frame enable
quit
interface Ten-GigabitEthernet 1/0/2
jumbo-frame enable
quit
注意:如果服务器网卡未开启巨型帧,交换机开启后反而可能导致丢包,建议两端保持一致。
服务器端配置:网卡绑定与MTU调整
服务器端通常需要配置IP地址,并调整MTU以匹配巨型帧。
1. 查看网卡名称
ip link show
找到万兆网卡对应的接口名,如 ens1f0。
2. 设置MTU为9000
临时生效:
ip link set dev ens1f0 mtu 9000
永久生效需修改配置文件,以CentOS为例,编辑 /etc/sysconfig/network-scripts/ifcfg-ens1f0,添加:
MTU=9000
3. 配置IP地址(如静态IP)
ip addr add 192.168.10.1/24 dev ens1f0
ip link set ens1f0 up
关键结论:服务器端MTU必须与交换机巨型帧设置一致,否则传输大包时会出现分片或丢包。
避坑指南:常见错误与解决方法
- 端口不UP:检查光模块波长、速率是否匹配,DAC线缆是否兼容。
- 传输速度不达标:使用
ethtool ens1f0确认网卡速率是否为10000Mb/s,若显示1000Mb/s,说明协商失败,尝试更换线缆或强制速率。 - 巨型帧导致部分应用异常:某些旧版应用可能不支持9000 MTU,此时可回退到1500,或仅在存储网络启用巨型帧。
- VLAN不通:确认交换机端口模式(access/trunk)与服务器端VLAN配置是否对应。
效果验证:使用iperf3测试实际带宽
在两台服务器上分别安装iperf3,一台作为服务端,一台作为客户端。
服务端执行:
iperf3 -s
客户端执行(替换为服务端IP):
iperf3 -c 192.168.10.2 -t 30 -P 4
预期结果:万兆网络下,TCP吞吐量通常能达到9.4 Gbps左右。
如果远低于此值,请依次检查网卡速率、MTU、交换机端口统计(是否有CRC错误)。
最终判断:当iperf3结果稳定在9 Gbps以上,且服务器间文件复制速度超过1 GB/s,说明万兆内网配置成功。
常见疑问
交换机必须支持巨型帧吗?
不是必须,但开启后能提升大文件传输效率。如果所有设备都支持,建议开启并统一MTU。
万兆网卡可以直接插千兆交换机吗?
多数万兆网卡支持降速到千兆,但需确认交换机和模块兼容性,否则可能无法连接。
配置完成后速度仍不理想,如何排查?
首先用 ethtool -S ens1f0 查看是否有丢包或错误计数,其次用 iperf3 单线程测试,若单线程达标但多线程不达标,可能是CPU或中断亲和性问题。
按照以上步骤操作后,你的服务器内网高速传输环境就已搭建完成。
如果遇到异常,优先回看避坑部分,并核对交换机与服务器的MTU、VLAN和速率设置。