住宅机器千兆内网传输大模型:住宅千兆内网传输大模型
场景说明:为什么要在千兆内网传大模型
如果你手头有一台装了显卡的机器跑大模型推理或微调,而训练好的模型权重(比如几GB的.ckpt或.safetensors文件)需要拷贝到另一台同局域网的机器上,直接用网盘或U盘倒腾显然太慢。住宅千兆内网(理论带宽1 Gbps,约125 MB/s)才是合理选择。
本文以最常见的SSH+scp方式为例,讲清楚怎么操作、怎么提速、怎么排错。
准备工作:确认环境和确保千兆连接
你需要:
- 两台机器(Windows/Linux/ macOS 皆可,本文以Linux为例,Windows需先开启OpenSSH服务)
- 同处于一个局域网(用同一个路由器或交换机)
- 网卡均支持千兆(1 Gbps)且已用千兆网线连接
检查当前网络连接速度:
Linux 下执行 sudo ethtool eth0 查看 Speed: 1000Mb/s 就对了。
Windows 在任务管理器->以太网状态中看“速度”是否显示1.0 Gbps。
如果发现只有100 Mbps,请检查网线是否六类以上(Cat5e也能到千兆,但劣质线或距离太长会降速),以及路由器/交换机端口是否全是千兆。
确保源机器SSH服务已开启:
sudo systemctl status sshd
若未运行,启动并设置为开机自启:
sudo systemctl start sshd
sudo systemctl enable sshd
Windows下先在“设置”->“应用”->“可选功能”添加“OpenSSH服务器”,然后启动相关服务。
核心操作:用 scp 高效传输大模型文件
假设源机器IP为 192.168.1.10,用户名为 username,大模型文件路径为 /home/username/models/llama-7b.gguf;
目标机器存放路径为 /data/models/。
在目标机器上执行:
scp username@192.168.1.10:/home/username/models/llama-7b.gguf /data/models/
输入源机器用户密码后开始传输。
scp会自动显示传输进度、大小和速度,例如 120MB/s 左右说明千兆内网已跑满。
参数说明:
-C启用压缩(适合CPU强、磁盘慢的场景,但大模型文件压缩率低可能反而变慢,建议先不压缩测试)-P 2222如果SSH端口不是默认22,用大写P指定端口-r传输整个目录(例如模型文件夹)
传输整个模型目录的示例:
scp -r username@192.168.1.10:/home/username/models/ /data/models/
注意:scp没有断点续传功能,如果中途打断需要重新传。对数十GB的大文件建议用rsync替代(rsync -avP --progress username@192.168.1.10:/path/model /local/),但首次传输scp更简洁。
速度瓶颈排查与优化
实际传输中很少能跑满125 MB/s,常见瓶颈及解决:
1. 硬盘读写速度
机械硬盘持续读写往往只有80~150 MB/s,SSD则轻松400+ MB/s。
如果目标盘是机械盘,速度可能被限制在100MB/s左右。
解决方法:传到大容量SSD上,或使用临时缓存目录。
2. 网线与接口
即使网卡显示千兆,如果线序不良或水晶头氧化,实际吞吐量会下降。
可以更换一条已知正常的六类网线测试。
3. 防火墙拖慢
某些防火墙规则会对SSH流量做深度包检测,导致速度下降。
临时关闭防火墙测试(生产环境谨慎):
sudo systemctl stop firewalld # CentOS/RHEL
sudo ufw disable # Ubuntu
4. 使用 iPerf 验证内网带宽
在源机器启动iPerf服务端:iperf3 -s
在目标机器启动客户端:iperf3 -c 192.168.1.10
观察结果中的 Transfer 和 Bitrate,如果接近940 Mbps说明链路没问题。如果远低于,说明问题在网络或网卡。
高频问题与避坑
Q:两台机器一个Windows一个Linux怎么传?
A:Windows上安装OpenSSH服务或使用WinSCP图形工具,本质还是scp协议。也可以用SMB共享(Win端创建共享文件夹,Linux用 mount -t cifs 挂载)。
Q:传大文件经常中断怎么办?
A:网络不稳定或SSH会话超时导致。可以改用 screen 或 tmux 在后台执行scp;或者改用rsync,支持断点续传。
Q:能用Wi-Fi传吗?
A:普通Wi-Fi 5/6理论速度虽高,但实际干扰频繁,大型传输容易掉速,强烈建议有线千兆。如果只能用Wi-Fi,至少确保5GHz频段且信号强。
Q:传输后校验文件完整性?
A:传完后在目标端执行 md5sum model.file 与源端对比。更省事:用rsync自带校验。
总结
住宅千兆内网传大模型并不复杂,核心是确认链路、选对工具、排除瓶颈。
本教程从基础准备到scp实操再到提速排查,覆盖了大部分零基础用户会遇到的场景。
如果你的文件超过10GB且需要经常更新,建议转用rsync或搭建NFS共享,可进一步节省时间。
遇到问题时优先回头检查网速和硬盘,绝大多数异常都和这两项有关。