家用住宅主机千兆内网高速同步大模型文件
为什么你的大模型文件需要内网高速同步
训练或下载好的大模型文件（比如数十GB的LLM权重）体积巨大，通过外网反复上传下载不仅慢，还会占用流量。
利用家用住宅主机的千兆内网，你可以像本地复制一样把文件从一台机器搬到另一台，速度能达到100-120MB/s（千兆理论极限）。
本文面向零基础用户，手把手教你在两台Windows或Linux主机之间用rsync实现高速同步，同时支持断点续传和增量更新。
---
同步前的网络与文件准备
- 确认双方在同一千兆网络下
- 检查电脑的网卡速率：右键网络图标 -> 打开网络和Internet设置 -> 查看属性，确保“链接速度”显示 1000/1000 (Mbps)。
- 如果使用Wi-Fi，请尽量改用有线连接，否则速度会受无线干扰。
- 源文件与目标目录
- 假设源主机（有模型文件的电脑）IP为 192.168.1.100，文件位于
/data/models/llama-7b。 - 目标主机 IP 为 192.168.1.101，你想同步到
/home/user/models/。 - 确保目标目录已创建，并且有写入权限。
- 两台主机都要安装 rsync
- Linux：一般自带，确认命令
which rsync有输出。 - Windows：推荐通过 Git Bash 或 WSL 获得 rsync 环境，或者下载 cwRsync。这里以 WSL（Windows Subsystem for Linux）为例：在 Microsoft Store 安装 Ubuntu，打开后执行
sudo apt install rsync。
---
配置免密码登录，让同步一气呵成
每次手动输入密码会打断同步脚本，尤其大文件传输时更麻烦。
SSH免密登录是最稳妥的方式。
- 在源主机上生成密钥对（如果已有可跳过）
ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa -N ""一路回车，不设置密码。
- 将公钥复制到目标主机
ssh-copy-id user@192.168.1.101输入目标主机的用户密码后，以后登录就不需要密码了。
如果ssh-copy-id不可用，手动复制公钥：
cat ~/.ssh/id_rsa.pub，然后登录目标主机，把内容追加到~/.ssh/authorized_keys末尾。
- 测试免密登录
ssh user@192.168.1.101正常应该直接进入 shell，无需密码。
---
使用 rsync 命令高速同步大模型文件
最核心的命令如下（在源主机上执行）：
rsync -avz --progress --partial /data/models/llama-7b/ user@192.168.1.101:/home/user/models/关键参数解释：
-a：归档模式，保留权限、时间戳、递归等。-v：显示详细输出。-z：传输时压缩，内网千兆下建议去掉-z反而更快（因为压缩消耗CPU），改为--no-compress或直接不加-z。--progress：实时显示传输进度和速度。--partial：保留部分传输的文件，如果中断可以继续而非重新开始。
优化内网速度的建议：去掉压缩、加大传输块大小。
推荐命令：
rsync -av --progress --partial --bwlimit=0 --size-only /data/models/llama-7b/ user@192.168.1.101:/home/user/models/--bwlimit=0：不限速（默认0）。--size-only：只比较文件大小，不比较修改时间，减少扫描开销。
首次同步会传输所有文件。
后续增量同步只需执行相同命令，rsync自动对比源和目标，只发送变化的部分。
---
常见传输中断与异常处理
- 同步过程中网络断开怎么办？ 再次执行上面的命令，
--partial会接着继续，不会从头开始。 - 提示“Permission denied (publickey)”：检查免密配置是否成功，或确认目标主机
~/.ssh/authorized_keys权限为600（chmod 600 ~/.ssh/authorized_keys）。 - 速度远低于千兆（比如只有10MB/s）：
- 确认交换机/网线是否支持千兆，查看路由器端口灯。
- 去掉
-z压缩参数。 - 检查是否有文件系统瓶颈（如大目录下小文件太多，rsync扫描慢）。
- 尝试使用
--rsh指定连接：rsync -av --rsh='ssh -c aes128-ctr' ...使用更快的加密算法。 - Windows 路径问题：在 WSL 中，Windows 的路径可以通过
/mnt/c/...访问，例如/mnt/d/models。
---
同步完成后的完整性检查
可以用 MD5 校验确保大模型文件没有损坏：
在源主机和目标主机分别计算整个目录的 MD5（注意排除临时文件）：
find /data/models/llama-7b -type f -exec md5sum {} \; | sort > /tmp/source.md5在目标主机上同样计算，然后对比两个文件差异。
如果 diff 结果为空，说明同步完全正确。
如果文件较大，可以只抽检关键文件（如 *.bin 或 *.safetensors）。
---
总结与延伸
通过千兆内网配合 rsync，你的家用住宅主机可以轻松成为大模型文件的快速分发中心。
上述步骤任何新手都能照着做，关键就是免密登录 + rsync参数调优。
如果遇到其他异常，建议先回看“常见中断与异常处理”，多数问题都能解决。
如果你后续需要从NAS自动拉取大模型文件，也可以在这个命令基础上叠加定时任务或 inotify 监控，实现实时同步。
提示：本文仅提供通用操作，文件传输前请确保目标磁盘有足够剩余空间，并且源文件目录不要包含挂载点内的软链接，避免循环复制。
