大文件传输慢怎么办?从网络瓶颈到工具调优的排查思路
大文件传得慢,先别急着换工具。
多数情况下瓶颈在链路带宽、TCP 窗口或者磁盘读写,而不是 scp 本身。
正确做法是先测出当前速度上限,再判断是网络问题还是磁盘问题,最后才考虑换用 rsync 或调整参数。
先确认瓶颈在网络还是在磁盘
传输速度受两端带宽、中间链路质量和磁盘 IO 共同限制。
传文件前先做两个基础测试,能快速缩小范围。
测磁盘读写:在源服务器和目标服务器上分别执行,确认本地磁盘不是瓶颈。
dd if=/dev/zero of=/tmp/testfile bs=1M count=1024 oflag=direct
如果写入速度只有几十 MB/s,而网络理论带宽远高于此,那慢的原因在磁盘。
用 oflag=direct 绕过缓存,结果更接近真实写入能力。
测完记得删除测试文件:
rm -f /tmp/testfile
测网络带宽:用 iperf3 在目标服务器启动服务端,源服务器发起测试。
# 目标服务器
iperf3 -s
# 源服务器
iperf3 -c 目标服务器IP -t 10
如果 iperf3 结果只有几 MB/s,说明链路本身有限速或丢包,换任何传输工具都难有质变。
此时应联系网络管理员确认带宽配额,或检查是否有 QoS 限速。
根据场景选对传输工具
scp 简单直接,但不支持断点续传,网络一断就得从头再来。
大文件传输更推荐 rsync,它支持增量同步和断点续传,中断后重新执行同一条命令即可继续。
使用 rsync 传输大文件:
rsync -avz --progress --partial /data/bigfile.tar.gz user@目标IP:/data/
参数说明:-a 保留权限和时间戳,-v 显示过程,-z 传输时压缩,--progress 显示进度,--partial 保留未完成的部分文件以便续传。
如果文件本身已经是压缩格式(如 .tar.gz、.zip),-z 收益不大,反而增加 CPU 开销,可以去掉。
需要限速时:避免占满带宽影响业务,用 --bwlimit 限制速率,单位是 KB/s。
rsync -av --partial --bwlimit=10240 /data/bigfile.tar.gz user@目标IP:/data/
上面表示限制在约 10 MB/s。
TCP 窗口和并发对速度的影响
长距离传输时,即使带宽足够,TCP 窗口过小也会导致速度上不去。
Linux 可以通过调整内核参数优化,但需要评估影响,不建议在生产环境随意改。
查看当前窗口相关参数:
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem
如果两端延迟较高(比如跨地域传输),可以适当增大窗口,但必须两端都支持,且修改后要测试业务是否受影响。
更稳妥的做法是先确认问题是否出在单流速度上:用多线程传输工具如 lftp 或 axel,把大文件拆成多段并发下载,往往比调内核参数见效快。
分卷压缩与校验
超大文件(几十 GB 以上)一次性传输失败代价高,可以分卷压缩后逐卷传输,单卷失败只需重传该卷。
# 分卷压缩,每卷 2GB
split -b 2G bigfile.tar.gz bigfile_part_
# 传输完成后在目标端合并
cat bigfile_part_* > bigfile.tar.gz
传输结束后务必校验完整性,避免文件损坏却未察觉:
# 源服务器
sha256sum bigfile.tar.gz
# 目标服务器
sha256sum bigfile.tar.gz
两个输出一致才说明文件完整。
常见疑问
传大文件时速度忽快忽慢正常吗?
可能是链路拥塞或磁盘缓存波动。
用 --progress 观察,如果速度周期性掉到零,优先检查中间网络设备是否有丢包或限速。
rsync 续传后文件大小对但校验不一致怎么办?
说明传输过程中出现过静默损坏。
删除目标端文件,用 --checksum 参数重新传输,让 rsync 按校验和比对分块。
内网传输也慢,可能是什么原因?
内网慢通常与磁盘 IO、网卡协商速率或交换机端口有关。
先确认网卡是否协商到千兆或万兆,再测磁盘顺序读写速度。
大文件传输慢的问题,本质是找到最窄的那一段。
先测带宽和磁盘,再用 rsync 替代 scp 获得续传能力,必要时分卷加校验,速度问题大多能定位到具体环节。