附件分布式存储怎么落地:从选型到上传流程改造
附件分布式存储的常见做法,是把文件本身放到对象存储或分布式文件系统里,业务数据库只保留文件ID、存储路径、大小和哈希值。
这样单机磁盘写满、服务器故障或扩容时,不会牵动业务表结构。
如果附件量还不大,先用单机多盘加对象存储网关,比一上来就搭多节点集群更划算。
先想清楚附件存储要解决什么问题
判断要不要做分布式存储,看三个信号:单机磁盘持续接近写满、附件读写的IO和带宽抢占业务数据库资源、单台机器故障会导致附件全部不可访问。
只有附件数量多但没有上述问题时,优先做目录规划、定期归档和备份,不必引入集群。
分布式存储带来的是扩展性和容错,代价是运维复杂度上升。
选型上大致分两类:
- 对象存储类,如MinIO、云厂商OSS,接口是HTTP,适合图片、文档、视频等一次写入多次读取的附件。
- 分布式文件系统类,如CephFS、GlusterFS,提供类POSIX路径访问,适合需要挂载目录、直接读写文件的老系统。
大多数网站和应用附件场景,对象存储更简单,本文以MinIO为例说明。
准备条件
- 一台或几台Linux服务器,磁盘按附件增长量预留,建议数据盘单独挂载。
- 已安装Docker,或愿意用二进制方式运行MinIO。
- 业务侧能改上传逻辑,把文件写入改为调用对象存储接口。
- 有一个可用的反向代理,如Nginx,用于对外暴露统一域名。
用多块数据盘启动MinIO
MinIO单机模式下可以用多块磁盘组成一个纠删码集合,单块盘损坏时数据仍可恢复。
假设数据盘挂载在/data/disk1到/data/disk4:
docker run -d --name minio \
-p 9000:9000 -p 9001:9001 \
-v /data/disk1:/data1 \
-v /data/disk2:/data2 \
-v /data/disk3:/data3 \
-v /data/disk4:/data4 \
-e MINIO_ROOT_USER=admin \
-e MINIO_ROOT_PASSWORD=替换为强密码 \
minio/minio server /data1 /data2 /data3 /data4 --console-address ":9001"
启动后访问http://服务器IP:9001进入控制台,创建桶,例如attachments。
桶的访问权限默认私有,业务通过后端签名访问,不要直接开放匿名读。
需要说明的是,单机多盘只能防磁盘故障,不能防整机故障。
附件要求高可用时,才考虑多节点部署,部署方式和磁盘数量要求不同,需按官方文档核对当前版本的规则。
改造业务上传流程
原来的上传逻辑通常是把文件写到本地目录,再把路径存入数据库。
改造后分三步:
- 接收上传文件,计算文件哈希,例如SHA-256,用于去重和完整性校验。
- 调用对象存储SDK上传,对象名建议用
业务名/年月/哈希前缀/文件名,避免单目录文件过多。 - 数据库只保存桶名、对象名、大小、哈希和上传时间,访问时由后端生成临时签名URL,或通过Nginx代理转发。
以Nginx反向代理为例,可配置:
location /files/ {
proxy_pass http://127.0.0.1:9000/attachments/;
proxy_set_header Host $host;
}
这样前端访问/files/2024/06/xxx.jpg时,由Nginx转发到MinIO。
注意代理路径和桶名要对应,否则会返回404或403。
容易踩的几个坑
- 对象名直接用原始文件名,用户重复上传同名文件会互相覆盖,必须在对象名中加入哈希或唯一ID。
- 把桶设为公开读,附件链接可被枚举,涉及隐私的合同、证件类附件必须走后端签名。
- 只备份数据库不备份对象存储,恢复时数据库有记录但文件丢失,备份策略要覆盖两者。
- 上传成功但数据库写入失败,会留下孤儿文件,建议定期扫描比对并清理。
怎么验证部署是否生效
上传一个测试文件后,检查三处:
- 控制台桶内能看到对象,对象大小与源文件一致。
- 数据库记录中的对象名能通过接口正常下载,返回内容哈希与上传时计算的一致。
- 停掉一块数据盘所在目录的写入权限,或模拟单盘不可用,确认服务仍能读取已有对象。这一步涉及数据风险,建议在测试环境做。
如果下载返回403,先检查签名是否过期和桶策略;
返回404,检查对象名和代理路径是否拼错。
附件分布式存储不是越复杂越好。
附件量在单机可控范围内时,多盘对象存储加规范的对象命名和备份策略就能稳定运行;
当出现整机故障不可接受、容量增长超出单机磁盘上限时,再规划多节点集群。