向量库迁移工具，不同向量数据库之间数据迁移实操
不同向量数据库之间的数据迁移，本质上就是把向量、ID、元数据和索引参数从源库导出，再按目标库的格式要求写入。
直接用文件复制往往行不通，因为各个库在维度、度量方式和索引类型上存在差异。
本文用向量库迁移工具加脚本的方式，讲清从导出、转换到导入的完整流程，零基础用户按步骤操作也能完成迁移。
迁移前先确认三件事
动手前先理清源库和目标库的差异，否则迁移后查询结果可能完全不同。
- 向量维度：比如源库是 768 维，目标库必须支持同样维度，否则导入直接报错。
- 相似度度量方式：常用的是余弦相似度（cosine）、欧氏距离（l2）、内积（ip），目标库要支持相同类型。
- 索引参数：如 HNSW 的 M、efConstruction，IVF 的 nlist 等，建议提前记录，迁移后按原参数重建索引。
选择迁移工具和环境准备
目前不同向量库之间迁移没有统一命令，但可以按「导出 → 格式转换 → 批量导入」的思路处理。
常用工具包括各数据库自带的命令行客户端、Python SDK，以及通用的数据导出脚本。
建议准备一台能同时访问源库和目标库的服务器，并安装好 Python 3.8+ 和对应的 SDK 包。
例如从 Chroma 迁到 Milvus，需要安装 chromadb 和 pymilvus：
pip install chromadb pymilvus实操：从导出、转换到导入
下面以 Chroma 迁移到 Milvus 为例，演示核心流程。
第一步：导出源库数据
用 Chroma 客户端读取全部集合，并把向量和元数据写入 JSON 文件：
import chromadb
import json
client = chromadb.PersistentClient(path="/data/chroma")
collection = client.get_collection("demo")
data = collection.get(include=["embeddings", "metadatas", "documents"])
with open("export.json", "w") as f:
json.dump(data, f, ensure_ascii=False)第二步：转换为目标库可识别的结构
Milvus 导入时通常需要 [id, vector, metadata] 或 [vector, metadata] 的结构。
编写一个转换脚本，把 JSON 里每条记录重新组装：
import json
with open("export.json") as f:
data = json.load(f)
rows = []
for i in range(len(data["ids"])):
rows.append({
"id": data["ids"][i],
"vector": data["embeddings"][i],
"metadata": data["metadatas"][i]
})
with open("milvus_rows.json", "w") as f:
json.dump(rows, f, ensure_ascii=False)第三步：批量导入目标库
先创建 collection，指定维度和度量方式，再逐批插入：
from pymilvus import connections, Collection, CollectionSchema, FieldSchema, DataType
connections.connect(host="127.0.0.1", port="19530")
fields = [
FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=768),
FieldSchema(name="metadata", dtype=DataType.JSON)
]
schema = CollectionSchema(fields)
collection = Collection("demo_new", schema)
for rows_batch in batch(rows, size=500):
collection.insert(rows_batch)这里 batch 可以自己写一个分片函数，或者用列表切片实现。
容易踩的坑和应对办法
迁移过程中最常遇到的报错和问题集中在以下几点：
- 维度不一致：导入时报
dimension mismatch，请回到源库重新确认向量维度，不要只看配置文件。 - ID 类型冲突：有的库用字符串 ID，有的用整型，转换时统一成目标库支持的格式。
- 元数据字段类型不兼容：Milvus 的 JSON 字段要求可序列化，存在 NaN 或 datetime 对象时需要先转换。
- 批量写入速度慢：建议开启批量插入，每次 500-1000 条，同时关掉目标库的自动建索引，等数据全部导入后再创建索引，速度会明显提升。
迁移后怎么验证数据一致
导入完成不代表迁移成功，建议做下面三项检查。
- 数量核对：查询源库和目标库的向量总数是否一致。
- 抽样比对：随机取 10 条记录，对比向量值和元数据是否完整。
- 查询验证：在目标库执行一次相似度搜索，看返回结果是否合理；如果之前是余弦相似度，确认目标库 collection 的 metric 类型也是 COSINE。
如果你正在处理不同向量数据库之间数据迁移实操，建议先把导出的数据备份到独立目录，再按本文步骤执行，遇到异常时优先检查维度、ID 类型和索引参数。
