Ollama离线模型包无网络住宅主机部署

很多朋友在家庭住宅搭建 AI 服务时,会遇到主机没有互联网的情况。
Ollama 默认启动后会从官方仓库在线拉取模型,一旦断网就卡住不动。
其实只要提前在有网络的机器上下载好模型包,再手动导入到离线主机上,就能让 Ollama 正常运转。
这篇教程零基础也能照做。

一、为什么要提前准备离线模型包

Ollama 官方推荐通过 ollama pull 命令在线下载模型。
这条命令会读取模型配置文件,然后从 Hugging Face 或官方镜像仓库拉取权重文件。
如果你的主机完全断网,pull 命令会直接报连接超时。
离线模型包方案让你在另一台有网的电脑上下载好模型文件,再通过移动介质复制到内网主机,从而绕过网络限制。

二、部署前的软硬件检查清单

操作之前,先确认你的环境是否满足条件:

  • 一台有网络连接的电脑(下载模型用)
  • 一台无网络的住宅主机(目标部署机),操作系统以 Linux(Ubuntu / Debian / CentOS 均可)为例,Windows / macOS 步骤类似
  • 一个容量充足的 U 盘或移动硬盘(至少 16GB,推荐 64GB 以上)
  • Ollama 官方已提供 Linux 下的二进制安装包,你可以从 GitHub Releases 手动下载对应平台的压缩包

如果你的主机系统没有 curl 或 wget,需要先在联网机器上下载这些工具的静态二进制包一起带过去。

三、从有网机器获取 Ollama 安装包与模型文件

  1. 下载 Ollama 二进制文件:在有网电脑上访问 Ollama 的 GitHub Releases 页面,找到最新版(如 v0.3.14),下载 ollama-linux-amd64.tgz 或对应平台压缩包。
  2. 下载目标模型:Ollama 的模型文件存放在 ~/.ollama/models/ 目录下。最简便的方式是先用 ollama pull <模型名> 拉取一次,然后把整个 ~/.ollama/ 文件夹打包。例如拉取 llama3.2:1b:
   ollama pull llama3.2:1b

等待完成后执行:

   tar -czf ollama_models.tar.gz -C ~ .ollama

这样就得到了一个包含模型文件的压缩包。
你也可以直接下载官方提供的 Modelfile 和权重文件手动配置,但对新手来说直接打包 ~/.ollama 更简单。

  1. 将压缩包复制到 U 盘:把 ollama-linux-amd64.tgzollama_models.tar.gz 都拷贝到 U 盘根目录。

四、在离线主机上部署 Ollama 并导入模型

  1. 安装 Ollama:将 U 盘插入无网络主机,挂载并拷贝文件。假设 U 盘挂载在 /mnt/usb,执行:
   cp /mnt/usb/ollama-linux-amd64.tgz /tmp/
   cd /tmp
   tar -xzf ollama-linux-amd64.tgz
   sudo mv ollama /usr/local/bin/

验证安装:ollama --version 应显示版本号。

  1. 恢复模型文件:先创建 Ollama 的默认数据目录:
   mkdir -p ~/.ollama

然后解压模型包:

   tar -xzf /mnt/usb/ollama_models.tar.gz -C ~

注意解压后 ~/.ollama/models/ 下会看到类似 blobs/manifests/ 的文件夹。

  1. 启动 Ollama 服务:在终端输入 ollama serve,服务会监听 11434 端口。保持该终端窗口打开。
  2. 测试模型加载:打开另一个终端窗口,执行:
   ollama run llama3.2:1b

如果一切正常,会直接进入对话模式。
输入 你好,模型应该会回复。

五、常见报错与避坑说明

问题 1:ollama run 报错 "model not found"

  • 原因:模型文件路径不对或未正确解压到 ~/.ollama 下。检查 ~/.ollama/models/manifests/ 是否存在你的模型标签。
  • 解决:重新解压模型包,确保目录层级正确。

问题 2:启动时提示 "bind: address already in use"

  • 原因:11434 端口已被占用。先用 lsof -i :11434 查看进程,或用 ollama stop 停止已有服务再启动。

问题 3:模型对话极慢或卡死

  • 离线主机配置不足(比如没有 N 卡或内存不够)。Ollama 会使用 CPU 运行,至少需要 4GB 可用内存。如果模型较大(7B 以上),建议至少 16GB 内存。

避坑提示

  • 下载模型前在有网机器上验证是否能正常对话,避免拿到损坏的模型包。
  • 压缩 ~/.ollama 时注意用户家目录权限,如果用 root 操作,导入到普通用户时需修改文件夹所有者。
  • 如果离线主机无法运行二进制文件,可能是缺少 libc 动态库,可以从 U 盘带一份静态编译的 busybox 备用。

六、效果验证与后续操作

验证步骤很简单:执行 ollama list 能看到已导入的所有模型及其大小。
再用 ollama run 随便聊几句,检查回复速度和质量。
如果只是想让 API 接口对外提供,可以启动 ollama serve 并配合 curl 测试:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:1b",
  "prompt": "给我写一首五言绝句"
}'

返回 JSON 即表示部署成功。
后续你可以在离线主机上搭建 LangChain、Open WebUI 等前端工具调用该服务。

如果你正在处理 Ollama 离线模型包无网络住宅主机部署,建议先按本文步骤完整执行,再根据自己的环境做微调;
遇到异常时优先回看避坑和高频问题部分。
断网环境下的 AI 部署并不复杂,只要提前准备好模型包和安装文件,就能流畅运行。

分享到:
上一篇
自建AI中转并发限流防止GPU满载宕机实操指南
下一篇
CVE漏洞定期自动扫描服务器巡检脚本制作教程
1
系统公告

机房迁移升级通知

尊敬的用户: IP 段 103.23.148.x、156.224.29.x 原香港一区线路波动、攻击频繁,平台定于 7 月 5 日凌晨分批迁移至香港 GIA 机房,硬件升级 AMD 铂金机型。 迁移均在凌晨操作,最大程度降低业务影响,迁移期间服务器临时关机; 升级后配置不降低、费用不涨价,数据默认同步迁移; 迁移后 IP 全部更换,请及时修改域名解析、防火墙白名单; 建议提前备份重要数据,有问题可联系在线客服。 感谢理解与支持! 泽御云科技 2026.06.30
服务中心
客服
在线客服
24小时为您服务
咨询
联系我们
联系我们,为您的业务提供专属服务。
24/7 技术支持
如果您遇到寻求进一步的帮助,请过工单与我们进行联系。
24/7 即时支持
泽御云
售前客服
泽御云
泽御云
售后客服
泽御云
技术支持
评价
您对当前页面的整体感受是否满意?
😞
非常不满意
😕
不满意
😐
一般
🙂
满意
😊
非常满意