Ollama 使用教程:本地部署与模型运行实操
Ollama 是一个在本地运行大语言模型的工具,装好后一条 ollama run 命令就能把模型拉下来并进入对话。
这篇教程按实际使用顺序讲:装在哪里、怎么拉模型、怎么确认它真的在跑、外网访问要改什么,以及拉取失败和端口不通时先查哪里。
装之前先确认环境
Ollama 支持 Linux、macOS 和 Windows。
Linux 服务器上最常见的是直接用官方安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
安装完成后检查版本,能输出版本号说明主程序已就位:
ollama --version
Windows 用户下载安装包后直接双击安装,
装完打开 PowerShell 执行同样的 ollama --version 验证。模型文件默认放在系统盘的用户目录下,
如果服务器系统盘较小,
建议先规划数据盘,
避免拉几个模型就把根分区写满。
拉取模型并完成第一次对话
Ollama 的模型按名称拉取,例如:
ollama run qwen2.5:7b
第一次执行会先下载模型文件,下载完成后自动进入交互界面,直接输入问题回车即可。
输入 /bye 退出对话。
查看本机已经拉取了哪些模型:
ollama list
查看当前是否有模型正在内存中运行:
ollama ps
ollama list 显示的是磁盘上的模型,ollama ps 显示的是已加载的模型,两者不是一回事。
刚装完只跑过 ollama list 却看不到运行中的模型,属于正常现象。
让局域网或外网访问服务
默认情况下 Ollama 只监听本机 127.0.0.1:11434,其他机器访问不到。
需要远程调用时,通过环境变量改监听地址:
sudo systemctl edit ollama
在打开的编辑器中加入:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
保存后重载并重启:
sudo systemctl daemon-reload
sudo systemctl restart ollama
如果服务器开了防火墙,还要放行端口,例如使用 firewalld:
sudo firewall-cmd --permanent --add-port=11434/tcp
sudo firewall-cmd --reload
改完后在本机执行 curl http://127.0.0.1:11434,返回 Ollama is running 说明服务正常;
再从另一台机器用服务器 IP 访问同一地址,能返回同样内容才算远程访问打通。把 11434 直接暴露到公网有风险,至少应限制来源 IP,或在前端加一层带鉴权的反向代理。
常见失败点与排查顺序
模型拉取卡住或报错,先看磁盘空间:df -h 确认目标分区余量,再执行 ollama list 看是否已有部分模型。
下载中断后重新执行 ollama run 通常会继续拉取。
服务起不来时看日志:
journalctl -u ollama -n 50 --no-pager
日志里如果出现端口占用,用 ss -lntp | grep 11434 确认是谁占着端口。
远程访问不通,按顺序查三层:本机 curl 是否通、防火墙端口是否放行、OLLAMA_HOST 是否真的生效。
改完环境变量后忘记 daemon-reload 和重启服务,是配置不生效的常见原因。
验证与后续使用
完成以上步骤后,用三个动作确认环境可用:ollama --version 有版本输出、ollama run 能进入对话、ollama list 能看到已拉取的模型。
需要被其他程序调用时,再用 curl http://服务器IP:11434/api/tags 确认接口可访问。
日常使用中,模型越大对内存和显存要求越高,拉取前先确认机器配置能否承载。
Ollama 使用教程里的命令本身不复杂,真正容易出问题的是磁盘空间、监听地址和防火墙这三处,按上面的顺序排查基本能定位。