大模型 Ollama API 对接实战：从零调通本地接口

知识分享

2026-10-20 06:40

30 阅读

如果你想让自己的程序调用本地大模型，Ollama 是目前比较省事的选择。
它把模型下载、运行和 API 服务打包在一起，装好后用一条命令就能启动接口。
本文按零基础用户能照做的顺序，讲清楚怎么安装 Ollama、怎么启动 API、怎么用 curl 和 Python 调通，以及连不上时先查哪里。

先确认环境：系统、内存和端口

Ollama 支持 macOS、Linux 和 Windows，本文以 Linux 服务器和普通开发机为例。
动手前先确认三件事：

操作系统是 64 位，Linux 建议用主流发行版，Windows 建议开启 WSL2 或在 PowerShell 中直接安装。
内存至少 8GB，运行 7B 参数左右的模型建议 16GB 以上；显存不是必须，但会影响速度。
默认 API 端口是 11434，提前检查是否被占用：

ss -tlnp | grep 11434

如果已有输出，说明端口被占用，后面启动前需要先停掉对应进程或改端口。

安装 Ollama 并拉取第一个模型

Linux 下可以用官方脚本安装，执行后会自动注册系统服务：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后检查服务状态：

systemctl status ollama

看到 active (running) 说明服务已经起来。
接着拉一个轻量模型测试，例如 qwen2.5:7b：

ollama pull qwen2.5:7b

拉取完成后列出本地模型，确认模型名和大小：

ollama list

注意：模型文件较大，确保磁盘剩余空间充足。
拉取失败时先检查网络和磁盘空间，不要反复重试同一命令。

启动 API 服务并验证接口连通

Ollama 安装后通常已作为服务运行，默认监听 127.0.0.1:11434。
先在服务器本机验证：

curl http://127.0.0.1:11434/api/tags

返回 JSON 中包含模型列表即表示 API 正常。
如果要在其他机器调用，需要让 Ollama 监听所有网卡。
编辑服务配置：

sudo systemctl edit ollama

在打开的编辑器中加入：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存后重载并重启：

sudo systemctl daemon-reload
sudo systemctl restart ollama

然后从另一台机器测试：

curl http://你的服务器IP:11434/api/tags

安全提醒：暴露到公网前务必配置防火墙规则，只允许可信 IP 访问 11434 端口，不要直接对全网开放。

用 curl 和 Python 完成一次对话调用

Ollama 的生成接口是 /api/generate，对话接口是 /api/chat。
先用 curl 发一个简单请求：

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "用一句话解释什么是API",
  "stream": false
}'

返回 JSON 中的 response 字段就是模型输出。
Python 调用示例：

import requests

resp = requests.post(
    "http://127.0.0.1:11434/api/chat",
    json={
        "model": "qwen2.5:7b",
        "messages": [{"role": "user", "content": "你好，请自我介绍"}],
        "stream": False
    },
    timeout=60
)
print(resp.json()["message"]["content"])

如果程序部署在另一台机器，把 127.0.0.1 换成 Ollama 所在服务器的内网 IP，并确认防火墙已放行。

连不上或报错时先查这几处

常见问题集中在三个方向：

连接被拒绝：先在本机执行 curl http://127.0.0.1:11434/api/tags。本机不通查服务状态和日志：journalctl -u ollama -n 50。
跨机器访问超时：确认 OLLAMA_HOST 已设为 0.0.0.0:11434，并检查防火墙和安全组是否放行端口。
模型不存在：接口返回 model not found 时，执行 ollama list 核对模型名，注意名称和标签要完整一致。

另外，流式输出时程序要按行读取响应，不能直接按普通 JSON 解析，否则会报解析错误。

对接完成后的检查清单

调通后建议做一次完整复查：本机接口能返回模型列表；
目标机器能访问 API 端口；
curl 和业务代码都能拿到正常回复；
日志中没有持续报错。
满足这几项，说明大模型 Ollama API 对接已经可用。
后续换模型或调整参数时，先小流量验证，再接入正式业务。

Ollama自定义模型：用Modelfile定制专属大模型

Ollama 多模型管理：从拉取到切换的实操指南