AI大模型实战项目：用Ollama本地跑通第一个对话模型

想在服务器上跑通第一个AI大模型实战项目，最省事的路径不是先搭训练框架，而是用Ollama把本地推理服务跑起来。
只要机器有足够内存和磁盘，一条安装命令加一次模型拉取，就能通过命令行和API验证整条链路。
本文以Ubuntu 22.04为例，假设你已经有root或sudo权限的Linux服务器。

先确认机器能不能扛住模型

Ollama本身很轻，吃资源的是模型文件。
7B参数模型通常需要8GB以上内存，磁盘占用约4GB；
13B模型建议16GB内存起步。
如果内存不足，进程会启动失败或被系统杀掉，先看这两项：

free -h
df -h /

free -h看可用内存，df -h /看根分区剩余空间。
低于模型最低要求时，换更小的模型或先扩容，不要硬跑。

安装Ollama并拉取第一个模型

官方提供了一键安装脚本，执行后会自动注册系统服务：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后检查服务状态：

systemctl status ollama

看到active (running)说明服务已启动。
接着拉取一个小模型做验证，这里用qwen2.5:3b，对内存要求较低：

ollama pull qwen2.5:3b

拉取完成后用ollama list确认模型出现在列表中。
如果下载中断，重新执行ollama pull即可续传。

用命令行和API验证推理链路

先做最简单的交互测试：

ollama run qwen2.5:3b "用一句话解释什么是Docker"

能返回中文回答，说明模型加载和推理正常。
Ollama默认监听127.0.0.1:11434，用curl调API验证接口层：

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:3b",
  "prompt": "你好，请回复收到",
  "stream": false
}'

返回JSON中response字段有内容，就说明命令行和API两条路都通了。
如果只想让本机访问，不要改监听地址；
需要局域网其他机器调用时，再通过环境变量OLLAMA_HOST=0.0.0.0:11434调整，并同步配置防火墙规则。

几个容易卡住的地方

• 拉取模型超时：先确认服务器能访问外网，再检查DNS解析。国内网络环境下下载可能较慢，耐心等待或换时段重试。
• 服务启动后端口不通：用ss -tlnp | grep 11434确认监听地址。默认只监听回环地址，外部访问不通是正常现象，不是故障。
• 内存不足导致进程被杀：用dmesg | grep -i oom查看是否有OOM记录，有的话换更小参数的模型。
• 磁盘写满：模型文件默认存放在/usr/share/ollama/.ollama/models，用du -sh查看占用，不要随意手动删文件，用ollama rm 模型名清理。

验证做到什么程度算跑通

对新手来说，这个AI大模型实战项目的验收标准可以定为三条：systemctl status ollama显示运行中；ollama run能返回合理回答；
curl调用API返回JSON且response非空。
三条都满足，本地推理链路就算搭好了。
后续再考虑接入Web界面、做RAG或换更大模型，都是在可用的基础上叠加。

如果API返回model not found，说明模型名写错或还没拉取，先执行ollama list核对名称。
遇到连接拒绝，优先检查服务是否在运行、端口是否监听正确。