AI大模型一对一辅导：本地环境搭建与验证实操

如果你打算用 AI 大模型做一对一辅导，最直接的办法是在自己的服务器上跑一个模型，再通过 API 把辅导工具接进来。
这样数据留在本地，调用次数也不受外部限制。
下面以 Ollama 为例，讲清楚从安装到验证的完整过程，适合有一台 Linux 服务器、想先跑通再调优的读者。

先确认服务器够不够用

AI 大模型对硬件有硬性要求，跑不起来通常是显存或内存不足。
开始前先检查两点：

• 显卡显存：7B 参数模型量化后大约需要 6–8GB 显存，13B 建议 12GB 以上。没有独立显卡也能用 CPU 跑，但速度会慢很多。
• 内存和磁盘：内存建议不低于 16GB，磁盘留出 20GB 以上给模型文件。

用下面命令快速查看硬件：

nvidia-smi          # 有 N 卡时查看显存
free -h             # 查看内存
df -h /             # 查看根分区剩余空间

如果 nvidia-smi 提示命令不存在，说明驱动没装或没有 N 卡，可以先用 CPU 模式验证流程。

安装 Ollama 并拉取模型

Ollama 是一个把模型下载、运行和 API 封装在一起的小工具，一条命令就能装好。
在 Ubuntu/Debian 上执行：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后确认服务状态：

systemctl status ollama

看到 active (running) 就说明服务已启动，默认监听 127.0.0.1:11434。
接着拉取一个适合辅导场景的模型，比如 7B 量级的通用模型：

ollama pull qwen2.5:7b

拉取时间取决于网络，完成后用 ollama list 能看到模型名称和大小。

验证接口能否正常调用

模型跑起来不等于辅导工具能连上，需要确认 API 可访问。
先在本机测试：

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "用一句话解释什么是勾股定理",
  "stream": false
}'

返回 JSON 里包含 response 字段就说明模型工作正常。
如果辅导工具部署在另一台机器上，需要让 Ollama 监听所有网卡，修改服务配置：

sudo systemctl edit ollama

在打开的编辑器中加入：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存后重启服务 sudo systemctl restart ollama，
并在防火墙放行 11434 端口（例如 sudo ufw allow 11434/tcp）。注意：
开放到公网前务必设置访问控制，
避免接口被随意调用。

常见报错与避坑

• pull 卡住或超时：多为网络问题，可配置代理或换用国内镜像源，不要反复重试消耗时间。
• 调用返回 connection refused：先确认 Ollama 服务在运行，再检查监听地址和防火墙规则。
• 生成速度极慢：大概率是模型太大或走了 CPU，换更小的量化模型，或确认 GPU 驱动和 CUDA 版本匹配。
• 显存不足报错：降低模型参数量，或调整并发请求数，不要同时加载多个大模型。

确认辅导环境可用

最后做一次端到端检查：用辅导工具发一条真实问题，观察返回内容是否完整、响应时间是否可接受。
建议在服务器上持续观察资源占用：

watch -n 2 nvidia-smi

如果显存长期接近上限，说明模型或并发量需要调整。
跑通之后，再根据辅导场景微调提示词和温度参数，效果会更稳定。

适用条件：本文命令在 Ubuntu 22.04 上验证思路通用，其他发行版安装方式可能略有差异；
模型名称和硬件需求以实际拉取结果为准。