AI大模型学习计划：用Ollama搭建可验证的本地练习环境

知识分享

2026-11-03 02:40

23 阅读

制定AI大模型学习计划时，最容易被忽略的一步是环境准备。
很多人花几天时间折腾显卡驱动、CUDA版本，结果还没开始学就放弃了。
其实对于入门阶段，用一台普通Linux服务器跑Ollama就足够完成大部分练习。
本文从零开始，带你搭好一个可随时调用的本地模型环境，并给出每日练习的验证方式。

先确认服务器条件与学习目标

Ollama支持Linux、macOS和Windows，但服务器上最省心的是Ubuntu 22.04或Debian 12。
CPU模式也能跑小参数模型，适合做提示词练习和API调用测试。
建议准备：

一台能SSH登录的Linux服务器，内存至少8GB，磁盘预留20GB给模型文件。
有sudo权限的普通用户，避免全程用root操作。
能访问外网，用于下载安装脚本和模型。

如果你的学习计划侧重模型微调或大规模推理，这个环境不够用，需要另配GPU机器。
本文面向的是提示词工程、API调用、简单应用集成这类入门练习。

安装Ollama并拉取第一个模型

官方提供了一键安装脚本，执行前建议先看一眼脚本内容，确认来源可信。

curl -fsSL https://ollama.com/install.sh -o install.sh
less install.sh
sudo sh install.sh

安装完成后检查服务状态：

systemctl status ollama

看到active (running)就说明服务已启动。
默认监听127.0.0.1:11434，只允许本机访问。
接着拉取一个小模型，比如qwen2:0.5b或llama3.2:1b，体积小、启动快，适合反复练习：

ollama pull qwen2:0.5b
ollama run qwen2:0.5b "用一句话解释什么是API"

如果ollama run能正常返回内容，说明模型可用。
此时可以按Ctrl+D退出交互模式。

开放API给练习脚本调用

学习计划里通常会写“每天用API完成一个任务”，所以需要让本地脚本能访问Ollama。
默认只监听回环地址，如果脚本和Ollama在同一台机器上，直接调用http://127.0.0.1:11434即可，不需要改配置。

如果要从另一台机器调用，修改服务配置：

sudo systemctl edit ollama.service

在打开的编辑器中加入：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存后重载并重启：

sudo systemctl daemon-reload
sudo systemctl restart ollama

注意：开放到0.0.0.0意味着同网络内其他机器也能访问，生产环境应配合防火墙限制来源IP，或使用Nginx反向代理加认证。
学习环境至少确认安全组只放行自己的IP。

验证API是否可达：

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2:0.5b",
  "prompt": "今天的学习主题是提示词结构，请给出一个例子",
  "stream": false
}'

返回JSON中response字段有内容即表示调用成功。

把每日练习做成可重复执行的脚本

学习计划的关键是坚持，而坚持的前提是操作足够简单。
可以写一个daily_practice.sh，每天传入不同提示词，自动记录输出：

#!/bin/bash
PROMPT="${1:-请解释什么是few-shot提示}"
DATE=$(date +%F)
curl -s http://127.0.0.1:11434/api/generate -d "{
  \"model\": \"qwen2:0.5b\",
  \"prompt\": \"$PROMPT\",
  \"stream\": false
}" | python3 -c "import sys,json; print(json.load(sys.stdin)['response'])" >> ~/ai_practice_$DATE.log
echo "已记录到 ~/ai_practice_$DATE.log"

赋予执行权限后运行：

chmod +x daily_practice.sh
./daily_practice.sh "用三句话说明模型温度参数的作用"

这样每天只需改一个提示词，输出自动按日期存档，方便回顾学习轨迹。

常见报错与避坑提醒

连接被拒绝：先检查systemctl status ollama是否运行，再用ss -tlnp | grep 11434确认监听地址。
如果改过OLLAMA_HOST但没重启服务，配置不会生效。

模型下载慢或超时：模型文件较大，网络不稳定时容易中断。
可以重新执行ollama pull，已下载的部分会复用。
不要同时拉取多个大模型，容易占满磁盘。

内存不足导致进程被杀：小内存机器跑7B以上模型容易触发OOM。
用dmesg | grep -i kill可以确认。
入门阶段优先用1B以下模型，把重点放在提示词练习上。

另外，不要在学习计划初期追求“本地部署大参数模型”。
环境能跑通、API能调通、每天有输出，比模型参数量重要得多。

怎么判断学习计划真的在推进

环境搭好后，用三个检查点验证：

ollama list能看到已拉取的模型，说明模型管理正常。
curl调用API返回包含response的JSON，说明接口可用。
每日脚本生成的日志文件中有当天的记录，说明练习没有中断。

如果某天日志为空，回看脚本执行时是否报错，最常见的原因是服务未启动或提示词中包含未转义的双引号。

把环境固定下来之后，AI大模型学习计划就可以围绕提示词设计、API参数调整和小应用集成逐步展开，不必再为环境问题分心。

AI大模型打卡学习：用Ollama搭建每日练习环境

AI大模型学习方法：用API脚本建立可重复的练习闭环