树莓派跑大模型：从烧录系统到本地推理的完整部署教程
想在树莓派上跑大模型，核心思路是选对系统和模型：用64位系统配Ollama，拉取1B~3B参数的小模型，就能在4B/5上完成本地推理。
下面按准备、安装、运行、排错顺序讲清楚。
先确认硬件和系统够不够用
树莓派跑大模型对内存和系统位数有硬要求。
4B建议8GB内存版，5建议8GB或16GB版；
4GB内存版只能跑1B级别模型，且响应较慢。
系统必须用64位，32位系统无法运行Ollama。
准备一张16GB以上TF卡，用Raspberry Pi Imager烧录Raspberry Pi OS (64-bit)。
烧录前在Imager高级设置里开启SSH并配置Wi-Fi，方便后续无屏操作。
烧录完成后启动树莓派，通过路由器后台找到IP，用SSH登录：
ssh pi@你的树莓派IP登录后先更新软件源并升级系统，避免安装依赖时报错：
sudo apt update && sudo apt upgrade -y安装Ollama并拉取适合树莓派的模型
Ollama是本地运行大模型的工具，一条命令即可安装。
官方安装脚本支持ARM64：
curl -fsSL https://ollama.com/install.sh | sh安装完成后检查服务状态：
systemctl status ollama看到active (running)即表示服务已启动。
接着拉取模型。
树莓派内存有限，优先选参数量小的模型，例如llama3.2:1b（约1.3GB）或qwen2.5:1.5b。
拉取命令：
ollama pull llama3.2:1b下载时间取决于网络，若卡住可先按Ctrl+C中断，再重新执行。
拉取完成后用ollama list确认模型已存在。
运行模型并验证推理结果
直接运行模型进入交互对话：
ollama run llama3.2:1b输入“你好，请用一句话介绍你自己”，能返回中文或英文回答即表示推理正常。
首次加载模型会占用较多内存，等待几秒到十几秒属于正常现象。
如果想让其他设备调用，Ollama默认监听127.0.0.1:11434，需要修改服务配置允许局域网访问。
编辑服务文件：
sudo systemctl edit ollama.service在编辑器中加入：
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"保存后重载并重启服务：
sudo systemctl daemon-reload
sudo systemctl restart ollama然后在另一台电脑用curl测试API：
curl http://树莓派IP:11434/api/generate -d '{"model":"llama3.2:1b","prompt":"你好","stream":false}'返回包含response字段的JSON即表示接口可用。
常见报错与避坑提醒
内存不足导致进程被杀：运行3B以上模型时树莓派可能卡死或Ollama自动退出。
用free -h查看可用内存，换用1B模型，或增加swap（临时缓解，速度会下降）。
安装脚本下载慢或失败：先确认树莓派能正常访问外网，可尝试更换DNS或使用代理。
不要从非官方渠道下载二进制文件，避免安全风险。
模型拉取后运行报错“no such model”：检查模型名称是否拼写正确，用ollama list查看实际名称。
SSH断开后模型停止：直接用ollama run在终端运行，断开SSH会终止会话。
需要后台常驻时，应通过API调用，而不是保持交互终端。
散热与电源：树莓派5跑模型时CPU负载高，建议加装散热风扇，并使用官方电源，避免因供电不足导致降频或重启。
验证部署是否成功
完成以上步骤后，按三个层面检查：一是systemctl status ollama显示服务运行中；
二是ollama list能看到已拉取模型；
三是通过curl或交互对话能获得模型回复。
三项都通过，说明树莓派本地大模型部署完成。
之后可根据内存余量尝试更小或稍大的模型，但不建议在8GB以下内存设备上运行超过3B参数的模型。
如果需要在树莓派上长期提供接口服务，建议将Ollama设为开机自启（安装脚本默认已配置），并定期用journalctl -u ollama -n 50查看日志，排查异常退出原因。
