家用旧笔记本改造住宅AI中转推理服务器：零基础实操指南

这样一台旧笔记本能跑什么AI模型？

很多人以为AI服务器必须用几千块的显卡，其实家里七八年前的笔记本（至少4核CPU、8GB内存）完全能跑小模型，比如Llama 3.2 3B、Qwen2.5 7B、Mistral 7B。
推理速度比手机快，而且可以7x24小时运行，给全家提供AI问答、代码补全、本地文档摘要等能力。
本文用的工具是Ollama，它把模型下载、启动、API调用全封装好，命令行就能操作。

改造前的准备：硬件与系统要求

1. 刷系统：旧笔记本推荐安装Ubuntu Server 22.04 LTS（无桌面版），省资源。制作启动U盘：用Rufus或balenaEtcher。
2. 内存与存储：至少8GB内存，磁盘剩余空间建议50GB以上（模型文件+缓存）。
3. 联网条件：需要能插网线或连接家庭WiFi，准备一个固定内网IP（在路由器后台绑定MAC地址更好）。
4. 远程管理：笔记本可能放角落，所以开启SSH服务。Ubuntu安装时勾选OpenSSH。

核心步骤：安装Linux系统与AI推理环境

1. 安装Ubuntu Server

• 下载Ubuntu Server 22.04 LTS镜像，用Rufus写入U盘。
• 插到旧笔记本，开机按F2/F12选U盘启动。
• 安装过程中选择“最小化安装”，只勾选“Install OpenSSH server”。
• 设置用户名和密码（记好，后面SSH要用）。
• 安装完成后重启，拔掉U盘。

2. SSH连接并更新系统

在另一台电脑打开终端（Windows用PowerShell或CMD）：

ssh your-username@192.168.x.x

输入密码登录后，先更新：

sudo apt update && sudo apt upgrade -y

3. 安装Ollama

Ollama提供一键安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

安装后验证：

ollama --version

4. 下载并启动一个模型

以Qwen2.5 7B为例（用CPU推理）：

ollama pull qwen2.5:7b

下载完成后启动验证：

ollama run qwen2.5:7b

出现提示符表示成功，输入问题测试。
按Ctrl+D退出。

配置API中转：让局域网设备都能调用

默认Ollama在启动时会监听127.0.0.1:11434，只能本地访问。
我们要改成监听0.0.0.0，然后开放防火墙端口。

1. 编辑Ollama服务配置：

sudo systemctl edit ollama.service

在这个文件里填入（覆盖原有内容）：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存退出（先按Esc，输入:wq）。

1. 重启Ollama服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama

1. 防火墙放行端口（Ubuntu默认不安装ufw，如有则执行）：

sudo ufw allow 11434/tcp

1. 在局域网其他设备测试（浏览器打开）：

http://[旧笔记本的IP]:11434

看到一个JSON响应说明服务正常。
可以用curl调用API：

curl -X POST http://192.168.x.x:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "你好，请介绍一下你自己"
}'

返回生成的内容即成功。

避坑与常见问题

| 问题 | 原因与解决办法 |
|------|----------------|
| ollama run 很慢 | CPU推理就是慢，建议换小模型如qwen2.5:1.5b或llama3.2:3b。一次只跑一个对话。 |
| SSH连不上 | 检查笔记本是否在同一局域网，关闭笔记本防火墙（用sudo ufw disable临时测试，确认后再重新配置规则）。 |
| Ollama无法监听0.0.0.0 | 确保systemctl edit时的路径正确，或者直接编辑/etc/systemd/system/ollama.service.d/override.conf |
| 端口被占用 | 用sudo lsof -i :11434查看。如果被其他进程占用，换一个端口。 |
| 模型下载失败 | 网络问题，尝试换源：设置OLLAMA_BASE_URL为镜像，或手动下载gguf文件后用ollama导入。 |

效果验证与下一步优化

验证：

• 在手机浏览器输入http://192.168.x.x:11434看到Ollama的默认响应。
• 用手机上的小工具（如“AI Chat”类App）配置自定义API地址为http://192.168.x.x:11434，测试能否正常对话。
• 检查旧笔记本资源占用：htop（需先安装sudo apt install htop）。CPU在推理时若超过90%正常，内存8GB勉强够，长期运行建议加个散热垫。

如果家里有智能音箱或Home Assistant，还可以写一个简单脚本把Ollama API转成语音问答。
更高级的用法：用FastAPI写一个透明代理，把多个模型统一成一个接口，这就是真正的“AI中转推理服务器”。

遇到异常时优先回看本节的避坑列表，大多数问题都能找到解决办法。如果你用的是Win10/11旧笔记本，也可以先装WSL2再按本文操作，步骤几乎一样。