闲置旧电脑改造低成本本地AI推理主机全攻略

闲置旧电脑改造成低成本本地AI推理主机，核心思路是保留CPU和内存，尽量利用显卡或纯CPU跑量化模型，再配合轻量推理框架完成部署。
只要硬件满足基础条件，零基础用户按本文步骤也能在几小时内跑通本地大模型，无需购买高价云GPU。

先认清你的硬件底子

改造前先给电脑做一次体检，重点看三样：内存、显卡和硬盘。

• 内存：跑7B量化模型建议至少8GB，13B模型建议16GB以上。DDR3内存也能用，成本很低。
• 显卡：NVIDIA显卡优先，因为CUDA生态成熟。显存4GB可以跑7B模型，6GB以上体验更好。没有独立显卡也能用CPU推理，就是慢一些。
• 硬盘：模型文件动辄4-10GB，建议留出20GB以上剩余空间，SSD能明显提升加载速度。

如果机器连8GB内存都没有，可以先加一条二手内存条，成本不高。

装一个轻量Linux系统

原机器是Windows也能跑，但Linux占资源少，部署更顺，推荐直接装Ubuntu Server。
安装步骤：

1. 用另一台电脑下载Ubuntu Server LTS镜像，用Rufus或Balena Etcher写入U盘。
2. 开机进BIOS，设置U盘启动，按界面提示完成安装。
3. 系统装完后执行更新：

sudo apt update && sudo apt upgrade -y

如果你不想重装系统，也能在Windows上用WSL2跑，但显卡直通配置稍复杂，新手建议直接装Ubuntu。

部署推理框架：Ollama 或 llama.cpp

小型本地推理主机最常用的两个框架是Ollama和llama.cpp。
Ollama安装简单、命令少，适合新手；
llama.cpp更轻量，纯CPU场景也常用。

用Ollama快速跑起来

安装Ollama只需一条命令：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后拉取模型即可。
比如拉取一个7B对话模型：

ollama pull qwen2.5:7b

运行并进入交互对话：

ollama run qwen2.5:7b

Ollama默认占用端口11434，也可用API方式调用，方便接入其他工具。

纯CPU机器用llama.cpp

如果机器没有独立显卡，建议用llama.cpp跑小体积量化模型。
先编译源码：

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
make -j4

然后下载GGUF格式的量化模型文件，放到models目录，运行：

./llama-cli -m models/qwen2.5-7b-q4_k_m.gguf -p "你好" -n 64

CPU推理会慢，7B模型通常每秒只能生成几到十几个token，但作为学习或轻量使用已经足够。

必看的避坑清单

改造过程中容易踩的坑主要集中在以下几点：

• 电源供电不足：老电源带不动高功耗显卡，建议用额定400W以上电源。如果插显卡后黑屏或不稳定，先拔掉其他外设再试。
• 散热没做好：旧机器容易积灰，跑模型时CPU和GPU温度会明显升高，建议提前清灰并检查风扇。
• 下载模型太慢：国内直连Hugging Face可能超时，可以用ModelScope或设置镜像环境变量。
• Ollama内存吃满：如果运行时报“failed to allocate memory”，可以调低模型层数或换更小量化版本。

如果跑模型时频繁死机，优先检查内存条是否兼容，不要一上来就怪软件。

怎么判断改造是否成功

验证方法分为三步：

1. 基础运行：启动模型后随便问一句“你好”，能正常返回文字即可。
2. 速度测试：在Ollama里输入/benchmark，或在llama.cpp中观察生成token数。低于每秒2个token也能用，但体验偏慢。
3. 稳定性：连续对话10分钟以上，观察系统日志是否报错。

htop

用htop查看资源占用，CPU或内存接近满载属于正常情况，只要不频繁崩溃就不影响使用。

动手改造前先把本文步骤过一遍，确认硬件和系统环境符合要求再上手。
过程中遇到驱动或模型报错，优先看错误日志，不要盲目重装。
按这套流程操作，大多数闲置旧电脑都能变成一台实用的本地AI推理设备。