家用闲置旧电脑改造低成本AI推理主机

改造前需要准备什么硬件和系统？

要在家用旧电脑上跑AI推理，不需要多强的配置，但有几个底线建议。

最低硬件要求：

• CPU：双核以上，推荐四核。
• 内存：至少8GB，想运行3B以上模型建议16GB。
• 硬盘：剩余空间10GB以上，SSD为佳。
• 显卡：可选。有NVIDIA独立显卡（GTX 960以上）效果更好；没有显卡也可以用CPU推理，速度稍慢但完全可行。

操作系统推荐：Ubuntu 22.04 / 24.04 LTS（桌面版或服务器版皆可）。
Windows也可以，但Ollama在Linux上更稳定，新手优先选Linux。

如果系统还没装，先去Ubuntu官网下载镜像，用Rufus工具制作启动U盘。

从安装Ollama到跑通第一个模型

1. 安装Ollama（开源的LLM运行框架）

打开终端（Ctrl+Alt+T），粘贴一行命令：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后运行 ollama --version 检查是否成功。
如果显示版本号，代表安装完成。

2. 拉取一个轻量模型（新手首选）

推荐从1B~3B参数的小模型开始，比如Qwen2.5 1.5B或Llama 3.2 1B。
以Qwen为例：

ollama pull qwen2.5:1.5b

下载过程视网速而定，通常几分钟。
完成后终端会出现 success 提示。

3. 运行模型并对话

ollama run qwen2.5:1.5b

进入交互模式后，输入你的问题，比如“用中文介绍一下AI推理的基本原理”，模型就会逐字生成回答。
按Ctrl+D退出。

验证是否顺利：看回答速度是否在可接受范围内。
如果等待超过半分钟仍无反应，检查内存是否占满（用 htop 命令查看）。

改造过程中最容易忽略的散热、电源和兼容性问题

• 散热必须处理：旧电脑最容易积灰，CPU散热器堵塞会导致高温降频，推理速度变慢。建议拆机清灰，更换CPU硅脂。
• 电源功率：如果有独立显卡，旧电源可能需要升级。NVIDIA GTX 1060满载约120W，加上CPU和其他配件，电源额定功率建议不低于300W。软路由或小主机用户注意适配器电流。
• 驱动坑：NVIDIA显卡必须安装官方驱动和CUDA工具包。Ubuntu下执行：

  sudo apt install nvidia-driver-535
  sudo apt install nvidia-cuda-toolkit

装完后运行 nvidia-smi 确认驱动可用。

• 内存不足导致OOM：如果运行4B以上模型时终端报 killed，说明内存不够。可尝试更小的量化版本（如Q4_K_M），或在启动Ollama时限制并发数。

如何确认你的旧电脑确实能跑AI推理？性能测试方法

除了对话流畅度，建议用两个简单指标验证：

1. token生成速度：在交互中输入“写一首七言绝句，主题是秋天”，观察从按下回车到第一个字出现的延迟。CPU推理一般每秒3~8 token，GPU推理可达20~50 token。
2. 资源占用：开另一个终端运行 htop，查看CPU和内存使用率。推理过程中CPU接近满载属正常，内存占用不应超过总量90%。

如果速度太慢（每秒不足1 token），
尝试更小的模型（如qwen2.5:
0.5b）或增加交换空间（sudo fallocate -l 4G /swapfile && sudo mkswap /swapfile && sudo swapon /swapfile）。

常见问题快速排查

Q：安装Ollama时提示“curl: command not found”
A：先安装curl：sudo apt install curl。

Q：运行模型后报错“failed to allocate memory”
A：模型太大，内存不足。换小模型或加swap。

Q：怎样让模型更快？
A：如果CPU推理，可尝试增加CPU内存通道（双通道）；如果显卡支持，给Ollama指定GPU：ollama run --gpu qwen2.5:1.5b。

Q：旧电脑可以用Windows吗？
A：可以，但需手动安装Ollama for Windows版本，并配置环境变量。推荐Linux。

Q：改造后能否长期运行？
A：可以，注意定期清灰、保持通风即可。旧电脑功耗一般在50~150W，电费很低。

如果你正在改造旧电脑，建议先按本文步骤走通一次，再根据模型大小调整内存和散热方案。
遇到异常时回看避坑部分，大概率能解决。