家用住宅主机Linux GPU加速本地大模型推理

先看看你的电脑够不够格

在家用住宅主机上跑大模型，最关键的是显卡和显存。
你需要一张支持CUDA的NVIDIA显卡（比如GTX 1060 6G以上，或RTX系列），并确保Linux系统已正确安装。
检查显卡是否被系统识别：

lspci | grep -i nvidia

如果输出为空，说明显卡没插好或硬件不兼容。
另外，建议至少8GB显存（4GB也能跑小模型，但速度有限）。
内存建议16GB以上，硬盘预留至少20GB空间用于存放模型文件。

安装NVIDIA驱动和CUDA

安装驱动

最简单的方式是用Ubuntu自带的附加驱动工具：

sudo ubuntu-drivers autoinstall
sudo reboot

重启后检查驱动是否生效：

nvidia-smi

如果看到GPU列表和驱动版本，就成功了。
如果报错，可以手动到NVIDIA官网选择对应型号下载.run文件安装。

安装CUDA Toolkit

驱动装好后，还需要CUDA运行时库。
推荐使用官方runfile或发行版包管理器。
这里以CUDA 12.x为例（根据nvidia-smi显示的驱动版本支持的最高CUDA版本确定）：

wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda_12.8.0_xxx_linux.run
sudo sh cuda_12.8.0_xxx_linux.run --toolkit --silent --override

安装后添加环境变量到 ~/.bashrc：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

然后 source ~/.bashrc 并验证：

nvcc --version

部署推理框架并加载模型

这里推荐最省心的方案——Ollama，它自动利用CUDA做GPU加速。
安装Ollama只需一行命令：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，确保Ollama服务已启动：

sudo systemctl start ollama
sudo systemctl enable ollama

现在下载一个小模型测试，比如 llama3.2:1b（约1GB）：

ollama pull llama3.2:1b

下载完成后，运行模型：

ollama run llama3.2:1b

输入 Hello! 看看回复是否正常。
如果一切顺利，Ollama已经在调用GPU了。

怎么确认推理真的用上了GPU

用 nvidia-smi 实时查看显卡占用：

watch -n 1 nvidia-smi

在运行 ollama run 的同时观察GPU-Util（利用率）是否从0%变为非零值，显存使用量是否增加。
如果始终为0，说明仍然在CPU上推理。
常见原因是Ollama未检测到CUDA，可以尝试设置环境变量：

export OLLAMA_CUDA=1
ollama serve

或者重新安装带CUDA支持的Ollama版本（默认安装已支持，但部分旧系统可能需要额外安装 libcudart）。

避坑与高频问题

Q：报错 "CUDA is not available"？

A：先确认驱动版本（nvidia-smi），再确认CUDA Toolkit是否与驱动兼容。
驱动版本号要大于等于CUDA Toolkit需要的版本。
比如CUDA 12需要驱动≥535。
如果驱动太老，升级驱动即可。

Q：显存不足怎么办？

A：选择更小的量化模型，比如 llama3.2:1b 或 qwen2.5:0.5b，或者使用 ollama pull qwen2:0.5b。
另外可以调整Ollama的并发数（OLLAMA_NUM_PARALLEL=1）。

Q：为什么GPU利用率一直很低？

A：小模型单次推理的计算量小，GPU利用率低正常。
可以换一个大模型（如 llama3:8b）来测，显存占用和利用率会明显提升。

Q：没有NVIDIA显卡，能用AMD或Intel核显吗？

A：可以尝试ROCm（AMD）或OpenVINO，但步骤复杂且兼容性较差。
本文只针对NVIDIA显卡。
如果只有CPU，可以继续使用Ollama的CPU模式，但速度会慢很多。

总结

本文从硬件检查、驱动安装、CUDA配置到推理框架部署，完整走通了家用住宅主机Linux GPU加速本地大模型推理的流程。
重点在于确保驱动和CUDA版本匹配、使用Ollama一键部署、并通过 nvidia-smi 验证加速效果。
你可以在自己的机器上按步骤执行，遇到问题优先回头看避坑部分。
如果家里只有一张老旧显卡，不妨先试1B模型，感受下GPU推理的流畅度。