住宅机器旧显卡跑AI模型优化指南：从配置到提速全流程

老显卡跑AI，未必只有换卡一条路

很多家用电脑上还装着几年前的GTX 1060、1050 Ti甚至更旧的显卡，跑AI模型（比如Stable Diffusion、LLaMA推理）时经常爆显存或慢到无法忍受。
其实在软件层面有不少优化手段，能让这些旧显卡在合理时间内跑出可用的结果。
本文针对住宅环境的普通PC，按步骤讲清楚优化思路和具体操作，适合没接触过调参的新手。

旧显卡跑AI的两个主要瓶颈

先简单理解问题来源：AI推理主要依赖显卡的显存和计算单元。
旧显卡显存小（4GB～6GB）、FP16算力弱，而主流模型默认占用高。
优化方向就是降低显存占用和提高计算效率。

• 显存不足：模型权重、中间激活都会占显存。解决办法：使用低精度推理、模型量化、显存分块交换。
• 计算速度慢：旧显卡架构较老（Maxwell、Pascal）。解决办法：利用专门的加速库（xformers、TensorRT）和精简模型。

准备工作：确认硬件与软件环境

在动手优化之前，先确认几项基础条件：

1. 显卡型号与驱动

• 右键“此电脑” → 管理 → 设备管理器 → 显示适配器，记下型号。
• 驱动更新到最新稳定版（NVIDIA官网搜索对应驱动，不推荐使用Windows自动更新的驱动）。

2. 安装CUDA和cuDNN（如果跑PyTorch框架）

• 推荐CUDA 11.8或12.1（根据框架要求选择）。
• 命令行输入 nvidia-smi 可查看当前驱动支持的最高CUDA版本。
• cuDNN安装后记得把bin目录加入环境变量。

3. 选择合适的基础运行环境

• 如果跑Stable Diffusion WebUI，推荐用 stable-diffusion-webui 官方仓库。
• 如果跑LLM推理，可以用 llama.cpp 或 Ollama，对旧显卡更友好。

三步核心优化：以Stable Diffusion WebUI为例

以下操作在Windows 11 + GTX 1060 6GB上验证通过，其他型号步骤类似。

第一步：开启xformers加速与显存优化参数

xformers是一个针对Transformer模型优化的库，能减少显存占用并提升速度。
在WebUI的启动脚本（webui-user.bat）中找到 COMMANDLINE_ARGS= 行，添加以下参数：

--xformers --medvram --opt-split-attention

• --xformers：启用注意力机制优化（需要pip install xformers，安装方法见下文）
• --medvram：中等显存模式，适合显存4～6GB的卡
• --opt-split-attention：进一步拆分注意力计算，降低显存峰值

安装xformers：在WebUI的Python环境（通常位于 venv 目录下）执行：

pip install xformers --index-url https://download.pytorch.org/whl/cu118

注意选择与CUDA版本匹配的索引URL。

第二步：模型量化与轻量级模型选择

如果显存仍不足，换成量化版模型。
例如Stable Diffusion的 dreamshaper 或 realistic vision 都有FP16版本，体积比FP32小一半。
对LLM推理，推荐使用4-bit或8-bit量化的GGUF格式模型，配合 llama.cpp 运行，显存占用可降到2GB以下。

第三步：调整推理参数，降低显存峰值

在WebUI的Settings → Stable Diffusion部分：

• 将 Batch Count 设为1，Batch Size 设为1（默认可能多张并行，显存瞬间爆掉）。
• 开启 Tiling（分块渲染），大图生成时自动分块处理。
• 启用 VAE tiling，减少VAE解码时的显存占用。

对于LLM推理，在Ollama中设置 --num-ctx 2048 降低上下文长度，也能减少显存占用。

常见报错与避坑说明

报错1：CUDA out of memory
这是最常见的。解决方法：关闭所有其他占用显存的程序（浏览器标签页、游戏），再次降低 Batch Size 或直接使用 --lowvram 参数（会慢一些，但能跑）。

报错2：Failed to load xformers
原因：xformers版本与PyTorch或CUDA不匹配。建议重新安装匹配版本的xformers，或者暂时去掉 --xformers 改用 --opt-sdp-attention（内置优化，兼容性更好）。

避坑提示：不要在启用 --no-half 或 --precision full 的情况下尝试大模型，旧显卡全精度推理显存翻倍，基本跑不动。

效果验证：看生成速度与显存占用

优化后，用同一张图、相同提示词测试：

• nvidia-smi 查看显存峰值，原来6GB耗尽直接OOM，优化后稳定在4.2GB左右。
• 生成一张512x512图片耗时：原始设置35秒，优化后22秒（xformers + medvram）。

如果跑LLM，测试一个短问答，观察token生成速度。llama.cpp 默认在终端会打印速度（如 xx ms/token），对比优化前后提升比例。

写在最后

旧显卡跑AI模型优化的核心思路就两条：降低显存需求和使用高效推理组件。
本文列出的步骤基本能覆盖多数家用场景，如果你遇到具体报错，建议先检查显存占用和日志中的错误提示，再去对应论坛搜索。
别着急换硬件，先试试软件层面的优化，往往能省下一笔开销。