本地大模型显存不足，算力机器优化方案
本地大模型显存不足通常不是硬件彻底不够，而是加载方式、量化精度和系统缓存没配对。
本文面向零基础用户，从检查显存占用开始，逐步调整量化等级、分层卸载和系统参数，最终让7B到13B模型在有限显存下稳定推理。
先确认显存到底被谁占用了
在动手优化前，需要先知道显存是被模型权重、KV缓存还是其他进程占用。
打开终端，运行以下命令查看GPU状态：
nvidia-smi重点看Memory-Usage和Processes两列。
如果模型还没加载，显存就占用超过1GB，通常是桌面环境或残留进程导致。
可以执行nvidia-smi --gpu-reset重置，但需要root权限且会中断所有GPU任务。
对于Linux系统，还可以用lsof /dev/nvidia*查看哪些进程打开了GPU设备。先清理无关进程，再启动模型，是成本最低的优化步骤。
量化加载：把模型精度降下来
量化是把模型权重从16位浮点数压缩成8位或4位整数，显存占用直接减半甚至更多。
如果你用llama.cpp或ollama，加载时指定量化参数即可。
以ollama为例，拉取4位量化版本：
ollama pull llama3:7b-q4_0
ollama run llama3:7b-q4_0如果使用transformers库手动加载，可以这样写：
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-3-8B",
load_in_4bit=True,
device_map="auto"
)量化等级越低，显存占用越小，但生成质量会略有下降。 7B模型用4位量化通常能在6GB显存内运行，13B模型建议至少8GB显存。
分层卸载：让部分层跑在CPU上
当显存实在不够，可以把模型的一部分层放到CPU内存，只把关键层留在GPU。accelerate库的device_map参数支持这种策略。
修改加载代码如下：
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-3-8B",
load_in_4bit=True,
device_map="auto",
max_memory={0: "5GiB", "cpu": "20GiB"}
)max_memory里0代表第一块GPU，cpu代表系统内存。分层卸载会降低推理速度，但能让原本跑不起来的模型跑起来。 建议从GPU分配5GB开始尝试，逐渐增加直到报错消失。
调整KV缓存与批处理大小
KV缓存是模型生成每个token时保存的注意力键值，对话越长占用越大。
如果显存吃紧，可以限制缓存长度或关闭缓存复用。
在transformers中设置：
model.generate(
input_ids,
max_new_tokens=256,
use_cache=False
)use_cache=False会重新计算注意力，显存占用下降但速度变慢。
另一种做法是调小批处理大小，在ollama中可通过OLLAMA_NUM_PARALLEL=1环境变量控制并发数。对于单用户本地使用，把并发数设为1通常能省下几百MB显存。
系统层面：关闭图形界面与调整交换空间
如果服务器装了桌面环境，可以切换到多用户命令行模式释放显存：
sudo systemctl set-default multi-user.target
sudo reboot同时检查交换空间是否足够。
当显存溢出时，系统会尝试用内存交换，但速度极慢。
建议设置至少16GB交换文件：
sudo fallocate -l 16G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile交换空间只能救急，不能替代显存，长期方案仍是量化和分层卸载。
避坑与验证
优化后不要直接跑长对话，先用短提示测试：
ollama run llama3:7b-q4_0 "你好"如果报CUDA out of memory，逐步降低max_memory中GPU配额，每次减1GB。
注意不要同时开多个模型实例，nvidia-smi确认没有残留进程后再启动。
常见疑问：
4位量化会影响中文能力吗？ 会有一点影响，但7B以上模型在日常问答中差异不明显，建议先试再用。
分层卸载后速度慢多少？ 取决于CPU和GPU比例，通常比纯GPU慢2到5倍，适合不追求实时响应的场景。
显存刚好够但一跑就崩？ 检查是否开启了use_cache，长上下文时KV缓存可能瞬间撑爆显存，临时关闭缓存可缓解。
完成以上调整后，再次运行nvidia-smi，显存占用应稳定在设定上限内，模型能连续回答3到5轮不报错，即表示优化生效。
