bit/8bit模型量化极致降低显存占用方案
在显存不宽裕的显卡上运行大语言模型，最直接的办法就是做 4bit/8bit 模型量化。
简单说，量化把原本 16bit 的权重压缩到 4bit 或 8bit，模型体积和显存占用都会明显下降。
本文给出可复制的量化加载方案，包含环境准备、代码改动、显存验证和常见坑位，适合刚接触本地部署的读者按步骤实践。
量化为什么能明显省显存
大模型推理时，权重精度越高占用的显存就越大。
以 7B 参数模型为例，用半精度（16bit）加载大约需要 14GB 显存；
换成 8bit 后约 7GB，4bit 则能压到 4GB 左右。
4bit/8bit模型量化极致降低显存占用方案的原理，就是把模型里的浮点权重映射到更小的数值范围，同时尽量保留模型表达能力。
这套方案目前主要依赖 bitsandbytes 库，
配合 Hugging Face Transformers 的 load_in_4bit 或 load_in_8bit 参数使用，
不需要手动修改模型结构。
开始前的环境准备
先确认显卡驱动和 CUDA 版本，再创建虚拟环境安装依赖。
以下命令以 Linux + Python 3.10 为例：
pip install torch transformers accelerate bitsandbytes安装完成后，用 python -c "import bitsandbytes; print(bitsandbytes.__version__)" 检查是否正常。
注意 bitsandbytes 对 CUDA 版本有要求，如果导入时报 CUDA 相关错误，优先去它的官方仓库查看对应版本。
用量化参数直接加载模型
这里以加载 Llama 系模型为例，代码同样适用于 Qwen、Mistral 等支持 Transformers 的模型。
使用 4bit 量化：
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "meta-llama/Llama-2-7b-chat-hf"
model = AutoModelForCausalLM.from_pretrained(
model_id,
load_in_4bit=True,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_id)想用 8bit 时，把 load_in_4bit=True 改成 load_in_8bit=True 即可。
加载后不需要再手动调用 .half() 或 .to("cuda")，否则可能报设备不匹配的错误。
如果你希望 4bit 计算时用更高精度，可以增加 bnb_4bit_compute_dtype 参数：
import torch
from transformers import BitsAndBytesConfig
quant_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_compute_dtype=torch.float16
)
model = AutoModelForCausalLM.from_pretrained(
model_id,
quantization_config=quant_config,
device_map="auto"
)如何实测显存占用是否真的降下来
加载完成后，另开一个终端窗口运行：
nvidia-smi -l 1重点看进程列表里 Python 进程的“Memory-Usage”列。
为了对比效果，你可以先用普通精度加载同一个模型，记录显存峰值；
再换成 4bit/8bit 重新加载。
前后数据一对比，就能直观看到显存下降的幅度。
如果量化后仍然接近显存上限，可以尝试开启 CPU offload，但推理速度会显著变慢，不推荐在普通硬盘上使用。
容易踩的坑和解决办法
坑一：
加载时报“CUDA setup failed”。 多半是 bitsandbytes 和本地 CUDA 版本不兼容，
先升级或降级 bitsandbytes，
同时查看 torch.version.cuda 与驱动是否匹配。
坑二：模型输出明显变慢。 量化后权重解码需要额外计算，尤其是 4bit 模式下速度会低于 8bit。
想要更快的推理，可以开启 torch.compile，或改用支持量化优化的推理框架。
坑三：
某些模型层无法量化。 如果遇到“unsupported layer”类报错，
可以在 BitsAndBytesConfig 中指定需要跳过量化的模块，
或者升级 Transformers 到较新版本。
坑四：量化后效果变差。 这在小模型上更明显。
建议 7B 以下参数优先用 8bit，大一些的模型再用 4bit；
同时可以把 bnb_4bit_quant_type 设为 nf4，通常能比 fp4 保留更多精度。
量化后的一些常见疑问
很多人会问：量化对模型输出影响大吗？
实际使用中，4bit 会让部分生成结果略有偏差，但多数任务仍可接受；
如果做数学推理或代码生成，建议用 8bit 更稳。
还有朋友问能不能继续微调。
答案是可以，但需要给 BitsAndBytesConfig 增加 bnb_4bit_use_double_quant=True 和 bnb_4bit_quant_type="nf4"，并在训练时只更新非量化参数。
最终效果取决于数据集和训练时长，建议先用小样试验证。
如果你正在处理 4bit/8bit模型量化极致降低显存占用方案，建议先按本文步骤完整执行，再根据自己的显卡、模型大小和任务类型做微调；
遇到异常时优先回看避坑和高频问题部分。
量化不是万能的，但它是当前低成本跑大模型最实用的手段之一。
