网络资讯
bit/8bit模型量化显存占用极致优化方案
2026-07-21 14:40
标签
4bit量化
8bit量化
显存优化
大模型部署
bitsandbytes
AutoGPTQ