网络资讯
SGLang开启KV缓存复用，降低重复prompt显存开销教
2026-08-12 14:40
标签
SGLang
KV缓存复用
显存优化
大模型推理
Prefix Caching
82. SGLang开启KV缓存复用