Ollama高并发请求下GPU调度队列堆积
Ollama 在高并发请求下出现 GPU 调度队列堆积，最常见原因是单模型同一时间只接受少量请求，多余请求全部进入等待队列。
通过调整 OLLAMA_NUM_PARALLEL 并发数限制参数，可以让单模型同时处理更多请求，再配合 OLLAMA_MAX_LOADED_MODELS 控制模型加载数量，就能明显缓解排队问题。
本文从现象定位、参数配置到验证效果，给你一套可直接落地的排查方案。
先确认请求是真的卡在 Ollama 调度层
执行 ollama ps 查看当前加载的模型，如果请求堆积时 PROCESSES 列数值很小，比如只有 1，说明模型一次只能处理一个请求，后面的请求都在排队。
再用 nvidia-smi 观察 GPU 显存使用率，如果显存没占满而请求却一直等待，基本可以确定是 Ollama 自身的并发数限制导致。
Ollama 的两个关键环境变量需要重点了解：
OLLAMA_NUM_PARALLEL：控制每个模型最多同时处理的请求数量，默认值通常为 1 或由内存自动估算。OLLAMA_MAX_LOADED_MODELS：限制同时加载的模型数量，超过后会卸载不常用的模型，释放显存。
修改并发数限制参数的具体操作
以 systemd 方式运行的 Ollama 服务为例，编辑服务文件：
sudo systemctl edit ollama.service在打开的编辑器中写入：
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=2"保存后重载并重启服务：
sudo systemctl daemon-reload
sudo systemctl restart ollama如果用的是 Docker 部署，在 docker run 命令中通过 -e 传入同名环境变量即可。
需要说明的是，OLLAMA_NUM_PARALLEL 并不是越大越好，它受显存总量和单个模型副本占用的显存影响。
可以先粗略估算：用 nvidia-smi 查看显存总量，再加载模型后观察实际占用，一般并行度设为“显存可容纳模型副本数”的 60%-80% 比较稳妥。
高并发场景下的配套优化建议
只调大并行数还不够，建议同时做两件事。
- 调整 API 请求的超时时间。Ollama 默认请求超时可能会让部分排队请求提前断开，造成客户端重试风暴。如果走 Nginx 反代，建议把
proxy_read_timeout调大到 300s 以上。 - 为不同模型设置独立的
num_ctx。上下文长度越长，显存占用越高。在调用 API 时显式传入"options": {"num_ctx": 2048}，可以避免默认值过大挤占显存。
修改完参数后，用 ollama ps 看到某个模型的 PROCESSES 数值变成你设定的并行数，说明已经生效。
避坑：别忽略并发请求模型切换的代价
OLLAMA_MAX_LOADED_MODELS 设置过小时，模型会被频繁换入换出，导致“第一个请求慢得离谱”。
如果只有一个模型经常使用，建议设为 1，让模型常驻显存；
如果多个模型交替使用，可以适当调大，但要注意显存不足时会出现加载失败。
另外，OLLAMA_NUM_PARALLEL 并不是全局并发上限，它只限制单模型。
外部仍可能有大量请求同时到达，建议在 Nginx 或网关层配置请求限流，避免后端被瞬时流量打爆。
验证效果：用并发脚本观察队列是否消失
准备好一个并发测试脚本，比如用 hey 发送 20 个并发请求：
hey -n 20 -c 5 -m POST -d '{"model":"qwen2.5:7b","prompt":"hello","stream":false}' http://127.0.0.1:11434/api/generate测试期间另开终端执行 watch -n 1 nvidia-smi，观察 GPU 利用率和显存变化。
正常情况应该是：请求平摊到多个并发槽位，GPU 核心利用率保持高位，ollama ps 中 PROCESSES 始终等于你设定的并行数，而不是 1。
如果发现请求依然排队，先查日志：
journalctl -u ollama -f日志中如果出现 failed to allocate memory，说明并行度设得过高，降低数值后再试。
如果你正在处理 Ollama 高并发请求下 GPU 调度队列堆积的问题，建议先把 OLLAMA_NUM_PARALLEL 调到一个合理值，再根据日志和 nvidia-smi 反馈逐步微调。
每个模型的显存占用不同，没有万能参数，只有结合自己的 GPU 和请求量反复测试，才能找到最稳的并发数限制。
遇到异常时，优先回看本文避坑部分，大部分问题都出在模型切换或显存估算上。
