大模型边缘计算部署：从零搭建可验证的推理节点
大模型边缘计算部署，指的是把经过量化或裁剪的语言模型放到靠近数据产生的设备上运行推理，而不是全部请求都发到云端。
它适合网络不稳定、数据不宜外传或要求低延迟的场景。
下面按零基础也能照做的顺序，讲清楚准备条件、部署步骤、避坑点和验证方法。
先确认你的边缘设备能不能跑
边缘设备通常指工控机、迷你主机、带独显的笔记本或 Jetson 类开发板。
部署前先核对三件事：
- 显存或内存：7B 参数模型做 4bit 量化后，权重占用大约 4GB 左右，加上上下文缓存，建议至少 6GB 可用显存；纯 CPU 推理则需要更大内存，速度会明显下降。
- 存储空间：模型文件、镜像和运行环境建议预留 20GB 以上。
- 操作系统：优先使用 Ubuntu 22.04 或 Debian 12 这类常见 Linux 发行版，驱动和容器支持更成熟。
登录设备后，用下面命令确认基础信息：
uname -a
free -h
nvidia-smi # 有 NVIDIA 显卡时执行nvidia-smi 能正常输出显卡型号和显存占用，说明驱动可用；
如果提示命令不存在，先装好显卡驱动再继续。
安装容器运行时并拉取推理镜像
边缘环境依赖多，直接用 Docker 运行推理服务可以减少环境冲突。
以下以 Ubuntu 为例：
sudo apt update
sudo apt install -y docker.io
sudo systemctl enable --now docker
sudo usermod -aG docker $USER执行完 usermod 后需要重新登录终端，docker ps 不再报权限错误才算生效。
接着拉取一个支持 GPU 的推理镜像，例如 Ollama 或 vLLM 的官方镜像。
以 Ollama 为例：
docker pull ollama/ollama如果设备没有 NVIDIA 显卡，可以跳过 GPU 相关参数，直接使用 CPU 模式，但要把模型规模控制在 3B 以下，否则响应时间会很长。
启动模型服务并开放接口
先创建模型存储目录，避免容器重启后模型丢失：
mkdir -p /opt/edge-llm/models启动容器，把模型目录挂载进去：
docker run -d --name edge-llm \
--gpus all \
-p 11434:11434 \
-v /opt/edge-llm/models:/root/.ollama \
--restart unless-stopped \
ollama/ollama没有 GPU 时去掉 --gpus all。
容器启动后进入容器拉取一个量化模型，例如：
docker exec -it edge-llm ollama pull qwen2.5:3b模型下载完成后，服务会监听 11434 端口。
生产环境不建议直接暴露到公网，至少用防火墙限制来源 IP，或在前面加一层 Nginx 反向代理并配置访问控制。
验证推理是否真正可用
先用本机请求测试接口：
curl http://127.0.0.1:11434/api/generate -d '{
"model": "qwen2.5:3b",
"prompt": "用一句话解释边缘计算",
"stream": false
}'返回 JSON 中 response 字段有正常文本，说明模型加载和推理链路通了。
再从另一台机器访问边缘设备的 IP，确认端口可达：
curl http://<边缘设备IP>:11434/api/tags如果本机能通、远程不通，优先检查防火墙和云安全组是否放行 11434 端口。
另外观察首次请求耗时，边缘设备冷启动加载模型通常比后续请求慢，属于正常现象。
常见报错与避坑提醒
- 显存不足（out of memory）：换更小的量化模型，或减少并发请求数；不要同时加载多个大模型。
- 容器启动后立即退出：执行
docker logs edge-llm查看日志，常见原因是挂载目录权限不对或 GPU 驱动版本不匹配。 - 模型下载中断：边缘网络不稳定时，可以多次执行
ollama pull，已下载的分片会复用。 - 接口响应很慢：先确认请求是否真的走了 GPU，CPU 推理在 7B 模型上可能需要数十秒。
- 不要直接开放公网端口：边缘设备往往缺少防护，建议只在内网使用，或通过反向代理加认证。
部署完成后，建议把模型名称、端口、启动命令和验证结果记录到运维文档中。
后续更换模型或调整并发时，先回看显存占用和接口延迟，再决定是否扩大规模。
