大模型端侧部署配置：从环境准备到效果验证的完整流程
想在本地电脑或边缘设备上跑大模型，核心就三件事：确认硬件够用、装好推理环境、把模型拉下来跑通一次对话。
本文以常见的开源模型和 Ollama 为例，按零基础也能照做的顺序讲清楚大模型端侧部署配置的完整流程，最后给出验证方法和常见报错处理。
先判断设备能不能跑，再动手装环境
端侧部署第一步不是敲命令，而是确认内存和显存。
大模型加载后常驻内存，7B 参数模型做 4bit 量化后大约需要 4GB 到 6GB 内存，13B 模型建议 8GB 以上，未量化的原始权重占用会翻好几倍。
检查当前设备资源：
# Linux 查看内存和 CPU
free -h
nproc
# 查看 GPU 显存（NVIDIA）
nvidia-smiWindows 用户可以在任务管理器“性能”标签页查看内存和 GPU 显存。
如果显存不足，优先选择量化版本模型，或改用 CPU 推理，速度会慢但能跑起来。
适用条件说明：本文命令以 Linux 和 macOS 为主，Windows 用户建议使用 WSL2 或官方安装包，路径和权限写法会有差异。
安装推理工具并拉取模型
Ollama 是目前上手成本较低的端侧推理工具，自带模型管理和 API 服务。
Linux 安装命令：
curl -fsSL https://ollama.com/install.sh | sh安装完成后确认服务状态：
systemctl status ollama
ollama --version如果 systemctl 提示服务不存在，说明当前环境不是 systemd 管理，可以手动启动 ollama serve 后台运行。
拉取一个适合端侧的量化模型，例如：
ollama pull qwen2.5:7b模型名称和标签以实际仓库为准，拉取前可以用 ollama list 查看本地已有模型。
拉取完成后直接进入对话测试：
ollama run qwen2.5:7b在提示符后输入一句“你好，用一句话介绍你自己”，能正常返回中文内容，说明模型加载和推理链路已经通了。
配置对外服务与关键参数
如果只是本机测试，上一步已经够用。
需要让局域网内其他程序调用时，要调整监听地址。
编辑服务配置：
sudo systemctl edit ollama在打开的配置中加入环境变量：
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/data/ollama/models"OLLAMA_HOST 控制监听地址，改成 0.0.0.0 后局域网可访问；OLLAMA_MODELS 用于把模型目录迁移到大容量磁盘，避免系统盘被占满。
保存后重载并重启：
sudo systemctl daemon-reload
sudo systemctl restart ollama验证接口是否可用：
curl http://127.0.0.1:11434/api/tags返回 JSON 中包含模型列表即表示服务正常。
对外暴露前务必确认防火墙规则，只放行可信网段，不要直接暴露到公网。
容易踩的坑和对应处理
模型拉取卡住或超时，先检查磁盘剩余空间和网络代理设置，df -h 确认模型目录所在分区有足够容量。
启动后提示内存不足或被系统杀掉进程，通常是模型量化等级不够或并发请求过多。
可以换更小的模型标签，或在启动参数中限制并发。
GPU 没有被调用，运行 nvidia-smi 看进程列表里有没有推理进程；
没有的话检查驱动和容器运行时是否安装正确，CPU 推理虽然慢但可以作为兜底验证。
修改 OLLAMA_HOST 后本机反而连不上，常见原因是只写了 IP 没写端口，或者防火墙拦截了 11434 端口。
用 ss -tlnp | grep 11434 确认监听状态。
验证部署效果是否达标
功能验证：连续发起三次对话请求，确认每次都能返回完整内容，没有中途断开。
性能观察：在对话过程中另开终端执行 nvidia-smi 或 top，观察显存和内存占用是否稳定，是否出现持续增长。
接口验证：用 curl 调用生成接口，确认返回结构正常：
curl http://127.0.0.1:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"用一句话说明端侧部署的好处","stream":false}'返回 JSON 中 response 字段有内容，说明服务端到端可用。
如果计划接入自己的应用，再把该地址配置到应用的环境变量中即可。
端侧部署配置没有唯一标准答案，关键是先让最小链路跑通，再根据内存、速度和并发需求逐步调整模型大小和量化等级。
按本文顺序操作后如果仍有异常，优先回看报错信息中的关键词，再对照避坑部分逐项排查。
