零基础如何完成LLM私有化部署？从环境配置到模型运行全流程

不少人想在自己的服务器上跑一个私有的 LLM（大语言模型），但面对各种框架和命令行，容易卡在第一步。
本文带你走完 LLM 私有化部署 的完整流程——从准备服务器到实际对话测试，全程零基础可跟做。

部署前需要准备什么

硬件方面，LLM 对显存和内存有一定要求。
运行 7B 参数规模的模型（如 Llama 3 8B、Qwen 2.5 7B），推荐至少 8GB 显存（NVIDIA 显卡）或 16GB 内存（纯 CPU 推理）。
系统建议使用 Ubuntu 22.04 或 CentOS 7+，且已安装显卡驱动（NVIDIA 用户执行 nvidia-smi 确认驱动正常）。

如果只有 CPU，也能跑小模型（3B 以下），只是速度慢一些。

推荐部署工具：Ollama

Ollama 是目前最易用的 LLM 部署工具之一，支持 Linux、macOS、Windows。
它封装了模型下载、推理和 API 调用，无需手写代码。
对于零基础用户，这是最快上手的方案。

安装命令（Linux）：

curl -fsSL https://ollama.com/install.sh | sh

等待脚本运行完毕，然后启动服务：

ollama serve

服务默认监听 11434 端口，保持终端不要关闭。
另开一个终端窗口进行后续操作。

下载并运行模型

Ollama 官方库提供大量开源模型。
以一个常用模型为例，运行以下命令即可下载并启动交互对话：

ollama run llama3.1:8b

首次执行会先下载模型（大小约 4-5GB），下载完成后直接进入对话界面，输入内容即可问问题。

如果想下载其他模型，先查询可用列表：

ollama list

或访问 Ollama 官网模型库选择。

避坑指南：常见问题与解决办法

1. 模型下载失败或极慢

Ollama 默认从 GitHub Releases 和官方镜像拉取模型，国内服务器可能被限速。
建议设置代理环境变量（如有代理服务器）：

export http_proxy=http://你的代理IP:端口
export https_proxy=http://你的代理IP:端口

或者在 ollama serve 启动前配置，然后重新下载。

2. 显存不足导致进程被杀死

如果运行较大模型时出现 SIGKILL 或 out of memory，检查显卡显存是否够用。
可通过限制模型使用的 GPU 层数来降低显存占用：

ollama run llama3.1:8b --num-gpu 32

数值越小，显存占用越少，但推理速度会下降。
如果完全没有显卡，可添加参数强制 CPU 推理：

ollama run llama3.1:8b --no-cuda

3. 服务启动后无法从其他机器访问

默认 Ollama 只监听 127.0.0.1，如果需要局域网或公网访问，需修改环境变量：

export OLLAMA_HOST=0.0.0.0
ollama serve

注意安全风险，建议在内网或使用防火墙限制访问 IP。

4. 端口占用冲突

如果 11434 端口已被占用，改用其他端口：

export OLLAMA_HOST=127.0.0.1:11435
ollama serve

然后客户端连接时指定新端口。

验证部署是否成功

在服务运行的终端或新窗口中输入以下命令检查模型是否正常响应：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "你好，请简单介绍一下你自己。",
  "stream": false
}'

如果返回包含 "response" 字段的 JSON，说明部署成功。
也可以直接在 ollama run 界面中提问进行验证。

后续可以做什么

LLM 私有化部署 完成后，你可以通过 Ollama 提供的 API 将模型集成到自己的应用中，或者使用 Open WebUI 等前端工具获得类似 ChatGPT 的对话框界面。
如果你在部署过程中遇到其他报错，请先检查驱动版本和磁盘空间，大部分问题都能通过查看 Ollama 日志（journalctl -u ollama）找到线索。