大模型隐私计算配置：零基础搭建本地安全推理环境

如果你希望在自己的服务器上运行大模型，同时避免数据外传，那么大模型隐私计算配置的核心就是：在隔离环境中部署模型推理服务，并限制对外网络访问。
下面以一台 Ubuntu 22.04 服务器为例，使用 Docker 和 Ollama 演示完整流程，零基础也能跟着做。

先确认服务器条件和软件依赖

开始前需要准备：一台至少 16GB 内存、50GB 可用磁盘的 Linux 服务器（CPU 推理即可，有 GPU 更好）；
已安装 Docker 和 Docker Compose；
一个非 root 的普通用户并具备 sudo 权限。
检查命令：

docker --version
docker compose version
free -h
df -h /

如果 Docker 未安装，
可执行 sudo apt update && sudo apt install -y docker.io docker-compose-plugin，
然后 sudo usermod -aG docker $USER 并重新登录。

用 Docker 隔离运行模型服务

隐私计算的关键是让模型服务只监听本地回环地址，不直接暴露公网。
创建目录并编写 docker-compose.yml：

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama-private
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ./ollama-data:/root/.ollama
    restart: unless-stopped

执行 docker compose up -d 启动。
注意 ports 左侧必须是 127.0.0.1，这样只有服务器本机可以访问 11434 端口。
启动后拉取一个轻量模型测试：

docker exec -it ollama-private ollama pull qwen2:0.5b
docker exec -it ollama-private ollama run qwen2:0.5b "你好"

如果看到模型回复，说明推理服务正常。

限制网络出口与访问来源

为了进一步保护隐私，建议用防火墙限制模型容器的对外访问。
使用 UFW 时，先允许 SSH 端口，再拒绝其他入站：

sudo ufw allow 22/tcp
sudo ufw default deny incoming
sudo ufw enable

如果其他内网机器需要调用模型，不要直接开放 11434 端口，而是通过 Nginx 反向代理并添加认证，或使用 SSH 隧道。
例如在本机执行 ssh -L 11434:127.0.0.1:11434 user@服务器IP，然后在本地访问 http://127.0.0.1:11434。

常见报错和避坑提醒

• 拉取模型超时：Docker Hub 或模型仓库网络不稳定，可尝试配置镜像加速或更换网络环境。
• 端口冲突：启动前用 ss -tlnp | grep 11434 检查端口是否被占用。
• 权限不足：普通用户执行 Docker 命令报错时，确认已加入 docker 组并重新登录。
• 磁盘写满：模型文件较大，定期用 docker system df 检查空间，清理无用镜像。
• 不要将 ports 写成 0.0.0.0:11434:11434，否则模型服务会暴露到公网，违背隐私计算初衷。

验证配置是否生效

完成以上步骤后，从另一台机器尝试访问服务器公网 IP 的 11434 端口，应该连接失败；
在服务器本机执行 curl http://127.0.0.1:11434/api/tags 应返回模型列表。
同时用 docker logs ollama-private 查看日志，确认没有异常外连请求。
只要本机可调用、外网不可达，基础的大模型隐私计算配置就算完成。
后续可根据需要增加用户认证、审计日志或改用更严格的容器网络策略。