在龙蜥系统上部署本地大模型：从环境检查到服务验证

知识分享

2026-10-20 05:00

30 阅读

在龙蜥操作系统上跑本地大模型，最省事的路线是使用 Ollama：它把模型下载、运行和接口服务打包在一起，装完后一条命令就能拉起推理服务。
本文以龙蜥 8/23 系列、x86_64 服务器为环境，按“先查机器、再装依赖、再起服务、最后验证”的顺序展开，适合第一次在 Linux 上部署大模型的用户。

先确认机器扛不扛得住

大模型对内存和显存比较敏感。
部署前先看三件事：CPU 架构、内存大小、是否有可用的 GPU。

uname -m
free -h
lspci | grep -i nvidia

如果内存低于 4GB，建议先加内存或改用更小的模型，否则加载阶段就可能被杀进程。

龙蜥默认软件源里不一定有 Ollama，官方提供了一键安装脚本。
先补上常用工具：

sudo dnf install -y curl tar git

然后执行安装：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后检查服务状态：

systemctl status ollama

如果看到 active (running)，说明服务已启动。
默认监听 127.0.0.1:11434，只允许本机访问。

如果模型服务要给内网其他应用调用，需要改监听地址。
编辑服务配置：

sudo systemctl edit ollama

在打开的编辑器中加入：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存后重载并重启：

sudo systemctl daemon-reload
sudo systemctl restart ollama

接着确认防火墙放行端口（龙蜥默认使用 firewalld）：

sudo firewall-cmd --add-port=11434/tcp --permanent
sudo firewall-cmd --reload

注意：暴露到 0.0.0.0 后，任何能访问该端口的机器都能调用模型，生产环境建议配合安全组或反向代理做访问控制。

先拉一个体积适中的模型测试，例如 qwen2.5:7b：

ollama pull qwen2.5:7b

拉取完成后直接对话：

ollama run qwen2.5:7b

输入一句“你好，用一句话介绍你自己”，能正常返回中文内容即部署成功。
退出对话用 Ctrl+D。

再验证 HTTP 接口是否可用：

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "用一句话说明什么是Linux",
  "stream": false
}'

返回 JSON 中包含 response 字段且内容合理，说明服务对外提供 API 正常。

下载中断：模型文件较大，网络不稳时 ollama pull 可能卡住。重新执行同一命令会续传，不必删除已有文件。
内存不足被 kill：运行 dmesg | grep -i oom 如果看到 oom-killer 记录，说明内存不够，换更小模型或加内存。
端口改了不生效：systemctl edit 写入的配置需要 daemon-reload 再重启，只 restart 不会加载新环境变量。
SELinux 拦截：龙蜥默认可能开启 SELinux，若服务异常可先 getenforce 查看，临时排查用 setenforce 0，正式环境应调整策略而不是长期关闭。

按下面清单逐项核对，全部通过再接入业务：

如果某一步失败，优先回看对应小节的命令和配置，多数问题集中在监听地址、防火墙和内存这三处。
后续如果要接入 Web 界面或应用，可以在验证通过的服务基础上继续配置反向代理。