摩尔线程GPU上部署大模型：从环境检查到对话验证

在摩尔线程GPU上部署大模型，核心是确认驱动和容器环境就绪，然后通过预置镜像或源码编译方式启动推理服务。
本文以Linux服务器为例，带你从零完成环境检查、模型下载、服务启动和对话验证，并给出常见报错的排查方向。

先确认硬件与驱动状态

动手前，登录服务器执行以下命令检查GPU是否被系统识别：

lspci | grep -i moore

如果输出中包含Moore Threads相关设备，说明硬件已识别。
接着检查驱动版本：

mthreads-gmi

该命令会列出GPU型号、显存占用和驱动版本。若命令不存在，需先安装MTT S系列驱动，具体安装包请从摩尔线程官方开发者网站获取，本文不提供固定下载链接。

同时确认Docker已安装并运行：

docker --version
systemctl status docker

准备容器运行环境

推荐使用摩尔线程官方提供的容器镜像，里面已集成MUSA（摩尔线程统一系统架构）运行时和常用工具。
拉取镜像前，先登录容器 registry（如有需要）：

docker login 

然后拉取基础镜像（镜像名称和标签以官方文档为准）：

docker pull mthreads/musa:latest

启动一个交互式容器，挂载模型目录和GPU设备：

docker run -it --rm \
  --device=/dev/mtgpu0 \
  -v /data/models:/models \
  mthreads/musa:latest bash

进入容器后，
运行mthreads-gmi确认容器内也能看到GPU。注意：--device参数需根据实际设备文件调整，
常见为/dev/mtgpu0，
可用ls /dev/mtgpu*查看。

下载模型并启动推理服务

以Hugging Face上的开源模型为例，在容器内安装git-lfs后克隆模型（需提前配置访问令牌）：

git lfs install
git clone https://huggingface.co/<模型组织>/<模型名称> /models/<模型名称>

若网络受限，可先在宿主机下载再挂载进容器。
模型就绪后，使用适配MUSA的推理框架启动服务。
以常见的llama.cpp MUSA分支为例，编译后运行：

./llama-server -m /models/<模型名称>/ggml-model-q4_0.gguf \
  --host 0.0.0.0 --port 8080 -ngl 99

-ngl 99表示尽可能多地将层卸载到GPU。
启动后观察日志，出现server is listening on 0.0.0.0:8080即表示服务已就绪。

避坑：驱动、权限与显存

驱动版本不匹配是常见失败原因，
容器内报MUSA error时，
先在宿主机和容器内分别执行mthreads-gmi对比驱动版本。权限不足表现为无法打开/dev/mtgpu0，
可将当前用户加入video组或使用--privileged调试（生产环境慎用）。显存不足时，
日志会提示out of memory，
可减小-ngl值或换用量化程度更高的模型文件。

另外，模型文件路径务必使用绝对路径，避免容器内相对路径解析错误。
如果服务启动后端口无法访问，检查防火墙是否放行8080端口：

firewall-cmd --add-port=8080/tcp --permanent
firewall-cmd --reload

验证对话与性能观察

在宿主机或同网络机器上，用curl测试接口：

curl http://<服务器IP>:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"你好"}]}'

若返回包含choices字段的JSON，说明推理链路正常。
同时可运行mthreads-gmi -q观察GPU利用率是否上升，确认计算任务确实跑在GPU上。

如果返回超时或连接拒绝，
先确认服务进程是否存活（docker ps或ps aux | grep llama-server），
再检查端口监听状态（ss -tlnp | grep 8080）。

常见疑问

模型必须用GGUF格式吗？ 不一定，取决于推理框架。
llama.cpp系列使用GGUF，而vLLM等框架使用Hugging Face原生格式，需根据所选框架准备模型。

能否在WSL2里用摩尔线程GPU？ 目前官方主要支持原生Linux环境，WSL2的GPU直通支持情况请以摩尔线程官方文档为准，不建议作为生产部署方案。

部署后如何限制显存占用？ 可通过推理框架的-ngl参数控制卸载层数，或使用--tensor-split分配多卡负载，具体参数请查阅对应框架的帮助文档。

完成以上步骤后，你已能在摩尔线程GPU上跑通大模型对话。
若后续需要调整并发或量化精度，建议先在小流量下测试稳定性，再逐步放开。