大模型昇腾部署教程：从环境检查到服务验证的完整流程

在昇腾NPU服务器上部署大模型，核心流程是确认驱动和CANN版本匹配、准备模型权重、用推理框架加载模型并暴露OpenAI兼容接口。
本文以常见的Atlas系列服务器和vLLM-Ascend推理框架为例，讲清从零开始跑通一个开源大模型服务的完整步骤。
如果你用的是其他推理框架或云厂商托管环境，命令细节会有差异，但环境检查和验证思路相通。

先确认硬件和软件底座是否就绪

部署前不要急着拉模型权重，先确认NPU能被系统识别、驱动和CANN版本可用。
这是后续所有步骤的前提。

登录服务器后执行：

npu-smi info

预期结果：能看到NPU卡数量、型号、显存占用和健康状态。
如果提示命令不存在，说明驱动工具未安装或环境变量未生效，需要先装驱动包。

接着检查CANN环境变量：

echo $ASCEND_HOME_PATH
ls $ASCEND_HOME_PATH

正常情况下ASCEND_HOME_PATH指向CANN安装目录，目录下能看到bin、lib64等子目录。
如果变量为空，执行CANN安装目录下的set_env.sh：

source /usr/local/Ascend/ascend-toolkit/set_env.sh

实际路径以你的安装位置为准。
建议把这条命令写进~/.bashrc，避免每次新开终端都要手动加载。

注意：驱动、固件和CANN版本之间有对应关系，不要混装不同版本的包。
版本对应表以华为昇腾官方文档为准，不确定时先查再装。

准备Python环境和模型权重

推荐用conda或venv隔离环境，避免和系统Python冲突。
以下以Python 3.10为例：

conda create -n ascend_llm python=3.10 -y
conda activate ascend_llm
pip install --upgrade pip

然后安装与你的CANN版本匹配的torch_npu和vLLM-Ascend。
这两个包的版本必须和CANN对齐，不能直接照搬网上任意版本的安装命令。
安装完成后用一行命令验证：

python -c "import torch; import torch_npu; print(torch.npu.is_available())"

输出True说明PyTorch已经能调用NPU。
如果输出False或报错，回到上一步检查CANN环境变量和包版本。

模型权重可以从ModelScope或Hugging Face下载。
以Qwen系列开源模型为例，用modelscope命令行下载：

pip install modelscope
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /data/models/Qwen2.5-7B-Instruct

下载完成后确认目录里有config.json、tokenizer.json和权重文件。
磁盘空间要留足，7B模型通常需要十几GB以上，具体以模型文件实际大小为准。

启动推理服务并验证接口

vLLM-Ascend的启动方式和vLLM基本一致，关键是把设备指定为NPU。
一个基础启动命令如下：

vllm serve /data/models/Qwen2.5-7B-Instruct \
  --device npu \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --port 8000 \
  --host 0.0.0.0

参数说明：--tensor-parallel-size表示张量并行卡数，
单卡填1，
多卡按实际NPU数量调整；--max-model-len控制上下文长度，
设得越大显存占用越高；--host 0.0.0.0允许外部访问，
生产环境建议配合防火墙或反向代理限制来源。

服务启动后，另开一个终端验证：

curl http://127.0.0.1:8000/v1/models

能返回模型列表JSON，说明服务已经正常监听。
再发一条对话请求：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"/data/models/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"你好"}],"max_tokens":64}'

返回内容中包含choices字段和生成的文本，就说明推理链路完整可用。
如果请求超时，先看服务日志里有没有显存不足或算子编译报错。

常见启动失败怎么排查

实际部署中报错集中在几类，按顺序排查效率最高。

第一类：npu-smi info看不到卡。 检查驱动是否安装、容器是否透传了NPU设备。
如果用Docker，需要挂载/dev/davinci*和驱动目录，具体挂载参数参考昇腾容器镜像说明。

第二类：导入torch_npu报错或返回False。 多半是CANN环境变量未加载或版本不匹配。
重新source set_env.sh后验证，仍失败就核对torch_npu与CANN的版本对应关系。

第三类：
启动时显存不足（OOM）。 降低--max-model-len，
或减小--gpu-memory-utilization（部分版本参数名可能不同），
也可以换更小参数量的模型先跑通流程。

第四类：端口能通但请求报模型不存在。 检查请求里的model字段是否和启动时的模型路径或服务注册名一致，不要想当然填模型简称。

避坑提醒：不要在生产环境直接用--host 0.0.0.0且不设任何访问控制；
模型权重目录不要放在系统盘根目录；
升级CANN或驱动前先记录当前版本，便于回滚。

部署完成后的检查清单

服务跑通不等于可以交付，建议至少确认以下几项：

• npu-smi info中NPU利用率和显存占用在请求期间有变化，说明推理确实走了NPU；
• 连续发送多次请求，观察日志有无算子编译失败或进程退出；
• 记录启动命令、模型路径、CANN版本和torch_npu版本，方便后续复现；
• 如果需要对外提供服务，在反向代理层加鉴权和限流，不要直接把推理端口暴露到公网。

这套流程覆盖了从环境检查到接口验证的主干路径。
不同昇腾型号、CANN版本和推理框架在参数名上可能有细微差异，遇到报错时优先回看日志第一行和版本对应关系，再逐项排除。