大模型麒麟系统部署教程：零基础安装与避坑指南

在麒麟系统上部署大模型，核心是准备好 Python 环境、推理框架和模型文件，并确保系统架构与依赖包匹配。
本文以银河麒麟 V10 或中标麒麟服务器版为例，假设你已安装好系统并具备 root 权限或 sudo 权限，按步骤执行即可完成一个基础的大模型本地运行环境。

先确认系统架构和资源余量

麒麟系统常见于 ARM 和 x86 两种架构，大模型推理工具对架构支持不同，动手前先确认。

• 查看架构：uname -m，输出 aarch64 表示 ARM，x86_64 表示 x86。
• 查看系统版本：cat /etc/kylin-release 或 cat /etc/os-release。
• 检查内存和显存：free -h 看内存，nvidia-smi 看显卡（如有 NVIDIA 显卡）。
• 检查磁盘空间：df -h，模型文件通常需要 10GB 以上空闲空间。

如果使用纯 CPU 推理，内存建议不低于 16GB；
如果使用 GPU，需提前安装匹配的显卡驱动和 CUDA 工具包，麒麟系统上建议优先使用官方源提供的驱动版本。

安装 Python 与基础依赖

麒麟系统自带 Python 版本可能较低，建议安装 Python 3.10 或 3.11。
以下命令以 x86 架构为例，ARM 架构需替换为对应架构的安装包。

sudo apt update
sudo apt install -y python3 python3-pip python3-venv git wget

如果系统源中 Python 版本不满足要求，可从源码编译安装，但编译前需安装开发工具：

sudo apt install -y build-essential libssl-dev libffi-dev zlib1g-dev

创建独立虚拟环境，避免污染系统 Python：

python3 -m venv /opt/llm-env
source /opt/llm-env/bin/activate
pip install --upgrade pip

注意：麒麟系统默认可能启用安全增强机制，若 pip install 报权限错误，检查是否在虚拟环境中执行，不要直接使用 sudo pip。

选择并安装推理框架

常用推理框架有 transformers、llama.cpp、vLLM 等。
零基础建议先用 transformers 跑通小参数模型（如 ChatGLM3-6B、Qwen1.5-7B），再根据硬件升级。

在虚拟环境中安装 PyTorch 和 transformers：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu
pip install transformers accelerate sentencepiece

如果使用 GPU，将 --index-url 替换为对应 CUDA 版本的 PyTorch 源。
安装完成后用以下命令验证：

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

输出 True 表示 GPU 可用，False 表示当前为 CPU 模式。

下载模型并启动推理服务

从 Hugging Face 或国内镜像下载模型文件，放到 /opt/models 目录。
以 Qwen1.5-7B-Chat 为例：

git lfs install
git clone https://huggingface.co/Qwen/Qwen1.5-7B-Chat /opt/models/qwen1.5-7b-chat

若网络受限，可使用 ModelScope 镜像下载。
下载完成后，编写一个最小推理脚本 test_infer.py：

from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "/opt/models/qwen1.5-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)
response, _ = model.chat(tokenizer, "你好，请介绍一下你自己", history=None)
print(response)

运行 python test_infer.py，如果输出一段连贯的中文回复，说明部署成功。
首次加载模型可能耗时数分钟，属正常现象。

常见报错与避坑说明

• Illegal instruction 或 Segmentation fault：多为依赖包与 CPU 架构不匹配。ARM 架构需安装 aarch64 版本的 PyTorch，不要直接使用 x86 的 whl 包。
• CUDA out of memory：显存不足。可减小模型参数量、使用 4bit 量化加载，或设置 device_map="cpu" 回退到 CPU。
• No module named 'xxx'：确认已激活虚拟环境，并重新执行 pip install。麒麟系统自带的 Python 与虚拟环境路径可能冲突，用 which python 检查。
• 下载模型速度慢或中断：优先使用国内镜像源，或手动下载模型文件后通过 scp 上传到服务器。

验证部署效果

完成以上步骤后，从三个方面检查：

1. 运行推理脚本，能正常输出回答且无报错。
2. 执行 nvidia-smi（GPU 模式）确认显存占用合理，或 top 查看 CPU 和内存占用。
3. 若后续需要提供 API 服务，可安装 FastAPI 或使用框架自带的 web 界面，监听端口后用 curl 测试连通性。

如果推理速度过慢，先确认是否误用了 CPU 模式，再检查模型是否以半精度加载。
麒麟系统上部署大模型并不复杂，关键是架构匹配、虚拟环境隔离和显存余量。
按本文步骤执行后，遇到异常优先回看报错信息和避坑部分，多数问题都能定位。