大模型信创环境部署教程：从系统检查到模型跑通

在信创环境部署大模型，核心是先把系统架构和依赖版本对齐，再按“检查硬件、准备运行环境、获取模型、启动验证”的顺序推进。
本文以常见的国产 Linux 发行版（如麒麟、统信 UOS）搭配 ARM 或 x86 架构为例，适用于想在本机或内网服务器上跑通开源模型的零基础用户。
不同发行版的包管理命令略有差异，操作时请以实际系统为准。

部署前先确认三件事

信创环境与普通 Linux 最大的区别在于 CPU 架构和系统源。
动手前先执行以下命令确认基础信息：

uname -m          # 查看 CPU 架构，常见 aarch64 或 x86_64
cat /etc/os-release  # 查看系统版本
free -h           # 查看内存
nproc             # 查看 CPU 核心数

记录架构信息，后面安装 Python 包和推理框架时要选对应版本。
内存建议至少 16GB，若要运行 7B 参数模型，纯 CPU 推理通常需要 32GB 以上更稳妥；
如果机器有国产加速卡，需提前安装厂商驱动和推理库。

另外确认磁盘剩余空间：

df -h /opt

模型文件通常有几个 GB 到几十 GB，建议预留 50GB 以上。

配置 Python 运行环境

多数大模型推理依赖 Python 3.9 以上版本。
先检查系统自带的 Python：

python3 --version

如果版本低于 3.9，优先用系统包管理器安装新版，例如在基于 Debian 的国产系统上可尝试：

sudo apt update
sudo apt install -y python3 python3-pip python3-venv

在基于 RPM 的系统上则使用 sudo yum install -y python3 python3-pip。
安装完成后创建独立虚拟环境，避免污染系统 Python：

python3 -m venv /opt/llm-env
source /opt/llm-env/bin/activate
pip install --upgrade pip

虚拟环境激活后，命令行提示符前会出现 (llm-env)，表示后续安装都隔离在该环境中。

安装推理依赖与获取模型

以常见的 Transformers 推理方式为例，安装基础依赖：

pip install torch transformers accelerate

如果机器是 ARM 架构且没有官方预编译包，pip 可能尝试从源码编译，耗时较长。
此时可先查看厂商是否提供适配的 wheel 包，或改用支持 CPU 推理的轻量框架。
安装完成后用以下命令验证：

python -c "import torch; print(torch.__version__)"

能正常输出版本号即表示基础环境可用。

模型文件建议从内部镜像或已备案的模型仓库获取，避免外网下载不稳定。
将模型目录放在 /opt/models/ 下，例如：

ls /opt/models/Qwen-7B-Chat

目录中应包含 config.json、模型权重文件和分词器文件。

启动模型并验证输出

编写一个最小启动脚本 run_model.py：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "/opt/models/Qwen-7B-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="cpu")

response, history = model.chat(tokenizer, "你好，请介绍一下你自己", history=[])
print(response)

执行：

python run_model.py

首次加载会读取模型权重，耗时取决于磁盘和内存速度。
若终端输出一段连贯的中文回复，说明部署成功。
如果出现 Killed，通常是内存不足，可尝试更小参数模型或增加交换分区；
如果报 ModuleNotFoundError，回到虚拟环境检查依赖是否安装完整。

容易踩坑的几个地方

权限问题：模型目录和虚拟环境不要放在需要 root 才能读取的路径下，否则普通用户启动时会报权限拒绝。
建议统一放在 /opt 并赋予当前用户读权限。

架构不匹配：在 ARM 机器上直接 pip install 某些包会因缺少预编译 wheel 而失败，优先查找厂商适配源，不要强行编译。

内存不足：7B 模型纯 CPU 推理对内存要求较高，启动前用 free -h 确认可用内存，必要时关闭其他占用大的服务。

网络与代理：内网环境下载模型时，确认 pip 源和模型仓库地址可达，必要时配置内部镜像源。

部署完成后，建议把启动命令写成 systemd 服务或启动脚本，方便后续维护。
信创环境部署大模型的关键不在于命令多复杂，而在于把架构、依赖和内存三个条件提前对齐，再按步骤验证，遇到报错时优先回看系统日志和内存状态。