AI大模型学习路线：从环境配置到模型微调实操

知识分享

2026-10-31 23:00

18 阅读

先跑通推理，再谈训练

AI大模型学习路线最容易走偏的地方，是一上来就啃论文和 Transformer 公式，结果连模型怎么加载、显存怎么分配都没概念。
对零基础用户，更实际的路径是：先让一个开源模型在本地跑起来，再通过 API 理解调用结构，最后用小模型做一次 LoRA 微调。
三个阶段各自有明确的验证结果，跑不通就停下来排错，而不是继续往下堆知识。

下面以 Linux 环境为例，硬件建议至少 16GB 内存；
如果要用 GPU 推理，需要 NVIDIA 显卡并装好驱动。
没有 GPU 也能用 CPU 跑小参数模型，只是速度慢。

环境检查与基础工具安装

开始之前先确认系统信息和 Python 版本，避免后面装依赖时版本冲突。

uname -a
python3 --version
nvidia-smi  # 有 GPU 时执行，确认驱动和显存

如果 python3 --version 低于 3.9，建议用 conda 或系统包管理器升级。
接着创建独立虚拟环境，不要直接装到系统 Python 里：

python3 -m venv llm-env
source llm-env/bin/activate
pip install --upgrade pip

预期结果：命令行提示符前出现 (llm-env)，pip --version 指向虚拟环境内的路径。
如果 nvidia-smi 报 command not found，说明驱动未安装或未加入 PATH，先解决驱动再继续。

用 Ollama 跑通第一个本地模型

Ollama 把模型下载、量化和推理服务打包在一起，适合用来建立“模型能跑”的直观感受。
Linux 下执行官方安装脚本：

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

进入交互界面后输入一句测试，例如“用一句话解释什么是过拟合”，能正常返回中文回答就说明推理链路通了。

避坑点：

7B 模型量化后约 4-5GB，内存不足会直接卡死或被杀进程，先看 free -h 再选模型尺寸。
模型默认监听 127.0.0.1:11434，远程调用需要改 OLLAMA_HOST 环境变量，不要直接暴露到公网。
下载中断后重新执行 ollama pull 会续传，不用删缓存。

通过 API 理解请求结构

本地跑通后，用 Python 调用 Ollama 的兼容接口，理解一次推理请求由哪些字段组成。
这一步是后面接任何云端大模型的基础。

import requests

resp = requests.post(
    "http://127.0.0.1:11434/api/chat",
    json={
        "model": "qwen2.5:7b",
        "messages": [{"role": "user", "content": "写一个 Linux 查看磁盘的命令"}],
        "stream": False
    },
    timeout=120
)
print(resp.json()["message"]["content"])

验证方式：脚本能打印出模型回答，且 resp.status_code 为 200。
如果报连接拒绝，检查 ollama serve 是否在运行；
如果超时，把 timeout 调大或换更小的模型。

这个阶段重点理解 model、messages、stream 三个字段：模型名决定加载哪个权重，消息列表承载上下文，流式开关影响返回方式。
换到其他厂商的 API 时，字段名可能不同，但请求结构基本一致。

小模型 LoRA 微调的准备与验证

微调不是必须一步到位。
先用一个小参数模型和少量数据跑通训练循环，确认显存、依赖和输出目录都正常，再考虑扩大数据量。

准备一个 JSONL 格式的训练样本，每行一条：

{"instruction": "把下面句子改写成正式语气", "input": "这事儿咋整", "output": "请问此事应如何处理"}

安装训练依赖时注意版本匹配，transformers、peft、datasets 建议按官方文档给出的兼容组合安装。
启动训练前用 nvidia-smi 确认显存占用，7B 模型全量微调通常需要多卡，单卡入门优先选 1B-3B 模型并开启 4bit 量化。

关键检查项：

训练日志是否正常输出 loss，loss 不下降先检查学习率和数据格式。
输出目录是否生成 adapter 权重文件，没有生成说明保存步骤被跳过。
显存溢出（OOM）时先降 batch_size，再考虑梯度累积。

训练完成后用 peft 加载 adapter 做一次推理，对比微调前后同一问题的回答差异，这是判断微调是否生效的最直接方式。

常见卡点与学习节奏建议

依赖冲突：不同项目对 torch 和 CUDA 版本要求不同，每个项目单独建虚拟环境，不要共用一个环境。

显存估算：模型参数量乘以精度字节数只是粗略下限，实际还要算激活值和优化器状态，入门阶段留出 30% 余量更稳妥。

学习顺序：推理跑通 → API 调用 → 提示词调试 → 小模型微调 → 再回头看原理。
每完成一步都保留可复现的命令和配置，后面排错时能快速定位是哪一层出的问题。

如果本地资源有限，也可以先用云端 GPU 按小时计费跑通微调流程，但要注意数据上传和费用控制，跑完及时释放实例。

AI学习路线与考证选择：先定职业方向再选证书