大模型手机端部署教程：用 Termux 在安卓手机运行本地模型

知识分享

2026-10-19 22:00

28 阅读

想在安卓手机上跑大模型，目前比较稳妥的路线是用 Termux 搭一个 Linux 环境，再编译 llama.cpp 加载 GGUF 量化模型。
本文以主流骁龙或天玑安卓手机为例，从零开始完成部署，不要求 root，但需要手机有至少 6GB 可用存储和 4GB 以上内存。

先确认手机能不能跑得动

大模型手机端部署的核心瓶颈是内存和散热。
7B 模型即使 4-bit 量化，加载后通常也要占用 4GB 左右内存，8GB 内存的手机可以尝试，6GB 内存建议选 3B 以下模型。
存储方面，一个 4-bit 量化的 7B 模型文件大约 4GB，编译工具链和依赖还会占 1GB 左右。

操作前需要准备：

打开 Termux 后先更新软件源并安装编译依赖。
以下命令逐行执行：

pkg update && pkg upgrade -y
pkg install git cmake make clang wget -y
termux-setup-storage

termux-setup-storage 会弹出存储权限请求，允许后手机内部存储会映射到 ~/storage。
接着拉取 llama.cpp 源码：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

如果 git clone 很慢，可以改用镜像或先下载 zip 包再解压，但要注意源码完整性。

在 llama.cpp 目录下编译。
手机端建议只编译推理所需目标，减少等待时间：

cmake -B build
cmake --build build --config Release -j4

编译完成后，可执行文件在 build/bin/ 下，例如 llama-cli。
随后下载量化模型。
以 Hugging Face 上的 GGUF 文件为例，用 wget 下载到手机存储：

cd ~/storage/downloads
wget -c "模型文件的直链地址" -O model.gguf

模型直链需要从模型发布页复制，注意选择 Q4_K_M 这类适合手机的量化等级。
下载完成后回到 llama.cpp 目录运行：

./build/bin/llama-cli -m ~/storage/downloads/model.gguf -p "你好" -n 128

如果看到模型加载日志并输出回复，说明部署成功。
首次加载可能较慢，耐心等待。

编译中途报内存不足：把 -j4 改成 -j2 或 -j1，降低并行编译数。

模型加载失败提示格式不支持：确认下载的是 GGUF 格式，而不是 PyTorch 的 bin 或 safetensors 文件。

运行几秒后闪退：多半是内存不够，换更小的模型或更低量化等级，同时关闭后台应用。

Termux 被系统杀掉：在手机设置里给 Termux 关闭电池优化，并允许后台运行。

下载模型速度慢：可尝试用 wget -c 断点续传，或先下载到电脑再通过数据线传到手机。

用一条固定提示词测试输出是否连贯，例如：

./build/bin/llama-cli -m ~/storage/downloads/model.gguf -p "用一句话解释什么是操作系统" -n 64 --temp 0.7

能正常返回通顺中文即表示推理链路可用。
再观察手机温度，如果明显发烫，建议缩短单次生成长度或加一个手机散热背夹。

手机端跑大模型更适合离线问答、简单文本处理等轻量场景，不要期待和桌面显卡相同的速度。
按本文步骤走完，你就能在安卓手机上拥有一个可本地运行的大模型环境。