本地大模型Ollama安装与使用指南:零基础也能上手
什么是Ollama?为什么推荐你尝试
Ollama 是一个开源工具,能让你在本地电脑或服务器上运行大型语言模型,比如 Llama、Mistral、Qwen 等。
用上本地大模型后,数据不出门,响应速度快,而且完全免费。
本文用最简单的方式,带你完成从安装到对话的全流程。
---
你需要做哪些准备
- 操作系统:支持 Windows(需 WSL2)、macOS(Intel 或 Apple Silicon)、Linux(推荐 Ubuntu 22.04+)。
- 硬件要求:至少 8GB 运行内存,推荐 16GB 以上;硬盘剩余空间至少 10GB(模型文件较大)。
- 网络:能正常访问 GitHub 和模型仓库(部分地区下载模型可能需要代理)。
- 基础权限:Windows 下需要管理员权限安装 WSL2;Linux/Mac 下需要 sudo 或 root 权限。
如果你用的是 Linux 服务器,可以直接在终端操作;
如果是 Windows,先安装 WSL2 并进入 Ubuntu 子系统。
---
动手安装Ollama
Linux / macOS 安装(推荐)
打开终端,执行下面一行命令(全过程自动):
curl -fsSL https://ollama.com/install.sh | sh
脚本会自动检测系统并安装。
安装完成后,执行以下命令确认版本:
ollama --version
如果显示版本号(例如 0.3.10),说明安装成功。
Windows 安装
- 去 Ollama 官网 下载 Windows 安装包。
- 双击运行,按提示完成安装。
- 安装后打开 PowerShell 或 CMD,输入
ollama --version验证。
注意:Windows 版本质是基于 WSL2 的,如果你之前没装过 WSL2,安装程序会自动帮你配置。
---
拉取并运行第一个本地大模型
Ollama 官方模型库有非常多的模型,新手推荐先拉取轻量级模型 llama3.2(约 2GB)或 qwen2.5:0.5b(约 500MB)。
拉取模型
以 qwen2.5:0.5b 为例(内存占用小,适合测试):
ollama pull qwen2.5:0.5b
你会看到下载进度条。
下载完成后,模型就保存在本地了。
运行模型并对话
直接执行:
ollama run qwen2.5:0.5b
终端会进入对话模式,等待几秒后出现 >>> 提示符。
输入任何问题,模型会立即回复。
例如输入“你好,介绍一下你自己”,按回车即可得到回答。
要退出对话,输入 /bye 或按 Ctrl+D。
---
新手最容易踩的四个坑
1. 下载模型速度很慢
- 原因:模型文件托管在国外服务器,国内网络不稳定。
- 解决:使用代理(设置
HTTP_PROXY和HTTPS_PROXY环境变量)或换用国内镜像源(如阿里云、华为云镜像站)。
2. 运行时报内存不足错误
- 现象:
Error: model requires more memory than available - 解决:关闭其他占用内存的程序,或选择更小的模型(如
qwen2.5:0.5b只需要约 1GB 内存)。如果确实需要大模型,考虑增加物理内存或使用 swap 分区。
3. 端口冲突(Ollama 默认使用 11434 端口)
- 现象:启动后无法连接,或提示端口被占用。
- 解决:查看占用程序(
lsof -i :11434),杀掉冲突进程,或修改环境变量OLLAMA_HOST指定其他端口(如export OLLAMA_HOST=0.0.0.0:11435)。
4. GPU 没有被自动识别
- 现象:运行大模型时 CPU 满载,GPU 空闲。
- 解决:先确认显卡驱动和 CUDA 是否装好(Linux 下执行
nvidia-smi)。Ollama 会自动调用 NVIDIA GPU,但需要系统有驱动。如果是 AMD 或 Intel 显卡,目前支持有限,建议先用 CPU 模式。
---
怎么确认Ollama在正常工作
- 查看已拉取的模型列表:
ollama list
应该能看到你刚才拉取的模型名称和大小。
- 测试模型响应:运行模型后,输入一个简单问题(比如“1+1等于几?”),观察回复是否合理。如果回复正常,说明大模型正常加载。
- 检查服务状态(后台模式):
sudo systemctl status ollama
(Linux 系统)如果显示 active (running) 表示服务已启动。
- 删除测试模型(可选):如果不想保留测试模型,用下面的命令删除,释放硬盘空间:
ollama rm qwen2.5:0.5b
---
写在最后
现在你已经拥有了一个可用的本地大模型环境。
Ollama 还支持 API 调用、自定义 Modelfile、并发服务等高级功能,但今天的教程已经足够你入门。
如果你在安装或运行中遇到其他问题,建议优先回看上面的避坑部分,或者去 Ollama GitHub Issues 搜索类似报错。
动手试一次,你就能感受到本地大模型的魅力。