本地大模型Ollama安装与使用指南:零基础也能上手

什么是Ollama?为什么推荐你尝试

Ollama 是一个开源工具,能让你在本地电脑或服务器上运行大型语言模型,比如 Llama、Mistral、Qwen 等。
用上本地大模型后,数据不出门,响应速度快,而且完全免费。
本文用最简单的方式,带你完成从安装到对话的全流程。

---

你需要做哪些准备

  1. 操作系统:支持 Windows(需 WSL2)、macOS(Intel 或 Apple Silicon)、Linux(推荐 Ubuntu 22.04+)。
  2. 硬件要求:至少 8GB 运行内存,推荐 16GB 以上;硬盘剩余空间至少 10GB(模型文件较大)。
  3. 网络:能正常访问 GitHub 和模型仓库(部分地区下载模型可能需要代理)。
  4. 基础权限:Windows 下需要管理员权限安装 WSL2;Linux/Mac 下需要 sudo 或 root 权限。

如果你用的是 Linux 服务器,可以直接在终端操作;
如果是 Windows,先安装 WSL2 并进入 Ubuntu 子系统。

---

动手安装Ollama

Linux / macOS 安装(推荐)

打开终端,执行下面一行命令(全过程自动):

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动检测系统并安装。
安装完成后,执行以下命令确认版本:

ollama --version

如果显示版本号(例如 0.3.10),说明安装成功。

Windows 安装

  1. Ollama 官网 下载 Windows 安装包。
  2. 双击运行,按提示完成安装。
  3. 安装后打开 PowerShell 或 CMD,输入 ollama --version 验证。
注意:Windows 版本质是基于 WSL2 的,如果你之前没装过 WSL2,安装程序会自动帮你配置。

---

拉取并运行第一个本地大模型

Ollama 官方模型库有非常多的模型,新手推荐先拉取轻量级模型 llama3.2(约 2GB)或 qwen2.5:0.5b(约 500MB)。

拉取模型

qwen2.5:0.5b 为例(内存占用小,适合测试):

ollama pull qwen2.5:0.5b

你会看到下载进度条。
下载完成后,模型就保存在本地了。

运行模型并对话

直接执行:

ollama run qwen2.5:0.5b

终端会进入对话模式,等待几秒后出现 >>> 提示符。
输入任何问题,模型会立即回复。
例如输入“你好,介绍一下你自己”,按回车即可得到回答。

要退出对话,输入 /bye 或按 Ctrl+D

---

新手最容易踩的四个坑

1. 下载模型速度很慢

  • 原因:模型文件托管在国外服务器,国内网络不稳定。
  • 解决:使用代理(设置 HTTP_PROXYHTTPS_PROXY 环境变量)或换用国内镜像源(如阿里云、华为云镜像站)。

2. 运行时报内存不足错误

  • 现象Error: model requires more memory than available
  • 解决:关闭其他占用内存的程序,或选择更小的模型(如 qwen2.5:0.5b 只需要约 1GB 内存)。如果确实需要大模型,考虑增加物理内存或使用 swap 分区。

3. 端口冲突(Ollama 默认使用 11434 端口)

  • 现象:启动后无法连接,或提示端口被占用。
  • 解决:查看占用程序(lsof -i :11434),杀掉冲突进程,或修改环境变量 OLLAMA_HOST 指定其他端口(如 export OLLAMA_HOST=0.0.0.0:11435)。

4. GPU 没有被自动识别

  • 现象:运行大模型时 CPU 满载,GPU 空闲。
  • 解决:先确认显卡驱动和 CUDA 是否装好(Linux 下执行 nvidia-smi)。Ollama 会自动调用 NVIDIA GPU,但需要系统有驱动。如果是 AMD 或 Intel 显卡,目前支持有限,建议先用 CPU 模式。

---

怎么确认Ollama在正常工作

  1. 查看已拉取的模型列表
    ollama list

应该能看到你刚才拉取的模型名称和大小。

  1. 测试模型响应:运行模型后,输入一个简单问题(比如“1+1等于几?”),观察回复是否合理。如果回复正常,说明大模型正常加载。
  2. 检查服务状态(后台模式):
    sudo systemctl status ollama

(Linux 系统)如果显示 active (running) 表示服务已启动。

  1. 删除测试模型(可选):如果不想保留测试模型,用下面的命令删除,释放硬盘空间:
    ollama rm qwen2.5:0.5b

---

写在最后

现在你已经拥有了一个可用的本地大模型环境。
Ollama 还支持 API 调用、自定义 Modelfile、并发服务等高级功能,但今天的教程已经足够你入门。
如果你在安装或运行中遇到其他问题,建议优先回看上面的避坑部分,或者去 Ollama GitHub Issues 搜索类似报错。
动手试一次,你就能感受到本地大模型的魅力。

分享到:
上一篇
大模型Linux部署从零开始:环境搭建与模型运行指南
下一篇
DeepSeek服务器部署完整教程:零基础从安装到验证
1
系统公告

高考专属福利来袭|凭准考证免费领香港 CN2 云服务器

值高考落幕之际,泽御云开启考生专属回馈 + 产品限时特惠双重活动,助力学子暑期学习建站 高考 考生专属福利 全体应届高考生,凭高考准考证即可免费申领【香港 CN2 轻量云服务器,4 核 4G AMD 处理器】,免费使用周期 30 天,可用于搭建个人站点、编程实操、技术实训,祝各位考生金榜题名,前程似锦! 泽御云资质齐全合规自营机房,线路覆盖香港 CN2、国内 BGP、内蒙电信、美国精品线路,售后全天候技术支持。 官方网站:www.zeyuyun.com,活动限时有效,优惠逾期不再保留。
服务中心
客服
在线客服
24小时为您服务
咨询
联系我们
联系我们,为您的业务提供专属服务。
24/7 技术支持
如果您遇到寻求进一步的帮助,请过工单与我们进行联系。
24/7 即时支持
泽御云
售前客服
泽御云
泽御云
售后客服
泽御云
技术支持
评价
您对当前页面的整体感受是否满意?
😞
非常不满意
😕
不满意
😐
一般
🙂
满意
😊
非常满意