在本地电脑安装使用私有模型

AI时代，重要的不是学了多少内容，听了多少分享。而是用AI创作了什么独属于自己的作品。本周开始，我会给你分享我们AI学习打卡群的学习内容，邀请你一起来学习。这次是我们第十四周的作业。本次作业是使用ollama这个工具下载一个私有模型到本地使用。

在某些场景下，针对一些敏感数据，我们不希望让其他人获取到我本地的内容。这个时候就需要使用到私有模型。私有模型的能力取决于模型大小，具体效果怎样，建议你亲自验证一下。

安装并不困难，跟大家安装微信是一样，所以不用担心很难，相信大家按下面的教程很快就能操作好。

一、安装 Ollama

macOS & Windows

访问https://ollama.com/download下载 .dmg（OllamaSetup.exe）安装包，双击安装即可。

安装后顶部栏出现羊驼图标即成功。或者打开PowerShell验证：

ollama --version

安装完成后会自动启动 ollama serve，也可手动执行 ollama serve。

若终端提示 ollama: command not found，请重启终端或将 Ollama 加入 PATH。

打开ollama应用，你能看到下面这个页面，右下角可以选择模型，刚刚下载的时候都是线上模型和应用里自带的，这类模型不是私有模型，需要联网才能操作。

二、下载私有模型

打开这个网页：https://ollama.com/search

找到你想安装的模型

我以gemma4为例：

在PowerShell 或其他终端执行下面命令

ollama run gemma4

默认安装的是带有latest版本的。你电脑显存多大，就选比你显存小的。比如gemma4最小的模型大小是7.2G，我们可以用这个命令安装：

ollama run gemma4:e2b

电脑配置不高的话，可以试下qwen3.5，它有个1G大小的模型。

安装后会自动运行：在终端里输入问题即可对话，如果要退出，使用命令：/bye退出。到这一步就可以断网测试本地模型效果了。

在APP使用效果如下（如果找不到模型，就退出在打开）：

三、常用管理命令

四、常见问题排查

路径报错/找不到模型→ Windows 注意用 /分隔符

内存不足/OOM→ 换更小的模型

响应乱码/不遵循指令→ 模型越小，越不智能。

ollama 命令不存在→ 重开终端，确认安装目录加入了系统 PATH

五、API 调用（供前端/代码对接，选做）

Ollama 默认监听 http://localhost:11434

curl http://localhost:11434/api/generate -d '{

"model": "my-private-llm",

"prompt": "你好，介绍一下你自己",

"stream": false

}'

有些程序想要调用这个私有模型，可以参考上面API，这块有点难度，不需要的可以忽略。如果只是在主流工具里使用，可以使用快捷命令一键启用

执行命令后会自动打开chatgpt(codex)应用，只不过下面模型会显示自定义，但实际跑的是你本地私有模型，可以断网后测试效果：