

## 前言
之前一直依赖云端AI写代码、整理文案，但一是敏感代码不敢上传公网，二是网络波动经常卡顿。折腾一周，把Llama3.1 8B部署到普通Windows台式机，搭配Ollama一键调度，还打通了VSCode Continue插件实现本地AI编码助手。全程免费、完全离线、16G内存就能流畅跑，8G内存降负载也能凑合用，把踩坑全过程整理成保姆级教程。

## 一、环境前置说明
### 硬件门槛
- 最低：8G内存（仅聊天、短句问答，速度偏慢）
- 推荐：16G及以上内存（完整支持代码生成、Agent工具调用）
- 显卡：有无N卡都行，有显卡会自动加速，纯CPU也可运行

### 系统
Windows 10/11、macOS、Linux通用，本文以Windows为主操作演示

## 二、Ollama安装（改安装盘+模型存储盘，拒绝塞满C盘）
### 1. 本体安装到D盘
1. 官网下载安装包
2. 不要双击直接安装，打开下载文件夹，地址栏输入`cmd`回车唤起命令行
3. 执行安装命令，指定D盘安装路径
```bash
OllamaSetup.exe /DIR=D:\Ollama
```
等待进度走完，程序本体就安装在D盘，不占用C盘空间。

### 2. 模型文件迁移至D盘（核心，模型体积动辄5GB+）
1. D盘新建文件夹 `D:\ollama_models`
2. 系统环境变量配置：
   - Win+R输入`sysdm.cpl` → 高级 → 环境变量
   - 系统变量→新建：变量名`OLLAMA_MODELS`，变量值`D:\ollama_models`
3. 生效配置：重启电脑，或终端执行服务重启指令
```bash
net stop ollama
net start ollama
```
后续所有下载的模型都会自动存到D盘目录。

### 3. 拉取Llama3.1 8B模型
打开任意终端，执行拉取指令，自动下载量化好的8B基础模型
```bash
ollama pull llama3.1:8b
```
下载完成后验证模型列表
```bash
ollama list
```
输出能看到`llama3.1:8b`即代表下载成功。

### 4. 基础终端对话测试
直接运行模型开启对话，断网也能正常问答
```bash
ollama run llama3.1:8b
```
输入问题即可交互，输入`/bye`退出对话窗口。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-10298071/328aec05152e742a17e536c77f050f2e.png)

## 三、VSCode Continue插件对接本地模型（踩坑重点）
很多人装完插件识别不了模型、Agent模式黄标报错，这里把实测可用的配置方案写死。
### 1. 基础安装
1. VSCode扩展面板搜索`Continue`，安装插件后重启编辑器
2. 先后台启动Ollama服务（必须常驻窗口，关闭则连接失效）
```bash
ollama serve
```

### 2. 配置文件关键：新版Continue仅识别config.yaml
1. 打开文件资源管理器，地址栏输入路径直达配置目录
```
%USERPROFILE%\.continue\
```
2. 删除残留`config.json`文件，只保留/新建`config.yaml`
3. 粘贴完整兼容配置（适配Llama3.1工具调用、Agent模式）
```yaml
name: ollama-llama31
version: 0.0.1
schema: v1

models:
  - name: Llama 3.1 8B (Ollama)
    provider: ollama
    model: llama3.1:8b
    apiBase: http://localhost:11434
    roles:
      - chat
      - autocomplete
    capabilities:
      - tool_use
    toolCallFormat: llama3
    contextWindow: 8192
    maxTokens: 2048

tabAutocompleteModel:
  name: Llama 3.1 8B (Ollama)
  provider: ollama
  model: llama3.1:8b
  apiBase: http://localhost:11434

selectedModel: Llama 3.1 8B (Ollama)

systemMessage: |
  你是编程助手，必须优先使用工具调用完成任务，例如查看文件、搜索代码、列出目录。请用中文回答。

experimental:
  ollamaCompatibleTools: true
```
> 格式硬性要求：全部缩进使用2个空格，禁止Tab制表符；冒号后方必须带空格。

### 3. 重启验证
1. 保存yaml文件，完全关闭VSCode再重新打开
2. `Ctrl+L`唤起Continue侧边栏，底部模型下拉框选中`Llama 3.1 8B (Ollama)`
3. 切换模式：Chat普通对话、Agent智能工具模式

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-10298071/63fbf8f0892898bb97d083788cb7d0af.png)


## 四、高频踩坑问题解决方案
### 问题1：Agent模式出现黄色感叹号
1. 核心原因：插件判定模型未开启工具调用能力
2. 排查步骤
   - 第一步：cmd终端执行curl测试模型原生工具支持
```cmd
curl http://localhost:11434/api/chat -d "{\"model\":\"llama3.1:8b\",\"messages\":[{\"role\":\"user\",\"content\":\"列出当前目录的文件\"}],\"stream\":false,\"tools\":[{\"type\":\"function\",\"function\":{\"name\":\"listDir\",\"description\":\"列出目录文件\",\"parameters\":{\"type\":\"object\",\"properties\":{\"dir\":{\"type\":\"string\"}}}}}]}"
```
   返回JSON包含`tool_calls`字段=模型本身支持；无则重装模型
```bash
ollama rm llama3.1:8b && ollama pull llama3.1:8b
```
   - 第二步：核对yaml配置，确认存在`capabilities: [- tool_use]`、`toolCallFormat: llama3`、`experimental兼容开关`
   - 第三步：彻底卸载Continue插件清除缓存，重装后重新加载配置

### 问题2：VSCode识别不到配置里的模型
1. 检查yaml模型节点使用`name`字段（旧版`title`字段已失效）
2. 必须配置`roles: [chat,autocomplete]`，缺失会直接隐藏模型选项
3. 确认无残留`config.json`，插件优先读取json会覆盖yaml配置

### 问题3：C盘空间被模型占满
严格按照教程配置`OLLAMA_MODELS`环境变量迁移模型目录；已下载的模型可手动剪切`.ollama/models`文件夹到D盘路径，配置环境变量后重启服务即可无缝识别。

## 五、拓展优化与替代方案
1. **图形化聊天界面**：搭配Open WebUI，浏览器打开类ChatGPT页面管理多模型
```bash
docker run -d -p 3000:3000 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
```
访问 `http://localhost:3000` 可视化对话

2. **低配8G内存优化**：替换更小体量通义千问轻量模型
```bash
ollama pull qwen:2b
```
工具调用稳定、内存占用更低

3. **代码专项模型**：写代码为主可拉取深度求索代码模型，代码理解能力优于原生Llama3.1 8B
```bash
ollama pull deepseek-coder:6.7b
```

## 结尾总结
Ollama把本地部署的门槛压到极低，不用复杂CUDA、PyTorch环境编译，一行命令搞定模型调度。搭配Continue插件后，完全实现本地离线AI编码，代码隐私零泄露。16G内存是体验分水岭，日常写脚本、调试代码、文档总结，Llama3.1 8B的能力完全够用，对于注重数据隐私、经常断网办公的开发者，这套组合性价比拉满。

之前一直依赖云端AI写代码、整理文案，但一是敏感代码不敢上传公网，二是网络波动经常卡顿。折腾一周，把Llama3.1 8B部署到普通Windows台式机，搭配Ollama一键调度，还打通了VSCode Continue插件实现本地AI编码助手。全程免费、完全离线、16G内存就能流畅跑，8G内存降负载也能凑合用，把踩坑全过程整理成保姆级教程。

本地离线大模型实战：Ollama + Llama 3.1 8B 全流程部署（适配VSCode Continue代码助手）

人工智能

云计算

本地部署Llama3.18B大模型教程：无需高端硬件，16G内存即可流畅运行代码生成与工具调用。详细讲解Ollama安装、模型迁移、VSCode插件配置全流程，解决Agent模式报错等常见问题。完全离线、数据隐私安全，适合开发者搭建本地AI编程助手。

数据隐私

ChatGPT

Windows

Linux

Agent

JSON

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本地离线大模型实战：Ollama + Llama 3.1 8B 全流程部署（适配VSCode Continue代码助手）-腾讯云开发者社区-腾讯云

本地离线大模型实战：Ollama + Llama 3.1 8B 全流程部署（适配VSCode Continue代码助手）

本地离线大模型实战：Ollama + Llama 3.1 8B 全流程部署（适配VSCode Continue代码助手）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐