- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI大流行时代
Ollama系列：轻松3步本地部署deepseek
本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型，网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑，在普通电脑上面玩转大模型。 ollama常用的指令命令描述ollama serve启动 Ollamaollama create从 Modelfile 创建模型ollama show显示模型信息ollama run运行模型ollama stop停止正在运行的模型ollama pull从注册表中拉取模型ollama push将模型推送到注册表ollama list列出所有模型ollama ps列出正在运行的模型ollama cp复制模型 ollama rm删除模型ollama help显示任意命令的帮助信息标志描述-h, --help显示 Ollama 的帮助信息-v, --version显示版本信息获取更多模型在ollama官网，有非常多的开源模型供我们选择 总结本文介绍了如何使用ollama本地部署DeepSeek等大模型，通过干货分享了ollama常用的指令，以及如何获取更多大模型。但是我们目前仍然只是在命令行使用大模型，非常的不友好。
1K10编辑于 2025-03-15 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。 您将会看到 Ollama 的 Web 界面，通过它您可以开始构建、训练和部署深度学习模型。 这里冒号前面代表模型名称，冒号后面代表tag，可以从这里查看llama3的所有tag ollama pull llama3:70b 2、运行llama3模型 ollama run llama3 上述命令将自动拉取模型 WebUI 打开终端，执行以下命令部署WebUI： git clone https://github.com/ollama-webui/ollama-webui-lite.git cd ollama-webui-lite
7.1K00编辑于 2024-05-24 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama ://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 R1 # 所需空间大约 404G ollama run deepseek-r1:671b # Windows的环境变量监听 # OLLAMA_HOST 0.0.0.0 # 启动命令 ollama 在另一台服务器上，请使用以下命令： 连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL： docker run -d -p 3000:8080 -e OLLAMA_BASE_URL open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda 3.
2.7K20编辑于 2025-02-04 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 打开ollama官网：https://ollama.com 点击download按钮进行下载，下载完成后点击安装。 我这里使用的是bge-m3，你可以通过下面的指令获取： ollama pull bge-m3 注意：嵌入模型保存后不允许修改 添加知识内容 为了进行演示，我们将本系列教程的前三篇放入知识库中： 然后创建一个新的对话 \n3. **雨后天气**：雨后的天空可能恢复为明亮的色调。\n\n总的来说，天空的颜色主要取决于大气中的光线反射和折射情况，以及太阳的位置。" 调用示例： { "model": "bge-m3", "input": "为什么天空是蓝色的呢？"
4.9K11编辑于 2025-03-30 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: https://ollama.com/我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com 在另一台服务器上，请使用以下命令：连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL：docker run -d -p 3000:8080 -e OLLAMA_BASE_URL v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda3. 和Ollama，确保您可以快速启动一切。
3.4K12编辑于 2025-01-26 - 来自专栏机器学习
OpenCloudOS部署OpenClaw配置本地Ollama
上一篇内容我们在OpenCloudOS部署好了OpenClaw，但是还没有配置它的LLM，今天我们在艾克斯开发板上使用Ollama来部署一个小模型。 Ollama安装通过ssh登录我们的设备输入curl-fsSLhttps://ollama.com/install.sh|sh进行下载。输入密码后等待安装完成。完成安装。 添加ollama的模型我们在ollama的官网可以看到，它们已经可以很方便的和OpenClaw进行对接了，因此我们按照官网的提示进行配置看看是否可行。 =5b93f3a01211fada24e34ce3c7cf3c6599ba0c94)! --GM7kzPtaTz6o0Esb-2cyJ3xnszwvaaKccU7_xpU3k75WwAzg5CgEgYAT02DZyQ1qosms-CUJ4ZmCiFhgsH_JK3y8Nhuf3bH-Kj8lc6
9.6K01编辑于 2026-02-12 - 来自专栏.Net Core技术分享
ollama系列1：轻松3步本地部署deepseek，普通电脑可用
本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型，网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑，在普通电脑上面玩转大模型。 ollama常用的指令 命令 描述 ollama serve 启动 Ollama ollama create 从 Modelfile 创建模型 ollama show 显示模型信息 ollama run 运行模型 ollama stop 停止正在运行的模型 ollama pull 从注册表中拉取模型 ollama push 将模型推送到注册表 ollama list 列出所有模型 ollama ps 列出正在运行的模型 ollama cp 复制模型 ollama rm 删除模型 ollama help 显示任意命令的帮助信息 标志 描述 -h, --help 显示 Ollama 的帮助信息 -v, 总结 本文介绍了如何使用ollama本地部署DeepSeek等大模型，通过干货分享了ollama常用的指令，以及如何获取更多大模型。 但是我们目前仍然只是在命令行使用大模型，非常的不友好。
69900编辑于 2025-03-16 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ollama/ollama/releases 安装好之后直接在命令行执行ollama run llama2就会自动去下载并运行 llama2 这个模型，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.1K20编辑于 2024-03-05 - 来自专栏后台技术汇
Ollama是什么？安装部署指南原创
前言此前写过2篇关于大模型思考的文章：《浅谈大模型时代的后台技术发展》、《AGI 时代的破局之道 》；对于大模型的本地部署和使用，下面我们了解一下。Ollama是什么？ 一个本地部署运行大模型的工具，一行命令一键启动，支持linux、windows和mac操作系统的安装。Ollama支撑哪些大模型？ Ollama只是工具，部署不同的大模型，都对我们本地环境有不同的配置要求（内存大小、CPU、GPU等等），下面举例子：Model（大模型）Parameters（参数）Size（体积）Download（运行指令 Mini3.8B2.3GBollama run phi3Phi 3 Medium14B7.9GBollama run phi3:mediumGemma 22B1.6GBollama run gemma2 model=llama3%3Alatest如何评价一个大模型的快慢？每秒钟的生成多少个TOKEN，来对大模型进行评价。
1.5K10编辑于 2024-09-21 - 来自专栏实战docker
Mac环境下ollama部署和体验
/ 非常简洁 本篇概览 作为入门操作的笔记，本篇记录了部署和简单体验ollama的过程，并且通过docker部署了web-ui，尝试通过页面使用大模型 本次操作的环境如下 电脑：macbook pro Size 下载命令 Llama 3 8B 4.7GB ollama run llama3 Llama 3 70B 40GB ollama run llama3:70b Phi-3 3.8B 2.3GB ollama run phi3 Mistral 7B 4.1GB ollama run mistral Neural Chat 7B 4.1GB ollama run neural-chat Starling ollama run llama2-uncensored LLaVA 7B 4.5GB ollama run llava Gemma 2B 1.4GB ollama run gemma:2b Gemma 16G内存，33B需要32G内存 运行8B的Llama3 我的mac笔记本内存16G，所以打算运行8B的Llama3，命令如下 ollama run llama3 第一次运行，因为没有模型文件，所以需要下载
3.7K01编辑于 2024-05-26 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 本文将按照如下顺序介绍Ollama的使用方法~ ⚫️ 下载安装Ollama ⚫️ 命令行交互 ⚫️ python接口交互 ⚫️ jupyter魔法命令交互 一，下载安装 Ollama 可以从官网下载Ollama ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! ollama help Large language model runner Usage: ollama [flags] ollama [command] Available Commands
3.8K11编辑于 2024-06-26 - 来自专栏软件测试学习
Ollama搭配DeepSeek，本地部署全攻略
在人工智能领域，大型语言模型（LLMs）正变得越来越普及，而将这些模型部署到本地设备上，不仅可以提高数据隐私性，还能降低对网络的依赖。 一、Ollama 简介 Ollama 是一个开源的本地大模型部署工具，旨在让用户能够在个人电脑上运行各种开源大型语言模型（如 Llama、DeepSeek 等）。 通过 Ollama，开发者、研究者和爱好者可以快速部署私有化 AI 应用，无需依赖云端服务，同时享受高效、安全的本地 AI 体验。 二、安装 Ollama Windows 系统安装 访问 Ollama 官网：https://ollama.com，下载 Windows 版本的安装程序（ollama-windows.msi）。 （二）通过Ollama REST API调用 Ollama 提供 HTTP API，可以用于开发。
7.4K10编辑于 2025-02-18 - 来自专栏Linux相关
Ollama【部署 02】Linux本地化部署及SpringBoot2.X集成Ollama（ollama-linux-amd64.tgz最新版本 0.6.2）
.exe（实现客户端操作）1.本地部署1.1 软件安装Ollama 官网1.1.1 脚本安装curl -fsSL https://ollama.com/install.sh | sh脚本安装默认路径是 下载：# 使用后台下载nohup curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz total="156.1 GiB" available="105.4 GiB"# GPUmsg="inference compute" id=GPU-5892a465-7090-90e9-d072-f04f3e56380a 也可以设置 Ollama 的环境变量 OLLAMA_HOST=0.0.0.0 监听所有可用的网络接口，从而允许外部网络访问：export OLLAMA_HOST=0.0.0.0:11434nohup . OkHttpClient不进行SSL（证书）验证失败：{}", e.getMessage()); throw new RuntimeException(e); } }}3.
3K10编辑于 2025-08-22 - 来自专栏运维知识
使用Ollama+OpenWebUI部署和使用Phi-3微软AI大模型完整指南
本指南将带领您一步步地使用Ollama和OpenWebUI部署和使用Phi-3模型，让您轻松解锁模型的无限潜能。无论您是经验丰富的开发人员还是初学者，都能从本指南中获益。 https://www.captainbed.cn/sis/ ➡️主要特点 简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。 个人使用: Ollama 可以用于个人创作、娱乐等目的 Phi-3介绍 Phi-3是由微软AI研究院开发的一系列小型语言模型（SLM），于2024年4月发布。 快速和高效的自然语言处理：Phi-3模型的推理速度比大型模型快得多，这使得它们可以用于需要快速响应的应用，例如实时聊天和语音识别。 部署教程 1.下载Ollama 官网地址：点击跳转！ 第一种下载方式 我这里用phi3 3.8b来测试 命令行（打开cmd）输入官网复制的命令 在命令行输入 以下命令 等待时长即可下载完成（确保ollama在运行） ollama run phi3
2.3K10编辑于 2024-06-09 除了ollama还有哪些模型部署方式？多样化模型部署方式
在人工智能的浪潮中，模型部署是释放其强大能力的关键一环。大家都知道ollama，它在模型部署领域有一定知名度，操作相对简单，受到不少人的青睐。 但其实，模型部署的世界丰富多样，今天要给大家介绍一款工具，帮你轻松部署。对于很多没有专业编程知识的朋友来说，模型部署就像一座难以逾越的大山。 ③体验模型当部署完成，页面下方会显示“立即体验”按钮，点击后，直接进入到AI对话界面，软件支持切换多种智能问答模型，如deepseek满血版、豆包、文心一言等。 除了DS本地部署大师，还有像基于Hugging Face的Transformers库部署方式，它集成众多预训练模型和推理管道，适合有一定编程基础和机器学习知识的人。 不同的模型部署方式各有优劣，大家可以根据自身需求、技术水平和硬件条件综合选择。
64710编辑于 2025-09-17- 来自专栏小胡的技术分享
玩转deepseek本地部署版ollama融合其他大模型
引言部署完成本地版本的deepseek后很多兄弟们想去接入其他厂商的大模型进行微调和测试下面我就用宝塔Linux面板的快速搭建来示范如何接入大模型。 正文1.安装宝塔面板1.1在应用大模型前需要先安装一下宝塔面板——面板后台docker——“AI大模型”选项1.2来到“AI大模型”选项界面找到“DeepSeek-R1”选项注意：只有这个可以一键完成部署和拉去镜像哈 3.整理部分大模型的官方网站腾讯云版本deepseek:https://cloud.tencent.com/document/product/1772/115963kimi大模型:https://platform.moonshot.cndeepseek
90310编辑于 2025-02-12 - 来自专栏AI智能体从入门到实践
智能体搭建：DeepSeek的Ollama部署FastAPI封装调用
前言： DeepSeek的横空出世引爆了AI大模型的势如破竹之势，在深度进入AI领域之前，对DeepSeek有个初步的了解和使用体验也至关重要，本文将结合Ollama实现本地化部署并生成开放接口，经由 一、Ollama的安装与路径迁移 1.打开Ollama官网 2.点击Download，按需选中要下载的版本，本文以Windows版本为例； 3.下载完成后，双击OllamaSetup.exe直接运行后点击 ； 9.安装的路径配置完毕，还需新建或者修改系统变量中的OLLAMA_MODELS变量，将变量值改为目标路径 至此，Ollama安装路径迁移完毕，重新运行ollama.exe即可启动程序； 二、Ollama ： import requests # 调用ollama，指定模型和本地部署后api地址 def query_ollama(prompt, model="deepseek-r1:1.5b"): ("你好，你是什么大模型，请隆重介绍一下自己", stream=True) 当本地的模型部署完毕后，可以使用FastAPI进行封装后提供给外部调用，主要注意接口地址和端口，以下配置路径没有特别限制，可自定义调整
1.5K43编辑于 2025-10-24 - 来自专栏AI大模型
别被 “一键部署” 骗了！使用Ollama本地部署DeepSeek 避坑指南
最近最火的莫过于DeepSeek，现在网上关于 AI 模型部署的文章一抓一大把，动不动就是 “一键部署，轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。 Ollama 是什么 Ollama 则是咱们搭建模型的得力助手，它就像是一个智能的建筑工人，能够帮助我们快速、轻松地部署各种大型语言模型。 ://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh 3、替换后增加可执行权限 chmod Step 3：安装chatbox cmd 黑窗口用起来实在是太憋屈啦，有没有带 UI 界面的，用起来能更顺手些。 接下来在chatbox 中设置Ollama 的地址即可。 通过以上几步，我们就可以使用Ollama 在本地部署DeepSeek大模型了。
3.8K10编辑于 2025-04-04 DeepSeek实践-5分钟快速腾讯云部Ollama部署本地部署
部署DeepSeek步骤 1、安装Ollama Ollama 是一款功能强大的开源工具，专为在本地运行、部署和管理大型语言模型（LLMs）而设计。 执行安装命令： 在终端中输入以下命令并回车： curl -fsSL https://ollama.com/install.sh | sh 2、部署DeepSeek 借助 Ollama，我们可以轻松部署 以下步骤将指导您部署 deepseek-r1:1.5b 版本： 执行部署命令： 在终端中输入以下命令并回车： ollama run deepseek-r1:1.5b 2.开始对话： 部署完成后，您可以直接在终端与 如果终端显示类似 llama3 的模型名称，则说明安装成功。 在模型设置中选择： API 类型：Ollama API 模型名称：deepseek-r1:8b 点击“检查连接”，如果状态正常，即可开始使用。 3.
2.5K21编辑于 2025-03-19- 来自专栏Linux相关
Ollama【部署 04】Linux环境离线安装Ollama及模型文件（sha256缓存与gguf模型文件）
@TOC1.环境说明有些时候，需要离线进行本地大模型的部署，此次为保证环境离线，我使用的是笔记本电脑安装的虚拟机（系统是openEuler），安装的整个流程笔记本电脑都是断网状态。 3.导入模型3.1 使用 sha256 缓存联网时将执行ollama run xxxx下载的模型文件 sha256-6e4c38...复制到其他服务器的 /root/.ollama/models/blobs 下载文件：可以选择适合的版本进行使用，还蛮值的哭一下的，0.3.9版本的 Ollama 无法使用 Gemma3 模型，这里找个较小的 GGUF 模型 orca-mini-3b.gguf进行流程演示。 /orca-mini-3b.gguf创建模型# 模型名称可自行编写./ollama create <model_name> -f <path_to_Modelfile>实例# 运行. /ollama create orca-mini:3b -f Modelfile-orca# 输出transferring model data 100%using existing layer sha256
4.5K11编辑于 2025-08-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号