- 综合排序
- 最热优先
- 最新优先
- 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama ://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 R1 # 所需空间大约 404G ollama run deepseek-r1:671b # Windows的环境变量监听 # OLLAMA_HOST 0.0.0.0 # 启动命令 ollama 在另一台服务器上，请使用以下命令： 连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL： docker run -d -p 3000:8080 -e OLLAMA_BASE_URL open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 4.
2.7K20编辑于 2025-02-04 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 安装指南 第一步：安装ollama 我们可以从官网下载ollama，此步骤支持windows、mac、ubuntu操作系统，此处仅以windows作为演示。 打开ollama官网：https://ollama.com 点击download按钮进行下载，下载完成后点击安装。 ollama的集成。 在ollama中有很多嵌入模型供我们选择使用。
4.9K11编辑于 2025-03-30 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 在另一台服务器上，请使用以下命令：连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL：docker run -d -p 3000:8080 -e OLLAMA_BASE_URL open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 4. 带有捆绑Ollama支持的Open WebUI安装此安装方法使用一个单独的容器映像，将Open WebUI与Ollama捆绑在一起，通过单个命令实现简化设置。 和Ollama，确保您可以快速启动一切。
3.4K12编辑于 2025-01-26 - 来自专栏机器学习
OpenCloudOS部署OpenClaw配置本地Ollama
上一篇内容我们在OpenCloudOS部署好了OpenClaw，但是还没有配置它的LLM，今天我们在艾克斯开发板上使用Ollama来部署一个小模型。 Ollama安装通过ssh登录我们的设备输入curl-fsSLhttps://ollama.com/install.sh|sh进行下载。输入密码后等待安装完成。完成安装。 添加ollama的模型我们在ollama的官网可以看到，它们已经可以很方便的和OpenClaw进行对接了，因此我们按照官网的提示进行配置看看是否可行。 x-cos-security-token=9b35BAh2sreQK0vrmJQqbKRZWDcZCJQa990e388dca0bfa4e4c81a645c4ff681fdNXrbx6Mtp6rOMmvhlnV25bB29GxUZtrvCI5CavJ8w &q-sign-algorithm=sha1&q-ak=AKIDad_73GghSPJBepFjRfpa4z_b4L-SBmeCeMIbYkMVrr4WAx69wE4MvwFz_8Xp-P9S&q-sign-time
9.6K01编辑于 2026-02-12 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ollama/ollama/releases 安装好之后直接在命令行执行ollama run llama2就会自动去下载并运行 llama2 这个模型，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.1K20编辑于 2024-03-05 - 来自专栏后台技术汇
Ollama是什么？安装部署指南原创
前言此前写过2篇关于大模型思考的文章：《浅谈大模型时代的后台技术发展》、《AGI 时代的破局之道 》；对于大模型的本地部署和使用，下面我们了解一下。Ollama是什么？ 一个本地部署运行大模型的工具，一行命令一键启动，支持linux、windows和mac操作系统的安装。Ollama支撑哪些大模型？ 访问：https://ollama.com/library，列表下的大模型，它都支持。Ollama运行大模型的配置？ Ollama只是工具，部署不同的大模型，都对我们本地环境有不同的配置要求（内存大小、CPU、GPU等等），下面举例子：Model（大模型）Parameters（参数）Size（体积）Download（运行指令 有的，仓库地址：https://github.com/ollama-ui/ollama-ui安装完成之后，访问：http://localhost:8000/?
1.5K10编辑于 2024-09-21 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 本文将按照如下顺序介绍Ollama的使用方法~ ⚫️ 下载安装Ollama ⚫️ 命令行交互 ⚫️ python接口交互 ⚫️ jupyter魔法命令交互 一，下载安装 Ollama 可以从官网下载Ollama ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! ollama help Large language model runner Usage: ollama [flags] ollama [command] Available Commands
3.8K11编辑于 2024-06-26 - 来自专栏实战docker
Mac环境下ollama部署和体验
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 关于ollama ollama和LLM（大型语言模型 ）的关系，类似于docker和镜像，可以在ollama服务中管理和运行各种LLM，下面是ollama命令的参数，与docker管理镜像很类似，可以下载、删除、运行各种LLM Available Commands / 非常简洁 本篇概览 作为入门操作的笔记，本篇记录了部署和简单体验ollama的过程，并且通过docker部署了web-ui，尝试通过页面使用大模型 本次操作的环境如下 电脑：macbook pro ollama run phi3 Mistral 7B 4.1GB ollama run mistral Neural Chat 7B 4.1GB ollama run neural-chat Starling ollama run llama2-uncensored LLaVA 7B 4.5GB ollama run llava Gemma 2B 1.4GB ollama run gemma:2b Gemma
3.7K01编辑于 2024-05-26 - 来自专栏软件测试学习
Ollama搭配DeepSeek，本地部署全攻略
在人工智能领域，大型语言模型（LLMs）正变得越来越普及，而将这些模型部署到本地设备上，不仅可以提高数据隐私性，还能降低对网络的依赖。 一、Ollama 简介 Ollama 是一个开源的本地大模型部署工具，旨在让用户能够在个人电脑上运行各种开源大型语言模型（如 Llama、DeepSeek 等）。 通过 Ollama，开发者、研究者和爱好者可以快速部署私有化 AI 应用，无需依赖云端服务，同时享受高效、安全的本地 AI 体验。 二、安装 Ollama Windows 系统安装 访问 Ollama 官网：https://ollama.com，下载 Windows 版本的安装程序（ollama-windows.msi）。 （二）通过Ollama REST API调用 Ollama 提供 HTTP API，可以用于开发。
7.4K10编辑于 2025-02-18 - 来自专栏AI大流行时代
Ollama系列：轻松3步本地部署deepseek
本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型，网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑，在普通电脑上面玩转大模型。 ollama常用的指令命令描述ollama serve启动 Ollamaollama create从 Modelfile 创建模型ollama show显示模型信息ollama run运行模型ollama stop停止正在运行的模型ollama pull从注册表中拉取模型ollama push将模型推送到注册表ollama list列出所有模型ollama ps列出正在运行的模型ollama cp复制模型 ollama rm删除模型ollama help显示任意命令的帮助信息标志描述-h, --help显示 Ollama 的帮助信息-v, --version显示版本信息获取更多模型在ollama官网，有非常多的开源模型供我们选择 总结本文介绍了如何使用ollama本地部署DeepSeek等大模型，通过干货分享了ollama常用的指令，以及如何获取更多大模型。但是我们目前仍然只是在命令行使用大模型，非常的不友好。
1K10编辑于 2025-03-15 - 来自专栏Linux相关
Ollama【部署 02】Linux本地化部署及SpringBoot2.X集成Ollama（ollama-linux-amd64.tgz最新版本 0.6.2）
.exe（实现客户端操作）1.本地部署1.1 软件安装Ollama 官网1.1.1 脚本安装curl -fsSL https://ollama.com/install.sh | sh脚本安装默认路径是 MIG M. ||===============================+======================+======================|| 0 Tesla T4 RequestBody ChatReq req) { return ollamaComponent.chat(req); }}2.4 OllamaComponent调用服务的类：@Slf4j ; } return R.ok(chatRes); }}2.5 OllamaUtil发送接口请求的工具类：@Slf4j@Componentpublic class OllamaUtil ，特此感谢：/** * 创建 OkHttpClient 不进行SSL（证书）验证 * * @author dongliang7 * @date 2021年11月19日 09:50:00 */@Slf4jpublic
3K10编辑于 2025-08-22 - 来自专栏码匠的流水账
langchain4j+ollama+deepseek小试牛刀
序本文主要研究一下如何使用langchain4j集成ollama+deepseek步骤pom.xml <dependency> <groupId>dev.langchain4j langchain4j-spring.version}</version> </dependency> <dependency> <groupId>dev.langchain4j </groupId> <artifactId>langchain4j-ollama-spring-boot-starter</artifactId> <version 为1.0.0-beta1application.yamllangchain4j: ollama: chat-model: base-url: http://localhost:11434 小结langchain4j提供了langchain4j-ollama-spring-boot-starter，可以方便地通过ollama去访问deepseek。doclangchain4j
1.3K00编辑于 2025-02-23 除了ollama还有哪些模型部署方式？多样化模型部署方式
在人工智能的浪潮中，模型部署是释放其强大能力的关键一环。大家都知道ollama，它在模型部署领域有一定知名度，操作相对简单，受到不少人的青睐。 但其实，模型部署的世界丰富多样，今天要给大家介绍一款工具，帮你轻松部署。对于很多没有专业编程知识的朋友来说，模型部署就像一座难以逾越的大山。 ③体验模型当部署完成，页面下方会显示“立即体验”按钮，点击后，直接进入到AI对话界面，软件支持切换多种智能问答模型，如deepseek满血版、豆包、文心一言等。 除了DS本地部署大师，还有像基于Hugging Face的Transformers库部署方式，它集成众多预训练模型和推理管道，适合有一定编程基础和机器学习知识的人。 不同的模型部署方式各有优劣，大家可以根据自身需求、技术水平和硬件条件综合选择。
64710编辑于 2025-09-17- 来自专栏小胡的技术分享
玩转deepseek本地部署版ollama融合其他大模型
引言部署完成本地版本的deepseek后很多兄弟们想去接入其他厂商的大模型进行微调和测试下面我就用宝塔Linux面板的快速搭建来示范如何接入大模型。 正文1.安装宝塔面板1.1在应用大模型前需要先安装一下宝塔面板——面板后台docker——“AI大模型”选项1.2来到“AI大模型”选项界面找到“DeepSeek-R1”选项注意：只有这个可以一键完成部署和拉去镜像哈 4.总结市面上的各大的大模型的api都可以通过次方式接入，这样可以让我们自己在使用大模型的过程中会更加的方便同时可以让我们不再去每次都需要去找对应的官网了这样可以一个网站就可以完成了。
90310编辑于 2025-02-12 - 来自专栏码匠的流水账
langchain4j+ollama+deepseek小试牛刀
序 本文主要研究一下如何使用langchain4j集成ollama+deepseek 步骤 pom.xml <dependency> <groupId>dev.langchain4j >dev.langchain4j</groupId> <artifactId>langchain4j-ollama-spring-boot-starter</artifactId 为1.0.0-beta1 application.yaml langchain4j: ollama: chat-model: base-url: http://localhost :11434 model-name: deepseek-r1:8b controller @RequestMapping("/ollama") @RestController public 小结 langchain4j提供了langchain4j-ollama-spring-boot-starter，可以方便地通过ollama去访问deepseek。 doc langchain4j
56310编辑于 2025-02-25 - 来自专栏AI智能体从入门到实践
智能体搭建：DeepSeek的Ollama部署FastAPI封装调用
前言： DeepSeek的横空出世引爆了AI大模型的势如破竹之势，在深度进入AI领域之前，对DeepSeek有个初步的了解和使用体验也至关重要，本文将结合Ollama实现本地化部署并生成开放接口，经由 Install开始安装，注意此处无法选择安装目录，如果需要修改目录需手动迁移； 4.安装完成后，打开cmd，运行ollama -v即可查看安装的Ollama版本信息 Ollama默认安装在C盘中：C: ； 9.安装的路径配置完毕，还需新建或者修改系统变量中的OLLAMA_MODELS变量，将变量值改为目标路径 至此，Ollama安装路径迁移完毕，重新运行ollama.exe即可启动程序； 二、Ollama ： import requests # 调用ollama，指定模型和本地部署后api地址 def query_ollama(prompt, model="deepseek-r1:1.5b"): ("你好，你是什么大模型，请隆重介绍一下自己", stream=True) 当本地的模型部署完毕后，可以使用FastAPI进行封装后提供给外部调用，主要注意接口地址和端口，以下配置路径没有特别限制，可自定义调整
1.5K43编辑于 2025-10-24 - 来自专栏AI大模型
别被 “一键部署” 骗了！使用Ollama本地部署DeepSeek 避坑指南
最近最火的莫过于DeepSeek，现在网上关于 AI 模型部署的文章一抓一大把，动不动就是 “一键部署，轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。 Ollama 是什么 Ollama 则是咱们搭建模型的得力助手，它就像是一个智能的建筑工人，能够帮助我们快速、轻松地部署各种大型语言模型。 +x ollama_install.sh 4、执行sh下载安装 sh ollama_install.sh 安装完成后，你可以通过以下命令验证是否安装成功： ollama --version 如果能正确显示 要是你对 Docker 部署轻车熟路，或者懂点代码，那完全可以参考相关教程手动安装，感受一把技术操作的乐趣。 如果你就想简单点，下载个客户端，用鼠标点点就能轻松上手，那选 chatbox 就对啦。 接下来在chatbox 中设置Ollama 的地址即可。 通过以上几步，我们就可以使用Ollama 在本地部署DeepSeek大模型了。
3.8K10编辑于 2025-04-04 DeepSeek实践-5分钟快速腾讯云部Ollama部署本地部署
Ollama部署DeepSeek； ChatBox集成DeepSeek； CodeArts IDE集成DeepSeek。 部署DeepSeek步骤 1、安装Ollama Ollama 是一款功能强大的开源工具，专为在本地运行、部署和管理大型语言模型（LLMs）而设计。 执行安装命令： 在终端中输入以下命令并回车： curl -fsSL https://ollama.com/install.sh | sh 2、部署DeepSeek 借助 Ollama，我们可以轻松部署 以下步骤将指导您部署 deepseek-r1:1.5b 版本： 执行部署命令： 在终端中输入以下命令并回车： ollama run deepseek-r1:1.5b 2.开始对话： 部署完成后，您可以直接在终端与 AI.com 秘钥需要登录：https://platform.deepseek.com/sign_in API 及定价 DeepSeek-R1 API 服务定价为每百万输入 tokens 1 元（缓存命中）/ 4
2.5K21编辑于 2025-03-19- 来自专栏Linux相关
Ollama【部署 04】Linux环境离线安装Ollama及模型文件（sha256缓存与gguf模型文件）
@TOC1.环境说明有些时候，需要离线进行本地大模型的部署，此次为保证环境离线，我使用的是笔记本电脑安装的虚拟机（系统是openEuler），安装的整个流程笔记本电脑都是断网状态。 3.导入模型3.1 使用 sha256 缓存联网时将执行ollama run xxxx下载的模型文件 sha256-6e4c38...复制到其他服务器的 /root/.ollama/models/blobs ", "size": 387 }, { "digest": "sha256:6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4 ", "from": "/root/.ollama/models/blobs/sha256-4c876b7b0994294c677a6a1b375a0c618270f456585b42e443665ca4b89f917a ": "application/vnd.docker.distribution.manifest.v2+json", "schemaVersion": 2}4.简单总结使用 gguf 格式模型 Ollama
4.5K11编辑于 2025-08-23 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
Llama3大型模型则达到400B，仍在训练中，目标是实现多模态、多语言的功能，预计效果将与GPT 4/GPT 4V相当。 二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。 您将会看到 Ollama 的 Web 界面，通过它您可以开始构建、训练和部署深度学习模型。 B8%94%E9%95%9C%E5%83%8F%E4%B9%9F%E5%B7%AE%E4%B8%8D%E5%A4%9A1G%E3%80%82) 本文推荐使用ollama-webui-lite(github.com
7.1K00编辑于 2024-05-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号