- 综合排序
- 最热优先
- 最新优先
- 来自专栏Linux相关
Ollama【部署 02】Linux本地化部署及SpringBoot2.X集成Ollama（ollama-linux-amd64.tgz最新版本 0.6.2）
.exe（实现客户端操作）1.本地部署1.1 软件安装Ollama 官网1.1.1 脚本安装curl -fsSL https://ollama.com/install.sh | sh脚本安装默认路径是 > download.log 2>&1 &# 使用 wget 进行断点续传nohup wget -c https://ollama.com/download/ollama-linux-amd64.tgz > download.log 2>&1 &# wget跟随的最新urlhttps://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64 /ollama serve >> serve.log 2>&1 &# CPUmsg="inference compute" id=0 library=cpu variant=avx2 compute=" /ollama serve >> serve.log 2>&1 &Ollama 的环境变量：Usage: ollama serve [flags]Aliases: serve, startFlags
3K10编辑于 2025-08-22 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama ://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 R1 # 所需空间大约 404G ollama run deepseek-r1:671b # Windows的环境变量监听 # OLLAMA_HOST 0.0.0.0 # 启动命令 ollama open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 2. 如果Ollama在另一台服务器上，请使用以下命令： 连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL： docker run -d -p 3000:8080
2.7K20编辑于 2025-02-04 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 安装指南 第一步：安装ollama 我们可以从官网下载ollama，此步骤支持windows、mac、ubuntu操作系统，此处仅以windows作为演示。 打开ollama官网：https://ollama.com 点击download按钮进行下载，下载完成后点击安装。 ollama的集成。 \n2. **下雨天**：云层覆盖天空，可能导致颜色较为阴郁或变黑。\n3. **雨后天气**：雨后的天空可能恢复为明亮的色调。
4.9K11编辑于 2025-03-30 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: https://ollama.com/我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main2. 如果Ollama在另一台服务器上，请使用以下命令：连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL：docker run -d -p 3000:8080 -e 和Ollama，确保您可以快速启动一切。
3.4K12编辑于 2025-01-26 - 来自专栏机器学习
OpenCloudOS部署OpenClaw配置本地Ollama
上一篇内容我们在OpenCloudOS部署好了OpenClaw，但是还没有配置它的LLM，今天我们在艾克斯开发板上使用Ollama来部署一个小模型。 Ollama安装通过ssh登录我们的设备输入curl-fsSLhttps://ollama.com/install.sh|sh进行下载。输入密码后等待安装完成。完成安装。 添加ollama的模型我们在ollama的官网可以看到，它们已经可以很方便的和OpenClaw进行对接了，因此我们按照官网的提示进行配置看看是否可行。 --eGDEsRIwEa2-a5YEyG-_T-n4pRF9XfiAnn5S8XlAbkEJ9oO_b-yM1pKn4-lT7kQC2P1ZRp9PtbKpeSVZ83feXXFwVkRO2-ijkthHMywiVo4i6KTAD8CbKETOZ8lY0xNZ0Qyy2nLjxOsFWk35SEibniemE &q-sign-algorithm=sha1&q-ak=AKIDR_xdfcaGLul8yIYqLBJ4-6Xy2bb2GT38hN4ErS1trGXYjlF8_iEnKhyvF28SR2a9&q-sign-time
9.6K01编辑于 2026-02-12 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ollama/ollama/releases 安装好之后直接在命令行执行ollama run llama2就会自动去下载并运行 llama2 这个模型，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.1K20编辑于 2024-03-05 - 来自专栏后台技术汇
Ollama是什么？安装部署指南原创
前言此前写过2篇关于大模型思考的文章：《浅谈大模型时代的后台技术发展》、《AGI 时代的破局之道 》；对于大模型的本地部署和使用，下面我们了解一下。Ollama是什么？ 一个本地部署运行大模型的工具，一行命令一键启动，支持linux、windows和mac操作系统的安装。Ollama支撑哪些大模型？ 访问：https://ollama.com/library，列表下的大模型，它都支持。Ollama运行大模型的配置？ Ollama只是工具，部署不同的大模型，都对我们本地环境有不同的配置要求（内存大小、CPU、GPU等等），下面举例子：Model（大模型）Parameters（参数）Size（体积）Download（运行指令 2bGemma 29B5.5GBollama run gemma2Gemma 227B16GBollama run gemma2:27bMistral7B4.1GBollama run mistralMoondream
1.5K10编辑于 2024-09-21 - 来自专栏实战docker
Mac环境下ollama部署和体验
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 关于ollama ollama和LLM（大型语言模型 / 非常简洁 本篇概览 作为入门操作的笔记，本篇记录了部署和简单体验ollama的过程，并且通过docker部署了web-ui，尝试通过页面使用大模型 本次操作的环境如下 电脑：macbook pro ollama run phi3 Mistral 7B 4.1GB ollama run mistral Neural Chat 7B 4.1GB ollama run neural-chat Starling 7B 4.1GB ollama run starling-lm Code Llama 7B 3.8GB ollama run codellama Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored LLaVA 7B 4.5GB ollama run llava Gemma 2B 1.4GB ollama run gemma:2b Gemma
3.7K01编辑于 2024-05-26 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 这个回复速度还是非常的感人的~ 三，Python接口交互 在命令行运行 诸如 ollama run qwen2，实际上就会在后台起了一个qwen2的模型服务。 import subprocess #后台启动一个qwen2模型服务，相当于 在命令行中运行 `ollama run qwen2` cmd = ["ollama","run qwen2"] process pip install ollama import ollama response = ollama.chat(model='qwen2', stream
3.8K11编辑于 2024-06-26 - 来自专栏软件测试学习
Ollama搭配DeepSeek，本地部署全攻略
在人工智能领域，大型语言模型（LLMs）正变得越来越普及，而将这些模型部署到本地设备上，不仅可以提高数据隐私性，还能降低对网络的依赖。 一、Ollama 简介 Ollama 是一个开源的本地大模型部署工具，旨在让用户能够在个人电脑上运行各种开源大型语言模型（如 Llama、DeepSeek 等）。 通过 Ollama，开发者、研究者和爱好者可以快速部署私有化 AI 应用，无需依赖云端服务，同时享受高效、安全的本地 AI 体验。 二、安装 Ollama Windows 系统安装 访问 Ollama 官网：https://ollama.com，下载 Windows 版本的安装程序（ollama-windows.msi）。 （二）通过Ollama REST API调用 Ollama 提供 HTTP API，可以用于开发。
7.4K10编辑于 2025-02-18 - 来自专栏AI大流行时代
Ollama系列：轻松3步本地部署deepseek
本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型，网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑，在普通电脑上面玩转大模型。 ollama常用的指令命令描述ollama serve启动 Ollamaollama create从 Modelfile 创建模型ollama show显示模型信息ollama run运行模型ollama stop停止正在运行的模型ollama pull从注册表中拉取模型ollama push将模型推送到注册表ollama list列出所有模型ollama ps列出正在运行的模型ollama cp复制模型 ollama rm删除模型ollama help显示任意命令的帮助信息标志描述-h, --help显示 Ollama 的帮助信息-v, --version显示版本信息获取更多模型在ollama官网，有非常多的开源模型供我们选择 总结本文介绍了如何使用ollama本地部署DeepSeek等大模型，通过干货分享了ollama常用的指令，以及如何获取更多大模型。但是我们目前仍然只是在命令行使用大模型，非常的不友好。
1K10编辑于 2025-03-15 - 来自专栏nginx
Docker部署Ollama并接入Llama 2模型通过前端交互界面向AI提问
接下来，我们将详细介绍如何在群晖NAS上部署Llama 2大模型，并通过内网穿透工具cpolar实现远程访问这样一个基于Llama 2的聊天机器人。 :main 拉取成功后,我们可以在Docker界面看到拉取的两个镜像,下面开始运行两个镜像,首先运行ollama 2. 命令界面,执行ollama run llama2命令,接着等待下载即可,最后出现success,表示下载运行Llama 2模型成功,下载完成后可以关闭掉窗口.这样ollama 容器启动,并运行Llama 2模型就成功了,下面运行chatbot-ollama镜像,配置前端交互界面 3. 模型,下面输入文字即可对话,这样一个本地部署的机器人就完成了,对话的响应速度取决于设备的配置,尽量使用高配置的服务器运行部署哦,本地完成后,我们接下来设置远程也可以访问,下面安装cpolar工具,实现无公网
63810编辑于 2025-11-15 除了ollama还有哪些模型部署方式？多样化模型部署方式
在人工智能的浪潮中，模型部署是释放其强大能力的关键一环。大家都知道ollama，它在模型部署领域有一定知名度，操作相对简单，受到不少人的青睐。 但其实，模型部署的世界丰富多样，今天要给大家介绍一款工具，帮你轻松部署。对于很多没有专业编程知识的朋友来说，模型部署就像一座难以逾越的大山。 ③体验模型当部署完成，页面下方会显示“立即体验”按钮，点击后，直接进入到AI对话界面，软件支持切换多种智能问答模型，如deepseek满血版、豆包、文心一言等。 除了DS本地部署大师，还有像基于Hugging Face的Transformers库部署方式，它集成众多预训练模型和推理管道，适合有一定编程基础和机器学习知识的人。 不同的模型部署方式各有优劣，大家可以根据自身需求、技术水平和硬件条件综合选择。
64710编辑于 2025-09-17- 来自专栏小胡的技术分享
玩转deepseek本地部署版ollama融合其他大模型
引言部署完成本地版本的deepseek后很多兄弟们想去接入其他厂商的大模型进行微调和测试下面我就用宝塔Linux面板的快速搭建来示范如何接入大模型。 正文1.安装宝塔面板1.1在应用大模型前需要先安装一下宝塔面板——面板后台docker——“AI大模型”选项1.2来到“AI大模型”选项界面找到“DeepSeek-R1”选项注意：只有这个可以一键完成部署和拉去镜像哈 1.3点击“安装”进入配置界面选择版本绑定域名即可注意：这里的模型越大内存越大对服务器要求越高2.配置大模型2.1安装完成后来到后台配置大模型2.2大模型界面的右上角点击一下选择“管理员面板”点击进去2.3
90310编辑于 2025-02-12 - 来自专栏AI智能体从入门到实践
智能体搭建：DeepSeek的Ollama部署FastAPI封装调用
前言： DeepSeek的横空出世引爆了AI大模型的势如破竹之势，在深度进入AI领域之前，对DeepSeek有个初步的了解和使用体验也至关重要，本文将结合Ollama实现本地化部署并生成开放接口，经由 一、Ollama的安装与路径迁移 1.打开Ollama官网 2.点击Download，按需选中要下载的版本，本文以Windows版本为例； 3.下载完成后，双击OllamaSetup.exe直接运行后点击 ； 9.安装的路径配置完毕，还需新建或者修改系统变量中的OLLAMA_MODELS变量，将变量值改为目标路径 至此，Ollama安装路径迁移完毕，重新运行ollama.exe即可启动程序； 二、Ollama ： import requests # 调用ollama，指定模型和本地部署后api地址 def query_ollama(prompt, model="deepseek-r1:1.5b"): ("你好，你是什么大模型，请隆重介绍一下自己", stream=True) 当本地的模型部署完毕后，可以使用FastAPI进行封装后提供给外部调用，主要注意接口地址和端口，以下配置路径没有特别限制，可自定义调整
1.5K43编辑于 2025-10-24 - 来自专栏AI大模型
别被 “一键部署” 骗了！使用Ollama本地部署DeepSeek 避坑指南
最近最火的莫过于DeepSeek，现在网上关于 AI 模型部署的文章一抓一大把，动不动就是 “一键部署，轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。 Ollama 是什么 Ollama 则是咱们搭建模型的得力助手，它就像是一个智能的建筑工人，能够帮助我们快速、轻松地部署各种大型语言模型。 2、使用github文件加速替换github下载地址 sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https Step 2：启动模型 输入以下命令来启动模型： ollama run deepseek-r1:14b 这一步整体还算顺利，没什么大毛病。唯一小闹心的就是初次下载时，速度就像老黄牛拉车，磨磨蹭蹭的。 接下来在chatbox 中设置Ollama 的地址即可。 通过以上几步，我们就可以使用Ollama 在本地部署DeepSeek大模型了。
3.8K10编辑于 2025-04-04 DeepSeek实践-5分钟快速腾讯云部Ollama部署本地部署
部署DeepSeek步骤 1、安装Ollama Ollama 是一款功能强大的开源工具，专为在本地运行、部署和管理大型语言模型（LLMs）而设计。 执行安装命令： 在终端中输入以下命令并回车： curl -fsSL https://ollama.com/install.sh | sh 2、部署DeepSeek 借助 Ollama，我们可以轻松部署 以下步骤将指导您部署 deepseek-r1:1.5b 版本： 执行部署命令： 在终端中输入以下命令并回车： ollama run deepseek-r1:1.5b 2.开始对话： 部署完成后，您可以直接在终端与 Mac：将 Ollama 图标拖拽至 Applications 文件夹。 2. 2.测试模型 安装完成后，在终端中输入： 说一句有趣的新年祝福 如果模型能够成功回应，则说明部署成功！ 如果模型成功回应，说明部署无误！
2.5K21编辑于 2025-03-19- 来自专栏Linux相关
Ollama【部署 04】Linux环境离线安装Ollama及模型文件（sha256缓存与gguf模型文件）
@TOC1.环境说明有些时候，需要离线进行本地大模型的部署，此次为保证环境离线，我使用的是笔记本电脑安装的虚拟机（系统是openEuler），安装的整个流程笔记本电脑都是断网状态。 2.安装软件首先要安装 Ollama，下载 ollama-linux-amd64.tgz后解压即可使用，完全可以离线。 "https://registry.ollama.ai/v2/library/deepseek-r1/manifests/1.5b": dial tcp: lookup registry.ollama.ai ], "mediaType": "application/vnd.docker.distribution.manifest.v2+json", "schemaVersion": 2}迁移缓存的模型文件 ", "schemaVersion": 2}4.简单总结使用 gguf 格式模型 Ollama 也会将其转换，也可以使用转换后的文件进行迁移。
4.5K11编辑于 2025-08-23 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。 您将会看到 Ollama 的 Web 界面，通过它您可以开始构建、训练和部署深度学习模型。 这里冒号前面代表模型名称，冒号后面代表tag，可以从这里查看llama3的所有tag ollama pull llama3:70b 2、运行llama3模型 ollama run llama3 上述命令将自动拉取模型 2、源码部署： 安装Node.js 支持Ollama的WebUI非常多，笔者体验过热度第一的那个WebUI(github.com/open-webui/…%EF%BC%8C%E9%9C%80%E8%A6%
7.1K00编辑于 2024-05-24 在 Docker 中运行 Ollama：从开发环境到生产部署
在Docker中运行Ollama：从开发环境到生产部署本地运行大模型从未如此简单。Docker化的Ollama让你的AI基础设施可复现、可扩展。为什么选择Docker部署Ollama？ :/root/.ollamaenvironment:-OLLAMA_HOST=0.0.0.0-OLLAMA_NUM_PARALLEL=4-OLLAMA_MAX_LOADED_MODELS=2deploy /nginx.conf:/etc/nginx/nginx.conf:rodepends_on:-ollama-1-ollama-2#Ollama实例1（GPU0）ollama-1:image:ollama :11434/api/tags"]interval:30stimeout:10sretries:3#Ollama实例2（GPU1）ollama-2:image:ollama/ollama:latestvolumes 的部署变得简单可控。
19110编辑于 2026-04-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号