首页
学习
活动
专区
圈层
工具
发布

#模型

燃气工程师的本地AI推理方案:Ollama三后端搭建实录

用户12619379

我装了6个模型,日常90%的请求落在 qwen2.5:7b 上。7B模型在M4芯片上跑,单次推理0.3-1.5秒,完全够用。

1300

把"个人工作流"跑成自动化流水线——一周 WorkBuddy 实战心得

用户12122707

会话记录里有一条"添加三个 SenseNova 自定义模型"——把多家供应商的模型接进同一工作台,按任务类型灵活切换,避免被单一模型绑定。

2600

llm 训练脚本怎么写?平台启动怎么配?一文搞定

掘金安东尼

比如用 LLaMA2 预训练一个通用大语言模型,它知道很多东西,想让它更像业务助手,回答时带品牌口吻、遵守业务流程,在大模型结构里,参数动辄几十亿,哪怕只改一点...

1100

从显存瓶颈到推理革命:vLLM 为何成为大模型服务的底层标配

掘金安东尼

很多开发者都有一个共识:当模型基座的性能逐渐趋同,真正决定 AI 产品落地效率和成本的,是推理层的工程化能力。

1000

LLM API调用成本降80%?我踩过的坑和实战方案

用户12493922

4810
领券