# llmfit：一条命令，看哪个模型跑得动你的机器

---

**llmfit** 是一个 Rust 写的终端工具，解决本地跑大模型时最头疼的问题：**哪个模型能在我的机器上跑起来？**

几百个模型、多个本地运行时，一条命令给出答案。它检测你的硬件，从四个维度给每个模型打分，告诉你哪些真的能跑、能跑多快。

---

## 一、本地模型的选型困境

想本地跑模型的人都会遇到：

- 模型卡多到数不清，名字一个比一个像
- 显存/内存要求散落在 HuggingFace 各处，要自己翻
- 量化版本五花八门，Q4、Q5、Q8 各有取舍
- 下载了才发现跑不动，或者跑起来慢到没法用

llmfit 把这些收成一条命令：

```sh
llmfit
```

TUI 打开，顶部显示检测到的硬件规格，下面每个模型按 fit、speed、quality、context 四个维度排序打分。

---

## 二、四维打分

每个模型在目录里的评分基于四个维度：

| 维度 | 回答什么问题 |
|------|-------------|
| **Memory Fit** | 模型 + 量化版本能不能塞进你的 RAM/VRAM |
| **Speed** | 在你的硬件上预计多少 tok/s |
| **Quality** | 模型本身的基准表现 |
| **Context** | 支持多少上下文窗口 |

速度估算来自一个基于内存带宽的模型——用真实社区测量数据校准过。每个估算都带着输入参数，`llmfit info` 会展示这个数字假设了什么、怎么在你的机器上验证。

---

## 三、量化感知的拟合

llmfit 理解量化：

- MoE 架构（Mixtral、DeepSeek-V3）只算激活参数，不会按总参数量高估内存需求
- 多 GPU 配置支持——跨卡分配层
- 动态量化选择——自动匹配能塞进你显存的最佳量化档位
- 本地运行时识别：Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio

---

## 四、Benchmark & Share：社区实测闭环

最值得注意的设计是 benchmark 功能：

```sh
llmfit bench
```

下载模型、启动服务、在你自己的硬件上测出真实 tok/s——然后**直接从 TUI 里提交 PR** 把结果贡献回项目。不需要 gh CLI，不需要第三方账号。

这个闭环的效果：

- 每次测量先存本地，你自己的实测数据替换掉拟合表里的估算值
- 每个合并的提交随下一个 release 发布
- 相同硬件的人打开 llmfit，看到的是带 `✓` 的实测数字，跑基准之前就知道结果

---

## 五、命令行模式

给脚本和 Agent 用的经典 CLI：

```sh
llmfit fit                # 全部模型按 fit 排序的表格
llmfit recommend --json   # 推荐结果 JSON（供 Agent/脚本消费）
llmfit info "<model>"     # 单模型：拟合分析、估算依据、验证命令
llmfit bench              # 对运行中的 provider 实测 tok/s / TTFT
llmfit doctor             # 硬件检测报告
```

---

## 六、安装

```bash
brew install AlexsJones/llmfit/llmfit
```

或一条脚本：

```bash
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
```

---

## 结语

本地大模型的普及卡在一个很实际的问题上：选型。llmfit 把「能不能跑、能跑多快、值不值得跑」变成了硬件检测 + 四维评分 + 社区实测，一条命令出答案。这层「模型和硬件之间的适配层」在本地 AI 栈里会越来越重要。


llmfit 是一个 Rust 写的终端工具，解决本地跑大模型时最头疼的问题：哪个模型能在我的机器上跑起来？

llmfit：一条命令，看哪个模型跑得动你的机器

软件研发

人工智能

开发工具

硬件

llmfit是一款Rust编写的终端工具，一条命令检测硬件配置，从内存适配、速度、质量、上下文四维给模型打分，支持量化感知、多GPU和主流运行时（Ollama、llama.cpp、MLX等）。内置benchmark功能可实测tok/s并提交PR，提供CLI与TUI模式，帮助用户快速判断哪些大模型能在本机流畅运行。

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

llmfit：一条命令，看哪个模型跑得动你的机器-腾讯云开发者社区-腾讯云

llmfit：一条命令，看哪个模型跑得动你的机器

llmfit：一条命令，看哪个模型跑得动你的机器

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐