首页
学习
活动
专区
圈层
工具
发布

#gpu

Kubernetes 上如何提升大模型推理 GPU 利用率?TKE qGPU 共享实战 HotTopic

克劳德2048

独立集群的 master 版本升级会重置 master 上所有组件的配置,影响 qgpu-scheduler 作为 Scheduler Extender 的配置...

900

一个让我的开源项目在 Linux 上 100% 装不上的回车符

四王爷

我维护一个 GPU 能耗测量工具(MLCube 容器格式)。昨天一位复现者在干净的 Ubuntu 22.04 上跑"一键脚本",反馈:100% 失败。截图里第一...

2200

2.5D/3D封装原理解析:GPU+HBM如何集成在一起?

疯聊AI

你刷到的每一张 AI 旗舰显卡,宣传页都写着「XX 亿晶体管」「XX TB/s 显存带宽」。

13500

从一次测量到一组可信数据:测量协议设计入门

四王爷

上一篇里,我们聊了怎么读取 GPU 功耗、怎么设计一个基本实验、怎么避免三个最常见的坑。读完之后,你应该能跑通一条测量链路:写脚本、采数据、画曲线、算能耗。

13410

写给非硬件背景开发者的 GPU 功耗测量入门:从“看不懂瓦特”到第一张功耗曲线

四王爷

为什么要写这篇过去半年我一直在做 LLM 推理能耗的实测工作,写了一系列关于量化省不省电的文章。但每次和朋友聊起这个话题,我发现大家卡住的地方往往不是“量化到底...

12810

多大显卡才能跑AI?AI算力GPU选型避坑策略(一张图告诉你):Deepseek等模型要求

用户1433603

2026年7月,Blackwell租金涨27%、H100不降反升、国产超节点量产。这篇文章帮你理清选型逻辑,不被供应商话术带偏。

34710

GPU 云服务器怎么选?AI 推理与训练场景选型指南

克劳德2048

摘要: 选 GPU 云服务器,第一反应往往是"买哪张卡",更现实的问题却是场景对应哪类实例、算力怎么用满、成本如何控制。本文按四类场景给出 6 个评估维度与 G...

13410

2026 GPU国产化:AI训练与推理的深度优化指南

用户12818376

在算力自主可控战略全面加速落地的2026年,国产GPU已经从“能用”走向“好用”的主力舞台。然而,由于异构架构的适配差异、软件生态的割裂以及算子库的成熟度不同,...

17610

batch 大于 1 的那一半:量化能耗数据里最大的空白,和它为什么难填

四王爷

如果你想知道"在 batch 1 下、单流解码、NF4 相对 FP16 的每 token 能耗变化",我们能给你一张有数字的表:Turing、Ada、Black...

10610

感知+计算带来的行业变革:当4D毫米波雷达遇上GPU,感知即服务时代启幕

SuperRadar开源社区

编者按 本文整理自承泰科技创新产品线总监邱学华在 2026 安富利智慧科技生态圈论坛开放麦环节的现场分享《感知 + 计算带来的行业变革》,我们进一步梳理了演讲...

14710

浏览器端机器学习训练原理:WebGL 如何让神经网络在浏览器里跑起来

飞猫警长

WebGL(Web Graphics Library)是一个 JavaScript API,允许网页在 <canvas> 元素上渲染 2D 和 3D 图形。它基...

16810

OpenAI 用 7000 张 GPU 查 50PB 记录:agent 的审计欠账是怎么定价的

海风自语

昨天我看到一个数字,停在那儿看了很久。为了查清楚自家的 AI 在过去几个月究竟干过什么,OpenAI 投入了大约 7000 块 GB200 和 GB300,每天...

14710

量化到底省不省电:2023–2025 大模型推理能耗研究综述

四王爷

一句话版本:这是一个吵了三年的问题,答案从"省"变成了"取决于"——而"取决于什么",恰好是 2025 年最有意思的进展。本文整理 2023–2025 年约 3...

17311

我给自己创建的 AI 专家做了一套验收测试:4 道题、3 个陷阱、1 份评分表

四王爷

我在 WorkBuddy 专家中心创建了一个大模型能耗监控方向的专家——它基于我们团队公开的推理能耗实测数据集,回答"该不该量化"这类问题:给我 GPU 型号、...

15810

量化 LLM 推理真的省电吗?我在五张 GPU、四代架构上直接测了测

四王爷

做 LLM 部署的人大多有个默认假设:量化降低了显存占用和内存带宽压力,所以推理更省电。这个假设在论文和工程实践里被反复引用,但真正直接测过的很少——大部分"量...

15110

晨会投屏黑屏30秒,老板的沉默比KPI更吓人

追风者小全

事情是这样的。周一晨会,轮到我讲方案,笔记本接上会议室的HDMI线——屏幕一闪,然后黑了。投影仪显示"无信号"。我按 Win+P 切复制模式,没用;拔插HDMI...

38531

量化的 LLM 不一定省电:我把结论拆成了六个可单独引用的工件

四王爷

做 LLM 推理优化时,多数人默认"权重低比特量化 = 省电"。我用 NVML 直接读功耗测了一轮后发现:低于某个模型规模的交叉点,NF4 反而更费电;而且这个...

14311
领券