如果你管过一个训练集群,下面这个场景一定不陌生:周三下午,三个团队同时提交作业——A 要 512 卡训大模型,B 要 64 卡微调,C 只要 8 卡跑实验。调度...
摘要: AI 项目把训练、推理验证放进 CI/CD 时,常卡在"没有 GPU 机器可用"这一步。腾讯云云原生构建提供固定 16 核加 48GB 显存的云端 GP...
摘要: AI/ML 训练任务散落在本地机器上,难以复现和追溯。腾讯云云原生构建用 Pipeline/Stage/Job 三层结构把训练编排进流水线,通过 .cn...
随着深度学习模型(尤其是大语言模型)规模不断增长,推理阶段的计算和存储开销成为实际部署中的主要瓶颈。推理优化的目标是:在尽可能保持模型精度的前提下,降低推理延迟...
既然已经有了 TMA 和双缓冲,为什么还说没有真正 overlap?原因是当前代码仍由一个 warpgroup 顺序推进 load、MMA 和 store。它具...
摘要: GPU 单价高,AI 团队常因心疼算力而不敢在 CI/CD 里频繁跑训练和验证。腾讯云云原生构建的云端 GPU 节点按实际运行时间计费、用完即释放,配合...
过去两年,我们团队在腾讯云容器服务(TKE)上陆续上线了四个AI推理业务,涵盖智能客服、代码补全、文档摘要和图像生成。踩过的坑比跑通的demo多得多,很多优化方...
上个月刷到WAIC 2026的消息,一条很炸眼。星环科技发布了全球首款商业化GPU原生认知数据库。官方口径:TPC-DS基准测试比主流开源数据库快70倍。同场演...
第一章第五节讲过,2026 年推理系统最明确的一条主线,是分离式 Prefill/Decode——把 prefill 和 decode 拆到不同的 GPU 池,...
一块 Blackwell 几秒钟能算完的矩阵,如果梯度同步要走一条又慢又绕的路,整张卡就得停下来干等。在我们第一章里 Meta 那份研究说,集群看着 100% ...
摘要: GPU 算力成本高昂但多数企业实际利用率仅在 5% 至 15% 之间。本文介绍基于腾讯云容器服务 TKE 的 qGPU 共享、TACO 推理加速与智能调...
今年5月20日,迈富时完成了一笔不太起眼的新股认购,募资净额约5亿港元,认购价40.54港元。
TKE 开发了 gpu-exporter 组件,用于获取 GPU 相关 Pod/容器维度的监控指标,包括 GPU 卡利用率、Pod/容器 GPU 资源利用率以及...
传统的视频编辑软件往往依赖桌面客户端和本地原生运行时。随着 WebCodecs、WebGPU、WebAssembly 和 IndexedDB 等浏览器能力逐渐成...
核心载体:微电网、零碳园区、虚拟电厂、绿电管理平台业务本质:管住电的「发、储、配、售、调、消」
随着人工智能、大模型训练、视频渲染和高性能计算(HPC)的快速发展,GPU 已逐渐成为企业 IT 基础设施中最重要的计算资源之一。从 AI 模型训练到数据分析,...
一句话,一个周末,Claude直接把自家最前沿的模型跑在了一台全新的AMD MI355X机架上!
部署多种模型共享 GPU 集群时,运维团队常看到的不是算力不足,而是算力浪费——一部分 GPU 持续跑在 80% 以上利用率,另一部分却在 30%-50% 之间...