16台DGX Spark集群跑通Kimi K3

IT时代网9月5日消息，英伟达开发者论坛用户ciprianveg公布了一项本地AI算力测试：把16台DGX Spark桌面设备组成运算集群，成功运行完整的Kimi K3大模型，16000深度下最高生成速度达到每秒38个token。DGX Spark原本面向本地AI开发与推理，单台的算力和显存难以支撑千亿参数模型。这个项目直接增加计算节点，把应用场景从单机测试扩展到多机并行，网络互联上用一台MikroTik CRS804-4DDQ核心交换机配合4根400G转4乘100G高速分支线缆，把所有GB10节点串联起来。基准成绩方面，集群在4000深度下预填充吞吐量每秒654.89个token，首次响应约8.3秒，生成速度每秒21.71个token；上下文深度加到16000时，预填充吞吐量提升至每秒758.78个token，首次响应等待延长到约21.5秒，生成速度反而升到每秒25.39个token，峰值38.00。发帖人表示这只是未经充分调优的首次成绩，后续会继续优化性能，并计划近期把运行镜像和使用说明上传到代码托管平台。

注：本文中包含AI辅助创作的内容。