首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏GPUS开发者

    NVIDIA × Groq 合作内幕首次公开

    本文整理自2026 NVIDIA GTC 大会现场座谈,对话嘉宾为Groq 创始人、全球首款 TPU 缔造者 Jonathan Ross。 Groq 的 COO Sunny Madra 主动找到英伟达 CEO 黄仁勋(Jensen),提出一个大胆想法:把 Groq 的 LPU 和英伟达的 GPU 连起来,分工跑大模型。 当时 Groq 只有 GPU 和普通以太网,没有 NVLink,依然硬着头皮做实验:把大模型的不同计算任务拆分,分别放到 GPU 和 LPU 上跑,结果一次成功。 展示给黄仁勋后,3 天敲定深化合作 3 周完成正式合作协议 签约次日,Groq 创始人全职进驻英伟达 圣诞节当天就拿到电脑开工 这场合作从想法到落地,速度快到刷新半导体行业纪录,也直接奠定了GPU+LPU

    32810编辑于 2026-04-13
  • 英伟达收购Groq核心资产!

    根据Groq官方博客与英伟达内部的说法,这是一项非排他性授权协议。 其主要内容包括: 1.业务分割:英伟达将获得 Groq 的所有资产与技术授权,但Groq 旗下的GroqCloud 云端业务并不在交易范围内,将维持独立运作。 2、人才吸纳:作为该协议的一部分,Groq 的创始人 Jonathan Ross、Groq 的总裁 Sunny Madra 以及 Groq 团队的其他成员将加入英伟达,以帮助推进和扩大授权技术的规模。 关于Groq 资料显示,Groq成立于 2016 年,总部位于美国加利福尼亚州山景城,是一家 AI 芯片生产商,旨在实现高吞吐量、低成本的推理,而不是训练。 不仅如此,Groq当时还喊话各大公司,扬言在三年内超越英伟达。

    58210编辑于 2026-03-19
  • 来自专栏芯智讯

    Groq CEO控诉:英伟达阻碍公平竞争!

    上个月美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注,该芯片采用了全新的Tensor Streaming Architecture (TSA) 架构,以及拥有超高带宽的 这也使得一些客户对于Groq的AI芯片产生的兴趣。 但是,根据最新的报道显示,Groq CEO Jonathan Ross近日在接受采访时控诉英伟达阻碍公平竞争。 此前相关文章:《AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?》 编辑:芯智讯-林子

    28210编辑于 2024-03-06
  • 来自专栏科技云报道

    黑马Groq单挑英伟达,AI芯片要变天?

    “快”字当头,Groq可谓赚足眼球。Groq还喊话各大公司,扬言在三年内超越英伟达。 事实上,在这一波AI热潮中,“天下苦英伟达久矣”。 英伟达GPU芯片价格一再被炒高,而Groq的LPU架构能“弯道超车”,显然是众望所归。 因此,不少舆论惊呼Groq要颠覆英伟达,也有业内人士认为Groq想要“平替”英伟达还有很长的路要走。 Groq LPU:快字当头 据介绍,Groq的芯片采用14nm制程,搭载了230MB大静态随机存储器(SRAM)以保证内存带宽,片上内存带宽达80TB/s。 因此,Groq公司宣称,其LPU所带来的AI推理计算是革命性的。 在AI推理领域挑战GPU 尽管Groq高调喊话,但想要“平替”英伟达GPU并不容易。 从各方观点来看,Groq的芯片还无法与之分庭抗礼。

    52710编辑于 2024-02-26
  • 三星:Groq 3 LPU正在生产,订单量超预期!

    同时,英伟达新款人工智能(AI)推理专用芯片“Groq 3 语言处理单元(LPU)”已委托三星晶圆代工,并采用4nm工艺生产。 黄仁勋在三星代工生产Groq 3 LPU晶圆上亲笔签名并写上“GROQ SUPER FAST”,在三星HBM4晶圆上写上“AMAGING HBM4!”。这两款产品均由三星制造。 韩进万表示:“我们目前正在平泽工厂使用我们的 4nm 晶圆制造工艺生产 Groq 3 LPU。”他还补充道:“今年的订单量比我们预期的要多。” 关于英伟达委托三星晶圆代工生产 Groq 3 LPU 的背景,韩进万表示:“早在 2023 年英伟达收购 Groq 之前,我们和 Groq 就已经开始合作了。” 当被问及 Groq 3 LPU 何时开始贡献收益时,他回答说:“量产将于第三季度末或第四季度初开始。”他还补充道:“我们需要观察市场反应,但我相信明年对 Groq 3 LPU 的需求将真正增长。”

    22910编辑于 2026-03-19
  • 来自专栏AI进修生

    ClaudeDev(已升级):Ollama、Groq全面支持!轻松集成AI工作流

    OpenAI 兼容 API 选项将允许你输入任何 OpenAI 兼容的端点并使用它,例如,如果你想使用像 Groq 这样的服务,你只需输入 Groq 的基本 URL、API 密钥、模型名称和其他详细信息 无论如何,现在让我先展示如何通过 OpenAI 兼容 API 选项使用 GroqGroq 的免费版可以在有限的使用率内免费使用,所以只需在 Groq 注册并获取一个 API 密钥。 在 URL 选项中输入 Groq API 基本 URL,输入你的 API 密钥,之后你需要输入你想使用的模型名称,他们有很多模型,我喜欢使用 Llama 3.1 70b 模型,所以只需像这样输入它。 这样就很酷了,现在你可以免费使用像 Groq 这样的服务,这非常棒。 我将使用 Llama 3.1 18b 模型,所以选择它并复制这个安装命令。现在在你的终端中粘贴这个命令,模型就会被安装。 让我们请求它做一些类似 Groq 测试的事情,这次让它创建一个食物卡路里追踪应用并发送请求。现在它正在生成,稍等一下。完成了,正如你所看到的,它再次请求批准,所以我们再次批准。

    1.6K00编辑于 2024-12-02
  • 来自专栏存储公众号:王知鱼

    英伟达GTC2026:Groq解码器重塑推理战场

    识别专业化机遇:研究生获悉电力冷却创新(如钻石散热)与Groq低延迟路径,推动KV缓存卸载至存储的研究方向。 首先,他提及英伟达与Groq价值200亿美元的非独家低延迟推理技术许可协议,并称这将像当年整合Mellanox一样,“用Groq的创新拓展英伟达架构”——他特别强调“我们期待下月在GTC上分享更多”。 这直接关联到我们开头强调的黄仁勋对Groq的暗示为何如此重要。具体而言,边缘推理是英伟达庞大产品组合中一个 glaring(显眼)的缺口。Groq交易填补了这一缺口。 如果黄仁勋的Mellanox类比成真,我们预期英伟达将把Groq呈现为平台扩展,这绝非其强大产品线的简单附加。 这就是英伟达如何将其优势与推理叙事保留在自身架构内——即使Groq交易在技术上是非独家的。 关键论坛要点 推理已从“隐藏宝石”变为下一个计算浪潮——英伟达-Groq交易加速了业界对这一转变的认可。

    21910编辑于 2026-04-02
  • 来自专栏芯智讯

    AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?

    芯片上没有分支目标缓冲区或缓存代理,”Groq 的首席架构师 Dennis Abts 解释道。Groq LPU芯片为了追求性能最大化,因此添加了更多SRAM内存和执行块。 也需要305张Groq LPU加速卡才够用。 如果考虑到内存消耗,可能需要572张Groq LPU加速卡。官方数据显示,Groq LPU的平均功耗为185W,即使不计算外围设备的功耗,572张Groq LPU加速卡的总功耗也高达105.8kW。 的性价比也是远高于Groq LPU。 当然,其缺点则在于SRAM的内存容量较小,要运行大模型,就需要更多的Groq LPU。那么,Groq LPU能否进一步提升其SRAM内存容量来弥补这一缺点呢?

    1.5K10编辑于 2024-02-26
  • 来自专栏量子位

    Groq新进展!谷歌TPU原班人马明年发布首款AI芯片

    原作 James Morra 1 编译 Root 量子位 出品 | 公众号 QbitAI 今年4月底,谷歌TPU核心团队的十个人里有8人离职创业,组建了新公司Groq。 近日Groq官网发布消息,打算在2018年发布第一代AI芯片产品。这款芯片对标英伟达的GPU,是专门为人工智能重新定制一款芯片。 ? 而谷歌最新一代的TPU才达到每秒180万亿次运算,Groq芯片的性能将会是谷歌TPU的两倍多。 ? 之前,Groq获得了风险投资家Chamath Palihapitiya上千万美元的启动资金。 芯片工程师团队在Groq面临的研发压力,不亚于在谷歌工作的时候。 不仅在和英伟达、谷歌的数据科学家抢赛道,Groq也在对标英特尔。英特尔上个月刚宣布,打算在年底发布一款专为训练神经网络设计的每秒运算55万亿次的定制处理器。

    88460发布于 2018-03-23
  • 来自专栏每周互选

    DeepSeek API入门及相关代理配置:Groq API与Deno代理的深度解析,助你快速上手!

    Groq API获取使用Groq提供的API来开启DeepSeek-R1-Distill-Llama-70B(一个较大参数蒸馏模型)的使用之旅。 进入Groq官网(https://groq.com/)我们继续点击 Dev Console 进入开发控制台,点击侧边栏中的 API Keys,然后点击 Create API Key 即可创建 API。 在将模型服务切换到 Groq 之后,继续点击 “API 密钥” 选项,然后输入刚刚获取的 API 密钥,这里可以通过点击页面右上角的相应选项来完成操作。 这里以Groq官网右上角显示的模型为准。如果在设置中没有找到所需的模型,您可以直接前往Groq官网,从官网中复制正确的模型名称。这个操作过程非常简单。 如果您身处中国大陆,可能会遇到 Groq 的 API 无法使用的情况,因为 Groq 需要一直保持代理环境。不过别担心,这里就给大家介绍另外一种方法来解决这个问题。

    3.5K20编辑于 2025-02-04
  • AI芯片厂商Groq完成7.5亿美元融资,投后估值69亿美元

    近日,人工智能(AI)推理芯片企业Groq宣布完成7.5亿美元新一轮融资,投后估值达69亿美元。 Disruptive已向Groq投资近3.5亿美元。 Groq 创始人兼CEO Jonathan Ross是谷歌TPU项目的核心研发人员。 虽然Groq的LPU并没有采用更本高昂的尖端制程工艺,而是选择了14nm制程,但是凭借自研的TSA 架构,Groq LPU 芯片具有高度的并行处理能力,可以同时处理数百万个数据流,并该芯片还集成了230MB 不仅如此,Groq当时还喊话各大公司,扬言在三年内超越英伟达。

    36010编辑于 2026-03-20
  • 来自专栏机器之心

    10倍英伟达GPU:大模型专用芯片一夜成名,来自谷歌TPU创业团队

    这是在 Groq 上运行 Llama 2 的速度: 来源:https://twitter.com/emollick/status/1759633391098732967 这是 Groq(Llama 2) 目前,Groq 的官网提供了试用体验,有这些模型可选: 官网地址:https://groq.com/ Groq 的处理器名为 LPU(语言处理单元),是一种新型的端到端处理单元系统,可以为具备序列组件的计算密集型应用 Groq 还在 LPU 上运行了最新锐的开源模型 Mixtral,模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案(其中四分之三的时间是用来搜索): Groq 放出的 Demo 视频下, Groq 的芯片设计允许将多个 TSP 连接在一起,不会出现 GPU 集群中的传统瓶颈,使其具有极高的可扩展性。 在去年的高性能计算会议 SC23 上,Groq 就展示过在 LPU 上运行 LLM 的全球最佳低延迟性能。

    39310编辑于 2024-02-26
  • 来自专栏新智元

    首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语

    Groq构架解密 Groq的芯片采用了一种无缓冲、完全确定性的超长指令字(VLIW)架构,芯片面积约为725平方毫米,采用Global Foundries的14纳米制程技术。 相比之下,Groq的芯片不需要外部存储器,因此原材料成本要低得多。 作为一家初创公司,Groq在生产芯片时面临的固定成本相对较高,这还包括支付给Marvell的高额定制ASIC服务费用。 没有计入Groq出售硬件时的利润,因此虽然看似是不同的比较基准,但实际上这是一个公平的比较,因为Groq和推理API供应商提供的是相同的产品/模型。 把这些组件的成本加在一起后可以发现,每台Groq LPU服务器的成本为3.5万美元,包括8个Groq LPU和所有上述的硬件。 与之相对,Groq的解决方案每百万Token的成本为1.94美元,比8个H100的配置更经济,也更高效。 和许多提供推理服务的公司一样,Groq目前的运营模式尚未实现盈利。

    42110编辑于 2024-02-26
  • 200亿美元“反向收购雇佣”?老黄天价应对谷歌TPU压力

    但仅在几小时后,英伟达和Groq双双澄清:并非收购。Groq官方博客写道:“我们与英伟达签订了一份非排他性技术许可协议。” 英伟达方面也明确表态:我们不是在收购Groq这家公司,我们只是获得技术授权,并将Groq的产品整合到未来的产品中。 交易真相Disruptive CEO透露,英伟达已同意以200亿美元现金收购Groq的资产,交易进展非常迅速。 根据协议,Groq创始人兼首席执行官Jonathan Ross、总裁Sunny Madra及其他高管将加入英伟达。 Groq当时刚刚完成7.5亿美元的融资,估值达到约69亿美元。投资方Disruptive的CEO透露,在被英伟达接洽时,Groq其实并没有出售的打算。公司今年的营收目标是5亿美元,正处于高速增长期。

    21410编辑于 2025-12-26
  • 来自专栏深度学习与python

    Groq CEO:它正在接近免费

    (图片来自网络) 此外,也有 Groq 前员工在 Hacker News 上表示 Groq 理论上的推理成本是不切合实际的。 2 Groq 背后的秘密:架构和编译器 那么,Groq 又是如何做到如此之快呢?据悉,Groq 能做到如此之快背后的秘诀是架构和编译器的创新。 目前,在 Groq 网站上,用户可以随意测试不同的聊天机器人,并查看它们在 Groq LPU 上的运行速度。 感兴趣的朋友可以点击尝试:https://groq.com/ 3 Groq 为何备受关注? 直到 2019 年 10 月,Groq 发布了一篇名为《世界,认识 Groq》的博客,向世界宣告了自己的存在。

    73110编辑于 2024-02-29
  • 零成本为 OpenClaw 装上“耳朵”与“嘴巴”,一步到位的语音交互指南

    二、配置 Groq STT(语音输入) 2.1 获取 Groq API Key 首先访问 Groq 官网(groq.com)注册账号。 Groq 提供每月 1000 万 token 的免费额度,对于个人使用完全足够。注册完成后,在 Dashboard 中创建 API Key 并复制备用。 2.3 配置 models.providers.groq 下一步是添加 Groq 的 API 配置信息,把 Groq 官网的申请的 API Key 填入下面 apiKey 的引号之中: 2.4 支持的音频格式 Groq Whisper 支持 MP3、MP4、MPEG、M4A、WAV、WEBM、OGG 等多种格式,兼容各平台语音消息。 八、最佳实践 隐私考虑:语音消息会经过第三方服务(Groq、微软),敏感信息建议用文字发送。 成本优化:Groq 免费额度通常够用,Edge TTS 完全免费无额度限制。

    3.2K20编辑于 2026-03-31
  • 来自专栏新智元

    比GPT-4快18倍,世界最快大模型Groq登场!每秒500 token破纪录,自研LPU是英伟达GPU 10倍

    世界最快的大模型Groq一夜之间爆火,能够每秒输出近500个token。如此神速的响应,背后全凭自研的LPU。 一觉醒来,每秒能输出500个token的Groq模型刷屏全网。 地址:https://groq.com/ 与此同时,Groq API也向开发者提供,完全兼容OpenAI API。 Groq模型之所以能够以惊人速度响应,是因为背后公司Groq(同名)开发了独特的硬件——LPU。 并非是,传统的GPU。 Groq首席执行官Jonathan Ross曾表示,「Groq的存在是为了消除「富人和穷人」,并帮助人工智能社区中的每个人发展。 不过,Groq背后的公司并非大模型时代后的新星。 它成立于2016年,并直接注册了Groq这一名字。 CEO兼联合创始人Jonathan Ross在创立Groq之前,曾是谷歌的员工。

    1.4K10编辑于 2024-02-26
  • AI性能暴增35倍!英伟达发布全新LPU,GPU不再是唯一主角!

    本文将深入解析Groq 3 LPU的技术细节、混合推理架构以及它对AI推理市场的深远影响。 他建议企业客户,若工作负载包含大量高价值的Token生成需求,应将25%的数据中心规模配置给Groq。据悉,由三星代工的Groq LP30芯片已进入量产,预计今年第三季度出货。 公司将256颗Groq 3 LPU集成到一个Groq 3 LPX机架中,提供128GB的片上SRAM和40 PB/s的推理加速带宽。 英伟达的策略是:让Rubin GPU负责预填充阶段,让Groq LPU负责解码阶段。 这意味着,未来你的聊天机器人查询或图像生成请求,可能正由Rubin GPU和Groq LPU协同处理。 四、小结:推理时代的新范式 Groq 3 LPU的发布,标志着英伟达对AI计算的理解进入新阶段。

    71710编辑于 2026-03-19
  • 来自专栏GPUS开发者

    英伟达200亿美元天价锁定Groq核心资产:LPU芯片为何让黄仁勋势在必得?

    2025年末,科技圈迎来一桩震动行业的重磅交易——芯片巨头英伟达宣布以200亿美元现金拿下AI初创公司Groq的核心资产,这一金额创下英伟达成立以来的收购纪录。 不同于常规的整体收购,英伟达此次重点锁定了Groq的核心AI推理技术知识产权与关键人才,而Groq的云服务业务则保留独立运营。让英伟达甘愿砸下重金的核心,正是Groq独创的LPU(语言处理单元)芯片。 黄仁勋在内部邮件中明确表示,将把Groq的低延迟处理器整合进英伟达AI工厂架构,覆盖更广泛的AI推理和实时工作负载。 消除潜在威胁,釜底抽薪阻断竞争对手 Groq曾被视为英伟达的“潜在颠覆者”。 随着AI企业对英伟达GPU的依赖加剧,越来越多的厂商在寻找替代方案,Groq的LPU凭借极致的推理速度,成为许多二线云厂商和AI软件公司的重要选择。如果任由Groq发展,可能会打破英伟达的算力垄断。

    66010编辑于 2026-01-05
  • 来自专栏程序小小事

    爆:GitHub Copilot支持包括Anthropic、Azure、Google Gemini、Groq、OpenAI 和 OpenRouter等供应商AP

    支持的提供商包括 Anthropic、Azure、Google Gemini、Groq、OpenAI 和 OpenRouter。

    88010编辑于 2025-09-12
领券