财联社8月25日讯（编辑赵昊）英伟达高管最新宣布 ，Groq 3 LPX机架已进入全面量产阶段 ，这标志着该公司史上最大规模收购案所获得的技术正式实现商业化 。
当地时间周一（8月24日），英伟达高级总监Dion Harris表示 ，Groq机架将与Vera中央处理器和Rubin图形处理器一同部署在新型云服务商Nebius的数据中心 ，并将于今年晚些时候上线 。
英伟达加速生产Groq芯片并向客户提供产品，凸显出低延迟推理的重要性日益提升。低延迟推理能够让AI智能体更快响应 ，避免用户长时间等待 ，在编程等应用中尤其重要 。
Harris说道，云服务商可以针对这类token（词元）收取更高费用 ，“对于那些提供token服务的企业而言 ，这让他们能够为那些对延迟极其敏感的用户和客户提供高级服务套餐 。 ”
去年12月，英伟达与Groq达成200亿美元交易，获得了Groq的芯片技术授权 ，多位核心员工也加入了英伟达 ，创始人Jonathan Ross更是担任了英伟达首席软件架构师。
今年3月，英伟达发布了为Vera Rubin平台研发的推理加速器Groq 3 LPX 。Groq架构在芯片裸片上集成了500兆字节的高速静态随机存储器（SRAM） ，以减少与内存相关的瓶颈 。
据了解 ，Groq芯片由三星制造，而英伟达的GPU则由台积电生产。每一个LPX机架可整合256颗Groq 3 ，英伟达援引Artificial Analysis的基准测试称 ，整合后的机架每秒可处理3400个token 。
当下， 这一领域竞争激烈 。AMD今年早些时候宣布 ，将把其机架级系统与Cerebras的芯片进行整合。Cerebras近期刚刚上市 ，业务重点同样是低延迟推理。
近期，OpenAI推出的“Ultrafast ”模式承诺每秒可处理750个token ，由Cerebras提供支持 。
需要指出的是 ，低延迟芯片并不能取代作为AI芯片主力的GPU 。GPU既能够执行训练，也能够进行推理，同时具备足够的灵活性 ，可以适应新技术和新模型。
Groq这类低延迟芯片则主要专注于模型服务中的一个环节 ，即“解码”（decode）阶段 。Harris也提到：“这并不是要取代GPU，而是要针对工作负载的不同环节 ，使用费用 合适 、处理能力合适的处理器 。 ”
英伟达近来 正在加快Vera Rubin系统的出货速度。黄仁勋先前曾预计 ，到2027年，当前一代Blackwell芯片和新一代Vera Rubin系统的累计销售额将达到1万亿美元 。
黄仁勋当时表示 ，他计划将面向编程应用的数据中心空间中约四分之一分配给Groq芯片 。“我的数据中心其余部分将100%采用Vera Rubin。 ”
（文章来源：财联社）
本文来自作者[北极]投稿，不代表成都团团转立场，如若转载，请注明出处：https://news.cdttzh.com/tuantuan/7449.html
评论列表（4条）
我是成都团团转的签约作者“北极”！
希望本篇文章《英伟达高管称Groq机架已全面量产 AI推理“低延迟”大战升温》能对你有所帮助！
本站[成都团团转]内容主要涵盖：成都团团转，温柔资讯，日常随想，生活片段，城市记录，慢节奏，小温暖，街边故事，时节感悟，轻阅读，安静陪伴，好物分享，点滴美好
本文概览： 财联社8月25日讯（编辑赵昊）英伟达高管最新宣布，Groq3LPX机架已进入全面量产阶段 ，这标志着该公司史上...