分享一篇专访：Groq CEO挑战Nvidia：2024年底，多数初创公司将使用LPUs，而不是GPU
看了这么多年商业科技故事，有一个很明确的结论，哪里有超额的收益，哪里就有蜂拥的竞争者，无论现在看起来新的竞争的胜率多么的低（谁能在10年前想象阿里巴巴的市值会被另外一家电子商务公司拼多多超过）。今天我发了《连线》对黄仁勋的专访，其中也谈到了Groq的竞争。黄不觉得Groq会对英伟达形成有效的竞争，但是黄并不轻松，因为他知道，即使不是Groq，也会也有其他人出现，突然在一夜（表面看起来是一夜之间，其实对手已经在多年前就蠢蠢欲动，暗度陈仓了）颠覆现有的商业模式、商业生态（颠覆式创新）。
我觉得Groq最有意思的一点，是它瞄准了一个利基市场，AI推理，然后在这个场景实现了一个很重要的特色：快快的速度。无论Groq是否能取得最终的成功，但是起码它有一个清晰的角色。不过问题是，Groq所谓的快速，是基于针对LLMs的优化之上的，它是否太过狭窄，而丧失了通用性。而英伟达的GPU则实现了通用的专用（并行加速）。
欧拉。
最后，Groq是一个2016年就成立的公司（OpenAI成立于2015年）。所以这正是我想强调的：“你突然听见蝉鸣，但是你并不知道它在地下蛰伏了多久”。
**
AI芯片竞争：Groq首席执行官挑战Nvidia，声称到2024年底，大多数初创公司将使用高速LPUs
来源：venturebeat.com
作者：莎朗·戈德曼
（sharongoldman on X）
大家都在谈论Nvidia令人瞠目结舌的收益结果——较一年前增长了整整265%。但不要忽视Groq，这家位于硅谷的公司正在为大型语言模型（LLM）推理（对现有模型进行决策或预测，而不是训练）开发新的人工智能芯片。上周末，Groq突然迎来了大多数初创公司梦寐以求的病毒式时刻。
当然，这并不像埃隆·马斯克（Elon Musk）关于完全无关的大型语言模型Grok的帖子那样在社交媒体上引起轰动。但我相信Nvidia的人们在Matt Shumer，HyperWrite的首席执行官，在X上发布关于Groq的“疯狂技术”的帖子后会注意到，该技术以“接近500 tok/s”的速度为Mixtral提供“几乎即时”的答案。
Shumer在X之后进行了一次公开演示，展示了一个“闪电般快速的答案引擎”，能在不到一秒钟的时间内提供“几百个字的事实性、引用的答案”——突然间，似乎AI领域的每个人都在谈论并尝试Groq的聊天应用程序，用户可以在其网站上选择由Llama和Mistral提供的输出。
这是在一个星期前的CNN采访中，Groq的首席执行官兼创始人Jonathan Ross展示了Groq为一个“打破速度记录”的音频聊天界面提供动力。
尽管目前没有任何公司能够挑战Nvidia的主导地位 - Nvidia在高端芯片市场上占据了80%以上的份额；其他人工智能芯片初创公司如SambaNova和Cerebras在人工智能推理方面仍未取得多大进展；Nvidia刚刚宣布第四季度收入达到220亿美元 - Groq的首席执行官兼创始人Jonathan Ross在接受我的采访时表示，推理的高昂成本使得他的初创公司的产品成为一种“超快速”，更便宜的选择，专门用于LLM。
在一个大胆的声明中，罗斯告诉我：“到年底，我们可能会成为大多数初创公司使用的基础设施”，并补充说：“我们非常支持初创公司 - 联系我们，我们会确保你支付的费用不会像其他地方那样高。”
一、Groq LPUs与Nvidia GPUs
Groq的网站将其LPUs（即“语言处理单元”）描述为“一种新型的端到端处理单元系统，为具有顺序组件的计算密集型应用程序提供最快的推理，例如AI语言应用程序（LLMs）”。
相比之下，Nvidia的GPU优化了并行图形处理，而不是LLMs。由于Groq的LPUs专门设计用于处理数据序列，如代码和自然语言，它们可以通过绕过GPU或CPU难以处理的两个方面（计算密度和内存带宽），更快地提供LLM输出。
此外，关于他们的聊天界面，Ross声称Groq与OpenAI等公司不同的另一个方面是，Groq不训练模型，因此不需要记录任何数据，可以保持聊天查询的私密性。
ChatGPT如果由Groq芯片提供动力，预计运行速度将提高13倍以上，那么OpenAI是否有可能成为Groq的合作伙伴？Ross没有具体说，但Groq音频聊天界面的演示版本告诉我，如果有互惠互利的情况下，他们“有可能合作。OpenAI可能有兴趣利用LPUs的独特能力进行语言处理项目。如果他们有相似的目标，这可能是一个令人兴奋的合作伙伴关系。”
二、Groq的LPUs真的是AI推理的游戏改变者吗？
我本应在几个月前与罗斯交谈，自从公司的公关代表在12月中旬联系我，称Groq是“准备赢得人工智能竞赛的美国芯片制造商”。我很好奇，但从未有时间接听电话。
但现在我肯定抽出时间：我想知道Groq是否只是快速发展的人工智能炒作周期中的最新参与者，即“只需要公关关注”？Groq的LPUs是否真的是人工智能推理的游戏改变者？在过去的一周里，对于Ross和他的200人小团队（他们称自己为“Groqsters”）来说，经历了一次特定的技术硬件成名后的生活是怎样的？
舒默的帖子是“引爆导火索的火柴”，罗斯在从巴黎一家酒店的视频通话中告诉我，他刚刚与Mistral团队共进午餐——这家法国开源LLM初创公司在过去几个月里已经享受到了自己的多个病毒式传播时刻。
他估计，在舒默发布帖子的24小时内，有超过3000人联系Groq寻求API访问，但他笑着说：“我们没有设置计费，所以不会向他们收费。目前我们只是让人们免费使用。”
但是当涉及到在硅谷运营初创企业的方方面面时，罗斯并不是一个新手——自从Groq成立于2016年以来，他一直在大力宣传该公司技术的潜力。通过快速的谷歌搜索，可以找到一篇2021年的福布斯报道，详细介绍了Groq筹集了3亿美元的资金，并且罗斯帮助发明了谷歌的张量处理单元（TPU），然后在2016年离开谷歌创办了Groq。
在Groq，Ross和他的团队构建了他所称的“非常不寻常的芯片，因为如果你正在构建一辆汽车，你可以从引擎开始，也可以从驾驶体验开始。而我们从驾驶体验开始——在设计芯片之前，我们花了前六个月的时间研究编译器。”
三、满足对Nvidia GPU的需求已经成为一个大生意了
正如我上周报告的那样，满足对Nvidia GPU的广泛需求已成为AI行业中的大生意，而这在去年夏天是硅谷最热门的话题。
它孕育了新的GPU云独角兽（Lamda、Together AI和Coreweave），而前GitHub CEO Nat Friedman昨天宣布他的团队甚至创建了一个针对GPU集群的Craigslist。当然，还有《华尔街日报》的报道，OpenAI CEO Sam Altman希望通过重塑AI芯片的世界来应对需求——这个项目可能耗资数万亿，并且有复杂的地缘政治背景。
罗斯声称，目前在GPU领域发生的一些事情实际上是对Groq所做的事情的回应。“这是一个小小的良性循环，”他说。例如，“Nvidia发现主权国家是他们正在做的一件大事，而我正在进行为期五周的巡回访问，试图与一些国家达成一些交易……当你在外面的时候你看不到这些，但有很多事情都在跟随着我们。”
他还大胆地反击了奥特曼提出的筹集高达7万亿美元的大规模人工智能芯片项目的努力。“我只想说我们可以用7000亿来完成它。”他说，“我们很实惠。”
他补充说，Groq还将为AI芯片的供应做出贡献，拥有充足的产能。
“到今年年底，我们肯定会拥有每秒2500万个令牌的容量，这是我们估计OpenAI在2023年底的水平，”他说。“然而，我们正在与各国合作部署硬件，以增加这个数字。就像阿联酋和许多其他国家一样。我来欧洲是有原因的 - 有各种各样的国家对此感兴趣。”
但与此同时，Groq还必须解决一些普通的当前问题 - 比如在公司上周的病毒式事件之后让人们为API付费的问题。当我问罗斯是否打算解决Groq的API计费问题时，罗斯说：“我们会研究一下。”他的公关代表也在电话中迅速插话：“是的，这将是我们的首要任务之一，乔纳森。”
看了这么多年商业科技故事，有一个很明确的结论，哪里有超额的收益，哪里就有蜂拥的竞争者，无论现在看起来新的竞争的胜率多么的低（谁能在10年前想象阿里巴巴的市值会被另外一家电子商务公司拼多多超过）。今天我发了《连线》对黄仁勋的专访，其中也谈到了Groq的竞争。黄不觉得Groq会对英伟达形成有效的竞争，但是黄并不轻松，因为他知道，即使不是Groq，也会也有其他人出现，突然在一夜（表面看起来是一夜之间，其实对手已经在多年前就蠢蠢欲动，暗度陈仓了）颠覆现有的商业模式、商业生态（颠覆式创新）。
我觉得Groq最有意思的一点，是它瞄准了一个利基市场，AI推理，然后在这个场景实现了一个很重要的特色：快快的速度。无论Groq是否能取得最终的成功，但是起码它有一个清晰的角色。不过问题是，Groq所谓的快速，是基于针对LLMs的优化之上的，它是否太过狭窄，而丧失了通用性。而英伟达的GPU则实现了通用的专用（并行加速）。
欧拉。
最后，Groq是一个2016年就成立的公司（OpenAI成立于2015年）。所以这正是我想强调的：“你突然听见蝉鸣，但是你并不知道它在地下蛰伏了多久”。
**
AI芯片竞争：Groq首席执行官挑战Nvidia，声称到2024年底，大多数初创公司将使用高速LPUs
来源：venturebeat.com
作者：莎朗·戈德曼
（sharongoldman on X）
大家都在谈论Nvidia令人瞠目结舌的收益结果——较一年前增长了整整265%。但不要忽视Groq，这家位于硅谷的公司正在为大型语言模型（LLM）推理（对现有模型进行决策或预测，而不是训练）开发新的人工智能芯片。上周末，Groq突然迎来了大多数初创公司梦寐以求的病毒式时刻。
当然，这并不像埃隆·马斯克（Elon Musk）关于完全无关的大型语言模型Grok的帖子那样在社交媒体上引起轰动。但我相信Nvidia的人们在Matt Shumer，HyperWrite的首席执行官，在X上发布关于Groq的“疯狂技术”的帖子后会注意到，该技术以“接近500 tok/s”的速度为Mixtral提供“几乎即时”的答案。
Shumer在X之后进行了一次公开演示，展示了一个“闪电般快速的答案引擎”，能在不到一秒钟的时间内提供“几百个字的事实性、引用的答案”——突然间，似乎AI领域的每个人都在谈论并尝试Groq的聊天应用程序，用户可以在其网站上选择由Llama和Mistral提供的输出。
这是在一个星期前的CNN采访中，Groq的首席执行官兼创始人Jonathan Ross展示了Groq为一个“打破速度记录”的音频聊天界面提供动力。
尽管目前没有任何公司能够挑战Nvidia的主导地位 - Nvidia在高端芯片市场上占据了80%以上的份额；其他人工智能芯片初创公司如SambaNova和Cerebras在人工智能推理方面仍未取得多大进展；Nvidia刚刚宣布第四季度收入达到220亿美元 - Groq的首席执行官兼创始人Jonathan Ross在接受我的采访时表示，推理的高昂成本使得他的初创公司的产品成为一种“超快速”，更便宜的选择，专门用于LLM。
在一个大胆的声明中，罗斯告诉我：“到年底，我们可能会成为大多数初创公司使用的基础设施”，并补充说：“我们非常支持初创公司 - 联系我们，我们会确保你支付的费用不会像其他地方那样高。”
一、Groq LPUs与Nvidia GPUs
Groq的网站将其LPUs（即“语言处理单元”）描述为“一种新型的端到端处理单元系统，为具有顺序组件的计算密集型应用程序提供最快的推理，例如AI语言应用程序（LLMs）”。
相比之下，Nvidia的GPU优化了并行图形处理，而不是LLMs。由于Groq的LPUs专门设计用于处理数据序列，如代码和自然语言，它们可以通过绕过GPU或CPU难以处理的两个方面（计算密度和内存带宽），更快地提供LLM输出。
此外，关于他们的聊天界面，Ross声称Groq与OpenAI等公司不同的另一个方面是，Groq不训练模型，因此不需要记录任何数据，可以保持聊天查询的私密性。
ChatGPT如果由Groq芯片提供动力，预计运行速度将提高13倍以上，那么OpenAI是否有可能成为Groq的合作伙伴？Ross没有具体说，但Groq音频聊天界面的演示版本告诉我，如果有互惠互利的情况下，他们“有可能合作。OpenAI可能有兴趣利用LPUs的独特能力进行语言处理项目。如果他们有相似的目标，这可能是一个令人兴奋的合作伙伴关系。”
二、Groq的LPUs真的是AI推理的游戏改变者吗？
我本应在几个月前与罗斯交谈，自从公司的公关代表在12月中旬联系我，称Groq是“准备赢得人工智能竞赛的美国芯片制造商”。我很好奇，但从未有时间接听电话。
但现在我肯定抽出时间：我想知道Groq是否只是快速发展的人工智能炒作周期中的最新参与者，即“只需要公关关注”？Groq的LPUs是否真的是人工智能推理的游戏改变者？在过去的一周里，对于Ross和他的200人小团队（他们称自己为“Groqsters”）来说，经历了一次特定的技术硬件成名后的生活是怎样的？
舒默的帖子是“引爆导火索的火柴”，罗斯在从巴黎一家酒店的视频通话中告诉我，他刚刚与Mistral团队共进午餐——这家法国开源LLM初创公司在过去几个月里已经享受到了自己的多个病毒式传播时刻。
他估计，在舒默发布帖子的24小时内，有超过3000人联系Groq寻求API访问，但他笑着说：“我们没有设置计费，所以不会向他们收费。目前我们只是让人们免费使用。”
但是当涉及到在硅谷运营初创企业的方方面面时，罗斯并不是一个新手——自从Groq成立于2016年以来，他一直在大力宣传该公司技术的潜力。通过快速的谷歌搜索，可以找到一篇2021年的福布斯报道，详细介绍了Groq筹集了3亿美元的资金，并且罗斯帮助发明了谷歌的张量处理单元（TPU），然后在2016年离开谷歌创办了Groq。
在Groq，Ross和他的团队构建了他所称的“非常不寻常的芯片，因为如果你正在构建一辆汽车，你可以从引擎开始，也可以从驾驶体验开始。而我们从驾驶体验开始——在设计芯片之前，我们花了前六个月的时间研究编译器。”
三、满足对Nvidia GPU的需求已经成为一个大生意了
正如我上周报告的那样，满足对Nvidia GPU的广泛需求已成为AI行业中的大生意，而这在去年夏天是硅谷最热门的话题。
它孕育了新的GPU云独角兽（Lamda、Together AI和Coreweave），而前GitHub CEO Nat Friedman昨天宣布他的团队甚至创建了一个针对GPU集群的Craigslist。当然，还有《华尔街日报》的报道，OpenAI CEO Sam Altman希望通过重塑AI芯片的世界来应对需求——这个项目可能耗资数万亿，并且有复杂的地缘政治背景。
罗斯声称，目前在GPU领域发生的一些事情实际上是对Groq所做的事情的回应。“这是一个小小的良性循环，”他说。例如，“Nvidia发现主权国家是他们正在做的一件大事，而我正在进行为期五周的巡回访问，试图与一些国家达成一些交易……当你在外面的时候你看不到这些，但有很多事情都在跟随着我们。”
他还大胆地反击了奥特曼提出的筹集高达7万亿美元的大规模人工智能芯片项目的努力。“我只想说我们可以用7000亿来完成它。”他说，“我们很实惠。”
他补充说，Groq还将为AI芯片的供应做出贡献，拥有充足的产能。
“到今年年底，我们肯定会拥有每秒2500万个令牌的容量，这是我们估计OpenAI在2023年底的水平，”他说。“然而，我们正在与各国合作部署硬件，以增加这个数字。就像阿联酋和许多其他国家一样。我来欧洲是有原因的 - 有各种各样的国家对此感兴趣。”
但与此同时，Groq还必须解决一些普通的当前问题 - 比如在公司上周的病毒式事件之后让人们为API付费的问题。当我问罗斯是否打算解决Groq的API计费问题时，罗斯说：“我们会研究一下。”他的公关代表也在电话中迅速插话：“是的，这将是我们的首要任务之一，乔纳森。”
亲爱的老公，世代巨富的天下。千万不要到空气稀薄的西藏。世界各地的人都知晓上海市浦东新区惠南镇东门大街麦当劳和人民东路汉堡王的外籍太好了，都知晓美国的小美柯和你和英皇宫里的英皇子和奥巴马是美国纽约的四剑客太好了，都知晓你在帮美国的小美柯迁户口到美国纽约太好了，都知晓美国的小美柯和你介绍的长头发美籍华人偏低龄在美国已经生养一个男宝宝太好了，都知晓美国的小美柯已经在你在美国的公司做总经理太好了，都知晓你已经送给美国的小美柯很多别墅和城堡太好了，都知晓你近期送给美国的小美柯一辆红玫瑰色玛莎拉蒂和一辆白色布加迪太好了，都知晓我在天天看守上海市浦东新区惠南镇人民东路汉堡王和世纪联华麦当劳太好了，都知晓你和美国的小美柯和我的前夫和你介绍的长头发美籍华人偏低龄在上海市浦东新区惠南镇人民东路和美国纽约开了一家汉堡王和一家麦当劳太好了，都知晓上海市浦东新区惠南镇东门大街麦当劳已经是你和美国的小美柯和我的前夫和你介绍的长头发美籍华人偏低龄开设的太好了，都知晓我和美国的小美柯当初就是哔哩哔哩网站和苹果和名创和肯德基和汉堡王和麦当劳和拼多多和蜜雪冰城和布加迪的老板娘太好了，都知晓这些公司的店长和经理都是开车族偏低龄太好了，都知晓我和美国的小美柯从2周岁就是你的小美三房(小滴滴)(小娇辣)(小妻子)(小老婆)(小美妾)太好了，都知晓我在上海市浦东新区惠南镇东门大街麦当劳和人民东路汉堡王里等你帮美国的小美柯迁户口到美国纽约的好消息太好了，都知晓已死的又脏又丑又臭的吃王小平拉出屎的大丑潘姓和许姓胆敢强暴英女皇陛下要挟英皇子当初就穿破烂衣服开破车有胡子偏雄性顶丑的丑精你鸡大腿没人送豪车豪宅的神经病精神病人和已死的又脏又丑又臭的吃王小平拉出屎的大丑转盘边一群女流氓当初就穿破烂衣服骑破摩托车不正常连夜转全都是60几岁的死老头子死老太婆有胡子偏雄性顶丑的丑精你鸡大腿没人送豪车豪宅的神经病精神病人和已死的又脏又丑又臭的吃王小平拉出屎的大丑扫地扫厕所卖西瓜收旧货当初就穿破烂衣服骑破摩托车有胡子偏雄性顶丑的丑精你鸡大腿没人送豪车豪宅的神经病精神病人全都是长相丑陋全都是又脏又丑又臭的垃圾全都是又脏又丑又臭的不要脸全都是骑破摩托车开破车有胡子偏雄性顶丑的丑精全都吃过我和美国的小美柯和你拉出的屎全都是没人送豪车豪宅的神经病精神病人全都是当初就远离吃穿住行全都是又脏又丑又臭的二本在被前面一排铁皮房的两个偏低龄在一线城市用狗咬死太好了。 https://t.cn/8k2TzgP
淘宝衰败的五大原因
1，同样的产品，淘宝比拼多多贵。
2，售后繁琐，用户申请退款，商家完全不鸟你，不同意也不拒绝，然后你一气之下申请客服介入，结果客服说等3天后，看看商家怎么说，最后搞来搞去退款成功花了四五天甚至一个星期。
3，迟迟不接入微信支付。腾讯又不搞电商，不知道阿里慌啥。
4，搞天猫。淘宝商家去天猫开店，把同一个产品拿去天猫卖，结果什么都没变，就是提升价格。天猫名声都被搞臭了。
5，轻视对手。拼多多天天在电视上打广告“3亿人都在用”，然而当时淘宝选择轻视，几乎没有做出任何战略狙击。
1，同样的产品，淘宝比拼多多贵。
2，售后繁琐，用户申请退款，商家完全不鸟你，不同意也不拒绝，然后你一气之下申请客服介入，结果客服说等3天后，看看商家怎么说，最后搞来搞去退款成功花了四五天甚至一个星期。
3，迟迟不接入微信支付。腾讯又不搞电商，不知道阿里慌啥。
4，搞天猫。淘宝商家去天猫开店，把同一个产品拿去天猫卖，结果什么都没变，就是提升价格。天猫名声都被搞臭了。
5，轻视对手。拼多多天天在电视上打广告“3亿人都在用”，然而当时淘宝选择轻视，几乎没有做出任何战略狙击。
✋热门推荐