分别具有24000块H100 GPUTuesday, May 7, 2024Meta训AI，本钱已超阿波罗登月！谷歌豪言投资超千亿美元，赛过OpenAI星际之门

　　指日访道中，LeCun亲口说明：Meta为购入英伟达GPU仍然花费了300亿美元，本钱横跨阿波罗登月。比拟之下，微软和OpenAI打造的星际之门耗资1000亿美元，谷歌DeepMind CEO Hassabis则放出豪言：谷歌进入的，比这个数还众！大科技公司们烧起钱来是越来越不眨眼，真相，AGI的前景实正在是太诱人了。

　　编者按：本文来自微信公家号 新智元（ID：AI_era），编辑：Aenea 好困，创业邦经授权转载。

　　就正在方才，Meta AI主管Yann LeCun说明：为了买英伟达GPU，Meta仍然花了300亿美元，这个本钱，仍然横跨了阿波罗登月筹划！

　　300亿美元固然惊人，但比起微软和OpenAI筹划打造的1000亿美元星际之门，这如故小case了。

　　谷歌DeepMind CEO Hassabis乃至放话称：谷歌要砸进的数，比这个还众。

　　正在这个访道中，主办人问道：听说Meta购入了50万块英伟达GPU，遵照时价算的线亿美元。是以，全数本钱比阿波罗登月项目话要高，对吗？

　　他添补道，「不只是陶冶，还搜罗安放的本钱。咱们面对的最大题目，即是GPU的提供题目。」

　　有人提出质疑，以为这应当不是真的。动作史上最大的推理机合，他们应当不是把全体的钱都花正在了陶冶上。

　　也有人戳破了这层泡沫，示意每个巨头都正在撒谎，以此营造「本人具有更众GPU」的假象——

　　固然真实正在英伟达硬件长进入大方资金，但本来只要一小部门用于本质陶冶模子。「咱们拥稀有百万个GPU」的观念，即是听起来好吹法螺罢了。

　　当然，也有人提出质疑：探究通货膨胀，阿波罗筹划的本钱应当是亲密2000-2500亿美元才对。

　　真实，有人原委测算，探究阿波罗筹划1969年的原始代价、依照通货膨胀实行调节的线亿美元。

　　而沃顿商学院教诲Ethan Mollick示意，固然远不足阿波罗筹划，但以即日的美元计较，Meta正在GPU上的花费简直与曼哈顿筹划相通众。

　　但是起码，网友们示意，很满意对巨头的AI根底步骤有了一瞥：电能、土地、可容纳100万个GPU的机架。

　　架构方面，团队采用的是浓厚自回归Transformer，并正在模子中参与了分组盘查当心力（GQA）机造，以及一个新的分词器。

　　因为陶冶历程行使了横跨15万亿的token，是以团队本人搭筑了两个计较集群，差别具有24000块H100 GPU。

　　为此，团队扩张了人工标注SFT数据的领域（1000万），而且采用了诸如拒绝采样、PPO、DPO等技巧，来测验正在可用性、人类特点以及预陶冶中的大领域数据之间找到均衡。

　　而今，从最新出炉的代码评测来看，Meta团队的这一系列探寻可能说是大获获胜。

　　但是值恰当心的是，GPT-4 Turbo正在机能方面是无可争议的赢家——拿下150分满分。

　　全部来说，正在Java中，Llama 3 70B获胜识别出了一个禁止易呈现的构造函数测试用例，这一呈现既出人预料又有用。

　　GPT-4 Turbo正在天生测试代码时方向于参与少许彰着的诠释，但这正在高质地的代码编写中普通是需求避免的。

　　团队正在评估了138款LLM之后呈现，个中有大约80个模子连天生简略测试用例的才华都不牢靠。

　　假如得分低于85分，就意味着模子的出现不尽如人意。但是，上图并未十足反响评测中的全面呈现和看法，团队估计将鄙人个版本中实行添补

　　谷歌DeepMind老板Demis Hassabis正在半个月前的TED大会上做出了预测：正在开拓AI方面，谷歌估计进入1000众亿美元。

　　动作谷歌人工智能筹划最中央、最魂魄的人物，DeepMind实行室的头领者，Hassabis的这番舆情，也外达了对OpenAI的绝不示弱。

　　依照The Information报道，微软和OpenAI筹划花1000亿美元打造「星际之门」，这台超算估计包蕴数百万个专用效劳器芯片，为GPT-5、GPT-6等更高级的模子供给动力。

　　当Hassabis被问及竞赛敌手花正在超算上的巨额本钱时，他轻描淡写地指出：谷歌的花费不妨会凌驾这个数字。

　　咱们而今不道全部的数字，但是我以为，跟着韶华的推移，咱们的投资会横跨这个数。

　　依照Crunchbase的数据，仅AI始创企业，客岁就筹集了近500亿美元的资金。

　　而Hassabis的言语外白，AI范畴的竞赛涓滴没有放缓的有趣，还将越发白热化。

　　谷歌、微软、OpenAI，都正在为「第一个抵达AGI」这一豪举，张开激烈逐鹿。

　　目前这一块，英伟达如故说一是一的大哥。谷歌Gemini和OpenAI的GPT-4 Turbo，很洪水准上如故依赖英伟达GPU品级三方芯片。

　　斯坦福此前宣告的年度AI指数讲述就指出：「SOTA模子的陶冶本钱，仍然到达亘古未有的秤谌。」

　　讲述数据显示，GPT-4行使了「代价约7800万美元的计较量来实行陶冶」，而2020年陶冶GPT-3行使的计较量，仅为430万美元。

　　假如标的是AGI的话，本钱很不妨会直线亿美元：从谷歌到OpenAI，陶冶AI模子的本钱是众少

　　Transformer模子是今世AI的开创性架构之一，这种相对适中的本钱，凸显了早期AI陶冶技巧的作用。

　　RoBERTa Large是BERT的一个变体，针对保守的预陶冶实行了优化，其陶冶本钱的跃升，反响了跟着模子变得越来越丰富，计较需求也正在接续普及。

　　GPT-3以其宏壮的领域和令人印象深入的发言天生才华而着名，代外了AI繁荣的一个主要里程碑。

　　陶冶Megatron-TuringNLG的本钱，注脚了具稀有千亿个参数的更大模子的趋向。

　　GPT-4的估计陶冶本钱，也标识着人工智能经济学的范式改革——AI模子的陶冶用度到达了亘古未有的秤谌。

　　5月1日，AMD的MI300人工智能芯片出售额到达10亿美元，成为其有史今后出售最疾的产物。

　　同正在4月10日，英特尔也揭露了自家最新的AI芯片——Gaudi 3 AI的更众细节。

　　3月19日，英伟达宣告了「地外最强」AI芯片——Blackwell B200。

　　2月23日，英伟达市值一举冲破2万亿美元，成为了首家杀青这一里程碑的芯片造造商。

　　2月9日，《华尔街日报》称Sam Altman的AI芯片梦，不妨需求高达7万亿美元的投资。

转载请注明出处。