27亿美元天价回归！谷歌最贵“叛徒”、Transformer作者揭秘AGI下一步

　　【新智元导读】在AI热潮中，大模型最「渴求」的究竟是什么？是算力、是存储，还是复杂的网络互联？在Hot Chips 2025 上，Transformer发明者之一、谷歌Gemini联合负责人Noam Shazeer给出了答案。

　　在硅谷举行的科技盛会Hot Chips 2025首日的主题演讲上，谷歌DeepMind的Noam Shazeer回答了这一问题，发表了题为《下一阶段AI的预测》的主题演讲。

　　除了是Transformer论文《Attention Is All You Need》的作者之一，他还推动了许多技术创新，例如显著提升谷歌搜索中的拼写校正功能。

　　早在2017年，他就发明了Transformer模型，至今已深耕LLM领域十年。

　　后来，他开发了一款聊天机器人，但谷歌拒绝发布这项成果，这也促使他选择离职，创办了Character.AI。

　　不久之后，谷歌意识到自身短板，最终以27亿美元的高价与Character.AI达成合作。

　　正如他所展示的，大语言模型可以借助硬件等各方面资源的提升，不断改善性能与准确性。

　　Noam Shazeer主要分享了LLM的需求、个人的LLM研究之路以及硬件与LLM的关系。

　　这非常重要，因为随着参数的增加、深度的增加、非线性以及信息流的增加，LLM的规模也随之增加。

　　他还谈到了2015年时，在32个GPU上训练是一件大事；但十年后，可能需要数十万个GPU。

　　这是一件大事，因为在此之前，谷歌工程师通常在一千个CPU上运行工作负载。但随后它们会变慢，另作他用，比如爬取网络。

　　拥有专门用于深度学习/ AI工作负载的大型机器，使得性能有了巨大的提升。

　　更多的计算能力、内存容量、内存带宽和更多的网络带宽，对于推动未来AI模型的进步都至关重要。

　　在「所有层级」上，这不仅仅是DDR5的容量和带宽，还包括HBM和芯片上的SRAM。

　　Noam是典型的「反向跨界者」：作为AI研究者，他对硬件充满好奇，总想知道这些机器如何运作。

　　在Mesh-TensorFlow项目中，他对TPU的底层网络结构产生了极大兴趣。

　　在这次演讲中，Noam Shazeer深入剖析了LLM到底需要什么硬件。

　　算力越多越好，最好是数以千万亿次的浮点运算能力（petaflops）。它直接决定你能训练多大的模型，用多大的batch，覆盖多少训练数据。

　　Noam指出，内存带宽如果不足，会限制模型结构的灵活性，比如不能轻易加非线性层。而更高的带宽=更细粒度的控制。

　　内存包括：片上存储（on-chip SRAM）、高带宽内存（HBM）、显存或DRAM等其他中高速缓存

　　因为无论是训练还是推理，LLM几乎一定会：模型被分到多个芯片，数据在它们之间来回传递。

　　举个例子，大家现在都在追求「长思维链」（long chain of thought），也就是说模型要花更长的时间「思考」才能得出更强的答案。

　　因此，低精度换算力完全合理，能用8-bit、甚至4-bit来换更多FLOPs，值得如此做。

　　行业确实在尝试越来越低的精度格式（FP8、INT4、二进制等）——只要能保持收敛，越低越好。

　　很多时候你都不知道，某个结果失败，是因为模型结构不对，数据有问题，还是你代码里有bug。

　　他回忆早期在Google Brain做异步训练的时候，经常出现「这次跑通了，下次又崩了」的情况，工程体验极差。

　　Waymo工程师提出的一个刁钻问题：如果今天起硬件就不再进步，我们还能搞出通用人工智能（AGI）吗？

　　他指出，AI会加速自身发展，推动软件、系统设计持续进化，即使硬件原地不动，我们也能靠软件层面的革新继续进步。

　　他指出，当前的LLM（大语言模型）还只是「单步预测引擎」，尚处于AI发展的早期阶段。

　　但随着持久记忆和长期预测能力的加入，LLM将有望发展为具备完整规划能力的「行动型AI」：

　　Suleyman用「breathtaking」（惊艳）来形容这一未来，并强调，我们还只是刚刚起步，一切都将很快发生深刻变化。

　　时间回到2010年，智能手机才刚刚普及、应用商店尚在萌芽，AI更像是科幻小说的陈词滥调，而非严肃的科学课题，即使是顶尖学者也对此不屑一顾。

　　因此，在AI这项「有史以来最强大的通用技术」面前，从价值观出发，将人类福祉置于首位，不是一句空洞的口号，而是一个必须时刻坚守的起点。

　　今天许多白领从事的「认知上的体力劳动」，如数据录入、邮件处理等，将被AI高效替代。

　　他直言，这些恐惧「非常真实」，并强调政府必须强力介入，通过税收等再分配机制来缓冲这一社会巨变。

　　在此基础上，他提出了自己著作《即将到来的浪潮》中的核心概念——「遏制困境」（The Containment Problem）。

　　他指出，技术的趋势是让权力被小型化、集中化，并以极低的成本普及给每个人。

　　当AI成为一个可以代表你打电话、写代码、执行计划的智能体时，每个人执行自己想法的成本和时间都将趋近于零。

　　「摩擦对于维持和平与稳定很重要，」Suleyman一针见血地指出。当执行一件事情的阻力（摩擦）消失时，混乱就可能接踵而至。

　　一旦一个AI同时具备以下能力，它将成为一个需要「军事级别干预」才能阻止的系统：

　　但真正的挑战在于，我们如何识别那个时刻的到来，以及如何集体做出关停的决定。

　　他引用瑞典的理念——「我们不关心工作岗位，我们关心工人」，并将其推向极致。

　　他认为，社会的任务不应是为人们创造「饭碗」，而是创造一个和平、支持性的环境，让人们找到自己的激情，过上充实的生活。

　　他相信，如果技术应用得当，产生的巨大价值足以让社会资助人们去追求这些真正有意义的事情。

　　这将释放巨大的创造力，但也会带来深刻的存在主义问题：「我是谁？我为什么在这里？」

　　原标题：《27亿美元天价回归！谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。