OpenAI与微软的超级计算机合作标志着其在AGI上的最大赌注

大约一年前，微软宣布将向OpenAI投资10亿美元，以共同开发用于Microsoft Azure云平台的新技术，并“进一步扩展”大规模AI功能，以“兑现人工智能”的承诺。作为交换，OpenAI同意将其部分知识产权许可给Microsoft，然后该公司将其商业化并出售给合作伙伴，并在OpenAI致力于开发下一代计算硬件时在Azure上训练和运行AI模型。

今天，在微软的Build 2020开发者大会上，合作伙伴关系的第一个成果以一台新型超级计算机的形式得以展示，微软称该超级计算机是与Azure上的OpenAI合作(且专门为OpenAI打造)而构建的。微软声称，与TOP 500相比，它是世界上功能最强大的第五台计算机，该项目对500台性能最佳的超级计算机进行了基准测试和详细介绍。根据最新的排名，它在中国国家超级计算机中心的天河2A后面，在德克萨斯高级计算机中心的Frontera前面，这意味着它在峰值时每秒可以执行38.7到100.7个万亿浮点运算(即petaflops)。 。

OpenAI很久以来就断言，巨大的计算能力是迈向AGI或AI的必经之路，AGI可以学习人类可以完成的任何任务。虽然像Mila创始人Yoshua Bengio和Facebook副总裁兼首席AI科学家Yann LeCun这样的名人认为AGI不存在，但OpenAI的联合创始人和支持者–其中包括Greg Brockman，首席科学家Ilya Sutskever，Elon Musk，Reid Hoffman和前Y Combinator总裁萨姆·奥特曼(Sam Altman)-相信功能强大的计算机结合强化学习和其他技术可以实现范式转移的AI进步。超级计算机的发布代表了OpenAI在该愿景上的最大赌注。

大型模型的好处

新的由Azure托管，由OpenAI共同设计的计算机包含超过285,000个处理器核心，10,000个图形卡以及每个图形卡服务器每秒400吉比特的连接能力。它旨在训练单一的大规模AI模型，这些模型是从自出版的书籍，说明手册，历史课程，人力资源指南以及其他可公开获得的资源中提取数十亿页文本而学习的模型。示例包括来自Nvidia的自然语言处理(NLP)模型，该模型包含83亿个参数，或者模型内部的可配置变量，其值用于进行预测;微软的图灵NLG(170亿个参数)，可以在许多语言基准上获得最新的结果;Facebook最近开放源代码的Blenderchatbot框架(94亿个参数);以及OpenAI自己的GPT-2模型(15亿个参数)，在短提示下，该模型会产生令人印象深刻的类人文字。

“随着我们越来越了解我们需要什么以及组成超级计算机的所有组件的不同限制，我们真的可以说，'如果我们可以设计我们的梦想系统，它会是什么样?” OpenAI首席执行官Sam Altman在一份声明中说。“然后，Microsoft得以构建它。我们看到，大规模系统是训练更强大模型的重要组成部分。”

研究表明，这些大型模型之所以表现出色，是因为它们可以深度吸收语言，语法，知识，概念和上下文的细微差别，使它们能够总结演讲，在实时游戏聊天中进行适度的内容，解析复杂的法律文档，甚至可以从中生成代码搜寻GitHub。微软已经使用了图灵模型(不久将以开源形式提供)，以增强Bing，Office，Dynamics及其其他生产力产品之间的语言理解。微软称，在必应中，这些模型在某些市场上将字幕生成和问题回答的速度提高了125%。在Office中，它们表面上推动了Word的“智能查找”和“关键见解”工具的发展。Outlook将它们用于“建议的答复”，该建议的答复会自动生成对电子邮件的可能答复。并且在Dynamics 365 Sales Insights中，他们根据与客户的互动向卖方建议采取的行动。

从技术角度来看，大型模型具有自我监督的优势，优于大型模型，这意味着它们可以通过暴露数据各部分之间的关​​系来从数据生成标签，这一步骤被认为对实现人类智能至关重要。这与监督学习算法相反，后者在人工标记的数据集上进行训练，并且可能难以针对特定于行业，公司或感兴趣主题的任务进行微调。

微软首席技术官凯文·斯科特(Kevin Scott)在一份声明中说：“这些模型令人兴奋的是，它们已经启用了[d]。”“这是关于能够一次在自然语言处理中完成一百项令人兴奋的事情，以及在计算机视觉中完成一百项令人兴奋的事情，当您开始看到这些感知领域的组合时，您将拥有很难的新应用程序甚至现在就可以想象。”

大规模人工智能

图灵家族中的模型与AGI相去甚远，但微软表示，它正在使用超级计算机来探索大型模型，这些模型可以跨文本，图像和视频数据进行通用学习。OpenAI也是如此。正如《麻省理工科技评论》今年早些时候报道的那样，OpenAI内的一个名为Foresight的团队进行了实验，以通过训练越来越多的数据和计算算法来测试他们可以将AI功能推向多远。另外，根据同一份重大报告，OpenAI正在开发一种使用图像，文本和其他数据进行训练的系统，该系统使用大量的计算资源，该公司的领导层认为这是通向AGI的最有希望的道路。

确实，布罗克曼和奥特曼确实相信AGI将能够比任何人掌握更多的领域，主要是通过确定人类专家无法理解的复杂的跨学科联系。此外，他们预测负责任地部署AGI，换句话说，与相关领域的研究人员(如社会科学)“紧密合作”部署的AGI，可能有助于解决气候变化，医疗保健和教育方面的长期挑战。

目前尚不清楚新的超级计算机是否具有足够的功能来实现任何接近AGI的功能，无论采用何种形式。去年，布罗克曼(Brockman)告诉英国《金融时报》，OpenAI预计将在2025年之前花费微软公司10亿美元的全部投资，构建一个可以运行“人脑大小的AI模型”的系统。2018年，OpenAI自己的研究人员发布了一份分析报告，显示从2012年到2018年，最大规模的AI培训运行中使用的计算量增长了300,000倍，而3.5个月的时间却翻了一番，远远超过了摩尔定律的步伐。上周，在此基础上，IBM详细介绍了神经计算机，该公司使用数百种定制设计的芯片在创纪录的时间内训练Atari播放AI，Nvidia宣布了一款基于其A100 Tensor Core显卡(称为A100)的5 petaflop服务器。

有证据表明，效率的提高可能会抵消不断增长的计算需求。OpenAI的另一项更近期的调查发现，自2012年以来，在流行基准(ImageNet)中将AI模型训练为具有相同性能以对图像进行分类所需的计算量每16个月减少了两倍。但是与新颖的算法方法相比，计算在多大程度上有助于提高性能仍然是一个悬而未决的问题。

当然，应该指出的是，OpenAI在游戏和媒体合成方面获得了非凡的AI收益，可支配的资源更少。在Google Cloud Platform上，该公司的OpenAI Five系统每天在256个Nvidia Tesla P100图形卡和128,000个处理器内核上玩了180年的游戏，击败了Valve的Dota 2的专业玩家(和公开比赛的99.4%的玩家)。更多最近，该公司在至少64块Nvidia V100图形卡和920台工人计算机上训练了一个系统，每个计算机具有32个处理器核心，可以用机器人手操纵Rubik's Cube，尽管成功率相对较低。还有OpenAI的自动存储塔该模型在896 V100图形卡上进行了仿真，以学习从头开始以任何样式生成音乐以及歌词。

新的市场机会

无论超级计算机是成为AGI的小垫脚石还是大跃进，用于设计超级计算机的软件工具都可能为Microsoft带来新的市场机会。通过规模化AI计划，这家科技巨头正在提供资源，以优化的方式在Azure AI加速器和网络上训练大型模型。它将训练数据分为几批，用于在集群中训练模型的多个实例，并定期取平均值以生成单个模型。

这些资源包括新版本的DeepSpeed，这是Facebook PyTorch机器学习框架的AI库，可以在同一基础架构上训练大于15倍，快10倍的模型，并支持在ONNX Runtime上进行分布式训练。微软声称，当与DeepSpeed结合使用时，ONNX上的分布式培训可使跨硬件和操作系统的模型实现高达17倍的性能提升。

微软首席技术官凯文·斯科特(Kevin Scott)在一份声明中说：“通过开发用于训练大型AI模型的领先基础架构，我们使所有Azure变得更好。”“我们正在建造更好的计算机，更好的分布式系统，更好的网络，更好的数据中心。所有这些使整个Azure云的性能，成本和灵活性更好。”