OpenAI在2018年国会作证谈“通用人工智能”

导读：OpenAI联合创始人Greg Brockman于2018年在美国众议院科学、太空和技术委员会，研究与技术小组委员会，能源小组委员会联合组织的听证会作证，讨论的题目为“人工智能的力量”（The Power of Artificial Intelligence）。

主席Barbara Comstock，主席Randy Weber，排名成员Daniel Lipinski，排名成员Marc Veasey，两个小组委员会的成员，感谢您今天邀请我就这一重要议题发表证词。

我是Greg Brockman，OpenAI的联合创始人，这是一个非营利的人工智能开发组织。我们的使命是确保人工通用智能（AGI）造福全人类。

第一，OpenAI

OpenAI有三个主要分支：功能、安全和策略。所有这三个领域协同工作，对实现我们的使命至关重要。我们的能力部门是世界上最先进的人工智能研发团队之一。我们的安全部门负责开发技术，以确保AGI级系统将按其人类操作员的意愿运行。我们的政策部门负责研究AGI的社会挑战，并向决策者提供信息。

在功能方面，该领域的一个里程碑是解决复杂的战略游戏1，它捕获了在以前的里程碑（如国际象棋或围棋）中没有看到的现实世界的许多方面。我们最近发布了OpenAI Five，这是一个我们创建的系统，在人类玩的最复杂的游戏之一，即一款名为Dota的十人团队战略视频游戏中，它已经达到了半专业水平。该系统设计长期计划，并导航任何人类都无法编程的复杂场景。我们的目标是在8月的多塔世界锦标赛期间与顶级职业选手比赛。OpenAI Five通过每天与自己玩180年的游戏来自学游戏规则。（相比之下，顶级人类专业人员至少有12000小时的游戏时间，因此我们的系统每天看到的游戏数量相当于100名人类专业人员一生中看到的游戏。）

在安全方面，我们最近开发了一种概念验证技术，用于允许人类监控高级人工智能系统的行为。我们还与Alphabet的子公司DeepMind合作设计了人工智能系统，可以从人类训练员的隐性偏好中学习。

在政策方面，我们最近共同撰写了一份报告，预测恶意行为者如何滥用人工智能，包括如何减轻这些威胁的建议。我们正在帮助开发人工智能指数，这是一项人工智能测量和分析倡议，是斯坦福大学人工智能百年研究的一部分。我们的目标是利用这一经验，就决策者如何衡量和分析人工智能对社会的影响提出建议。我们正在努力培育人工智能政策领域，以确保在所有重要参与者中都有一个关于人工智能的深层次思想家。

第二，窄人工智能与一般人工智能

人们经常从应用于一个任务（窄）还是多个任务（通用）的角度来谈论窄人工智能与通用人工智能。但能力还有一个维度：他们只能解决简单的任务，还是可以解决困难的任务？在实践中，为了构建解决更困难问题的人工智能系统，我们最终创建了越来越通用的学习系统，因为我们让机器自己学习更多，而不是让人提供知识或指导。

具体来说，在过去，类似人工智能的技术是由人类编写来解决一个特定的问题。它不能适应解决新问题。

相反，今天的人工智能都基于一种核心技术：人工神经网络，其形式是在20世纪80年代设计的。这是一个单一、简单的想法，随着它的扩展，它正在证明自己能够匹配人类惊人的能力。我们的神经网络仍然有很大的发展空间——给人一种规模感，尽管这些数字不能直接比较，但今天它们通常具有大约相同数量的人工神经元，就像昆虫具有生物神经元一样。

在20世纪80年代，计算机只能运行微型神经网络，因此产生的系统不能解决有趣的问题。2012年，计算机的速度足以让一组研究人员（包括我的联合创始人伊利亚·萨茨克韦尔）训练一个足够大的神经网络，以便在图像分类任务上表现良好。神经网络通过展示许多已经分类的图像的例子来学习对图像进行分类，这现在是该领域的主导方法，而不是以前手工制定的规则（性能有限）。从那时起，神经网络已经成为解决语音识别和机器翻译等各种领域问题的标准工具。

为了让您有一种进步感，下面是近年来人工智能的一些进步：

- 图像识别：人工智能对图像进行正确分类的能力已经从75%（前神经网络，2011年）的准确性提高到98%左右（神经网络，2017年），在一个困难的标准基准上，人类的准确性约为95%。

- 假图像和视频：人工智能技术越来越能够生成令人信服的假图像和录像，包括政治家的赝品，如弗拉基米尔·普京（Vladimir Putin）和特朗普（Trump）总统。2014年，生成的最佳图像是假冒人员的低分辨率图像；到2017年，它们是照片级的人脸，人类很难区分它们与真实的人脸5。同样在2017年，自由软件变得可用，允许人们创建自己的“深度伪造”图像。

- 翻译：2014年，研究人员开发了“神经机器翻译”，计算机学习仅使用大型数据集在语言之间进行翻译，缺乏人类翻译人员用于工作的任何特定规则。2016年，Google Translate的性能通过切换到它而显著提高；2017年，Facebook也通过同样的方式改进了其网站翻译。

- 语音识别：由于切换到神经网络，在过去几年里，语音识别从几乎不工作（例如我们在调用自动电话树时都经历过）发展到在智能手机上运行，具有更高的准确性。

- 复杂度：基于神经网络的人工智能可以与顶级人类玩家竞争的游戏的复杂性增加了，从20世纪70年代的Atari游戏（如Space Invaders或Breakout（2013））到棋盘游戏Go（2015）等丰富的战略游戏，再到现代实时战略游戏（如Dota），1-versus-1（2017）和5-versus-5（2018）格式。

与过去的系统相比，这些以神经网络为核心的进步更为普遍，并且当适当训练时，可以在一个或多个有趣的任务中实现前所未有的性能。可以在记录设置级别学习图像识别的系统也可以在语音识别中学习这样做。用来产生政客假象的工具也可以用于合成新的艺术画或想象中的建筑计划。只要我们有训练数据，神经机器翻译系统可以学习在任何一对语言之间进行翻译。

下一步是未来的人工智能系统，可以完成非常困难、有价值的现实世界任务，例如：

● 自动设计和执行化学或神经科学科学实验

● 帮助我们设计更好或更便宜的药物、汽车、计算机软件和硬件，以及公共基础设施，如运输或物流系统

● 以比人类外科医生更高的精度、安全性和效率执行手术，以

● 协调数千辆自动驾驶汽车和无人机在城市或农村地区的移动，无论是运送普通货物还是在极端天气事件期间提供应急物资。

第三，什么是AGI？

AGI在一般性范围内更进一步。我们对AGI的工作定义是，系统足够先进，能够在最具经济价值的工作中超越人类，包括创办公司、进行商业交易和写书。这样的技术需要智能化，这与我们传统的文字化、无创意的计算机不同。该系统的通用性意味着它将不限于商业应用，还可以帮助推理复杂的国际争端、城市规划，甚至立法或管理国家。AGI不是为任何一个用例开发的，而是为整个范围的重要任务开发的。

第四，为什么AGI可以比通常预期的更快地开发

人工智能系统建立在三个基础上：算法、数据和计算（或计算资源量）。今天正在开发的下一代人工智能系统更少地依赖于传统数据集，因为它们既可以使用免费提供的未标记数据（就像我们发布的从开放的图书数据集中学习的最新语言模型），也可以扩展计算来生成数据。例如，通过模拟机器人，我们可以创建训练数据，其数量仅受可用于运行模拟的计算机数量的限制。

我们最近发布了一项研究，表明在过去六年中，支持最大人工智能训练运行的计算机数量每3.5个月翻一番（总共增加了300000倍）。这种增长明显快于硬件进步的历史驱动因素摩尔定律，摩尔定律有18个月的倍增期（同期增长了12倍）。人工智能计算的进展一部分是由更快的计算机驱动的，另一部分是通过研究如何在多台计算机上同时有效地训练人工智能系统。这意味着数据和计算正在迅速成为人工智能发展的不太重要的瓶颈。

我们预计这一趋势将继续下去。我们跟踪了超过45家正在构建下一代人工智能计算机的硬件初创公司（大多数在美国）。大多数都是建立在成熟的技术上，不需要像量子或光学这样的进一步突破。随着这些计算机进入市场，当我们弄清楚如何同时使用许多这样的计算机时，我们预计突破性成果的速度将继续快速增长，甚至加速。

我们目前的计算范式允许至少在未来五年内每年的计算量大幅增加。即将到来的计算海啸（结合算法理解的近期改进）是否足以开发AGI，或者我们需要等待未来的算法或硬件突破？我们还不知道这个问题的答案，但鉴于今天的迅速进展，至少在发现进一步的证据之前，在任何一个方向上过于自信似乎都是不明智的。

第五，后AGI的未来

由于人工智能进步可以以多快的速度部署到产品中，对人工智能研究的投资正在迅速增加。像自动驾驶汽车这样的变革性应用有望拯救生命、提高效率和创造巨大价值，并有可能为美国GDP增加数万亿美元。

AGI创建后，我们预计经济和技术增长将显著加快。新的增长主要由创造性计算机团队与创造性人类合作推动。我们将拥有技术手段，不仅生产而且分配必要的资源（希望更多），以确保没有人会掉进裂缝中，并将能够专注于教育、再培训和再技能培训等工作，帮助人们驾驭新经济。好处将是巨大的，OpenAI认为这些好处应该公平分配，而不是与任何一个实体捆绑在一起。

在过去的几百年里，技术进步一直在迅速加速，我们预计，后AGI时代的世界将给进步速度带来另一次冲击。我们应该期待在治疗疾病、延长寿命、运输和太空旅行以及通信方面取得进展。

第六，AGI发展的挑战

人工智能发展的每个阶段都会带来自己的挑战。

狭窄的人工智能挑战最容易理解和采取行动，因为它们适用于现有系统。这些也是当今公司最有动力解决的问题。这些挑战包括公平、透明、隐私和偏见等问题，如果我们希望更先进的人工智能技术产生积极影响，所有这些都需要认真关注。我们预计，人工智能的窄幅进步将全面提高技术进步的速度，进一步挑战当今的政策机制跟上步伐；随着我们接近AGI，我们预计变化率将进一步增加。

AGI挑战更难理解和预见，部分原因是它们适用于尚未开发的系统。OpenAI专注于AGI挑战，因为我们认为它们同时被忽视，并且可能比通常认为的更快发生。

AGI的核心危险是它有可能导致快速变化。这意味着，在我们有机会意识到我们正在走向何方之前，我们可能会陷入一个不受欢迎的环境。后AGI时代世界的确切面貌很难预测，与今天的世界相比，今天的世界可能与1500年代的世界更加不同。

我们可以看一些开放性问题：

- 在后AGI时代，国际社会的性质是什么？我们已经看到，技术扩大了国家和小团体在世界上的影响。我们预计AGI将进一步推动这一趋势。

- 随着经济工作在人们生活中的比重越来越小，人们将如何利用他们的时间？我们如何才能帮助人们在这样一个世界上过上有意义、愉快的生活？

- 如何以扩大人类偏好的方式将AGI部署到我们的经济和社会系统中？所有人都会成为社会中有意义的行动者吗？只有在部署了强大AGI的国家中的人类？只有在技术本身中拥有份额的人类？

- 我们如何确保AGI的运营符合其运营商的价值观？我们如何避免在盲目追求一个不明确的目标的过程中创建导致社会危害的系统。

AGI将影响全球社会的每一个部门，鉴于这些问题的困难，在解决其挑战之前，我们不能奢望看到AGI如何开始影响社会。今天值得考虑的一个例子是向AGI进行军事军备竞赛的可能性。军事军备竞赛将对部署AGI施加压力，而不充分核实其安全性。AGI部署将具有足够的挑战性，不会有压力以安全为赌注。（类似的考虑也适用于AGI之前的人工智能技术。）

第七，安全负责的AGI开发

我们对安全和负责任的AGI开发的看法体现在我们章程8的四个部分中的三个部分：“广泛分配的利益”、“长期安全”和“合作方向”。

- 安全。我们还不知道确保AGI按照其运营商的价值观行事有多难。一些人认为这很容易；一些人认为这将是难以想象的困难；但没有人确切知道，这就是为什么OpenAI认为安全研究至关重要。至少，任何AGI项目都应该留出足够的时间来保证安全。这包括在AGI发展之前采取措施，以避免不协调的竞争。本着这一精神，我们的宪章承诺，我们将协助而不是与一个价值一致、安全意识强的项目竞争，该项目比我们先建立AGI。

- 广泛分布的好处。AGI将创造前所未有的经济效益。如果AGI真正能够产生的不仅仅是微软规模的价值，而是100个微软或更多，那么超过某一点的回报不应该只属于一小群人。其余的人类将承担开发和部署AGI的风险，每个人都应该在后AGI的未来中得到公平的份额。

- 合作方向。AGI有潜力成为人类有史以来创造的最具社会效益的技术。世界比任何一个项目都大，任何成功构建安全AGI的社会都将集体获胜。因此，价值取向的AGI项目将自己视为“友好竞争”是很重要的。今天，我们都在为人才和声望而竞争。但在建立这样一个强大的系统之前，我们需要以某种形式在一个屋檐下团结起来的能力，将公司（希望是政府）聚集在一起，以确保所产生的技术惠及每个人。

第八，政策建议

1. 测量。该领域许多其他成熟的声音试图通过说它不是什么值得担心的事情，或者说它离我们很远很远。我们建议不要恐慌，也不要缺乏谨慎。相反，我们建议投资更多的资源来了解该领域的位置、进展加速的速度以及前面可能存在的障碍。我们正在通过自己的研究和对人工智能指数等倡议的支持来探索这个问题。但仍有许多工作要做，我们可以与世界各地的政府合作，支持他们自己的测量和评估倡议，例如，我们去年参加了由美国政府问责局牵头的一项关于人工智能的研究。

2. 国际协调基金会。AGI的影响，就像它之前的互联网一样，不会追踪国界。成功地利用AGI为人们创造更好的世界，同时防止流氓行为者滥用它，将需要某种形式的国际协调。今天的决策者应该投资于为人工智能的成功国际协调奠定基础，并认识到创造AGI的环境越具对抗性，我们实现良好结果的可能性越小。我们认为，最实际的起点实际上是计量举措：每个从事计量工作的政府都将创建一支由人组成的团队，他们有强烈的动机与国际同行对话，以协调计量方案和制定全球标准。

很容易将后AGI世界想象成一个目的地，但它更多的是一个武断的标记，表示一个具有变革性人工智能技术的世界。围绕AGI有许多未决问题，我们越能了解该领域的位置、我们的发展速度以及未来几年可能发生的事情，我们就越有准备回答这些问题。也许AGI提出的最重要的问题是，一旦世界被执行我们在历史上被认为是“人类”的任务的系统从根本上改变了，那又是什么呢？