担心人工智能的进化论

国外人工智能专家联盟最近发布了一份简短的公开声明，人工智能有灭绝的危险。人工智能可能会以许多不同的方式对人类构成严重威胁，而风险的确切性质仍在争论中，但想象一下，一位首席执行官获得了一个人工智能助手。他们首先给它一些简单的低级任务，比如起草电子邮件和提出购买建议。随着时间的推移，人工智能在这些方面逐渐变得比他们的员工好得多。所以AI得到了“提升”。它现在可以完全控制收件箱，而不是起草电子邮件。它最终被允许访问银行账户并自动购物，而不是提供购物建议。

起初，首席执行官会仔细监督工作，但几个月过去了，没有出现错误，人工智能受到的监督越来越少，以效率的名义获得了更多的自主权。首席执行官突然想到，既然人工智能如此擅长这些任务，它应该承担更广泛、更开放的目标:“设计产品线中的下一个型号”、“计划新的营销活动”或“利用竞争对手计算机系统中的安全漏洞”。这位首席执行官观察到，没有使用人工智能的企业是如何落后的，他进一步受到激励，将更多的权力交给人工智能，同时减少监管。抵制这些趋势的公司没有机会。最终，就连首席执行官的角色也基本上是有名无实的。经济是由自主的人工智能公司管理的，人类意识到我们已经失去了控制，但为时已晚。

同样的竞争态势不仅适用于企业，也适用于国家。随着人工智能自主性的增强，它们对影响社会的关键决策的控制也会增强。如果发生这种情况，我们的未来将高度依赖于这些人工智能代理的性质。

好消息是，我们在塑造他们的未来方面有发言权。坏消息是，达尔文的定律也是如此。虽然我们认为自然选择是一种生物现象，但它的原理指导着从经济到技术的更多东西。进化生物学家Richard Lewontin提出，只要存在三个条件，自然选择就会在任何环境中发生:1)个体之间存在差异;2)特征传递给后代;3)最适合的变体繁殖得更成功。

考虑一下社交媒体平台和媒体服务使用的内容推荐算法。当特别令人上瘾的算法吸引用户时，它们会带来更高的粘性和屏幕时间。因此，这些更有效的算法被“选择”并进一步微调，而无法吸引注意力的算法则被终止。拒绝使用这类平台在竞争中被使用这类的公司打败，导致竞争对手之间竞相垫底，这已经对社会造成了巨大伤害。

在生物领域，进化是一个缓慢的过程。对于人类来说，创造下一代需要9个月的时间，而培养功能齐全的成年人需要大约20年的学校教育和养育。但科学家们已经观察到，在不到10代的时间里，果蝇等繁殖速度快的物种发生了有意义的进化变化。不受生物学的限制，人工智能可以适应——因此进化——甚至比果蝇更快。

我们有三个理由对此感到担忧。首先，选择效应使人工智能难以控制。虽然人工智能研究人员曾经说过“设计”人工智能，但他们现在说的是“操纵”人工智能。甚至我们的驾驶能力也在逐渐脱离我们的掌控，因为我们让人工智能自学，并越来越多地以连它们的创造者都无法完全理解的方式行事。在先进的人工神经网络中，我们理解进入系统的输入，但输出来自一个“黑匣子”，其决策过程在很大程度上是人类无法理解的。

第二，进化倾向于产生自私的行为。人工智能之间的非道德竞争可能会选择不受欢迎的特征。成功获得影响力并提供经济价值的人工智能将占据主导地位，取代以更狭隘和受约束的方式行事的人工智能，即使这是以降低护栏和安全措施为代价的。例如，大多数企业都遵守法律，但在窃取商业机密或欺骗监管机构利润丰厚且难以被发现的情况下，从事这种自私行为的企业很可能会比更有原则的竞争对手表现得更好。

自私不需要恶意，甚至不需要感知。当人工智能自动完成一项任务，导致人类失业时，这是没有任何意图的自私行为。如果竞争压力继续推动人工智能的发展，如果他们也表现得自私，我们不应该感到惊讶。

第三个原因是，进化压力可能会使人工智能产生促进自我保护的行为。对人工智能风险持怀疑态度的人经常会问:“我们难道不能把人工智能关掉吗?”这里有各种各样的实际挑战。人工智能可能受到其他国家或坏人的控制。或者人工智能可以被整合到重要的基础设施中，比如电网或互联网。当嵌入到这些关键系统中时，禁用它们的成本可能太高，我们无法接受，因为我们将变得依赖它们。人工智能可能以我们无法轻易逆转的方式融入我们的世界。但自然选择带来了一个更根本的障碍:我们将选择那些容易被关闭的人工智能，而我们将依赖那些我们不太可能被关闭的人工智能。

这些要求采用最有效系统的强大经济和战略压力意味着，人类被激励将越来越多的权力交给无法可靠控制的人工智能系统，从而将我们作为地球上的主导物种的地位推向被取代的道路。我们的困境没有简单、可靠的解决办法。

一个可能的起点是解决人工智能行业明显缺乏监管的问题，该行业目前几乎没有受到监管，许多研究都是在黑暗中进行的。监管需要主动而不是被动;如果这个领域出了问题，我们可能没有机会修复它。

然而，问题在于国家内部和国家之间的竞争不利于任何常识性的安全措施。人工智能是一门大生意。2015年，企业在人工智能领域的总投资为127亿美元。到2021年，这一数字已增长到935亿美元。随着强大人工智能系统的竞赛加速，企业和政府越来越有动力率先到达终点线。我们需要对人工智能安全的研究与提高人工智能能力的研究一样迅速取得进展。没有太多的市场激励，因此政府应该尽快提供强有力的资金。

人工智能的发展与人类的未来息息相关。因此，自然选择可能比我们对它的影响更大，这是一个令人不安的认识。但到目前为止，我们还在指挥。是时候认真对待这种威胁了。一旦我们交出控制权，就再也拿不回来了。