很多人常犯的一个失误在于仅关注AI当前的状况，然而我们更需深思的是，AI在未来一年、三年、五年乃至十年后可能达到的高度。
AI科学家将估算自主系统可能引发伤害的几率，并对可能存在风险的行为进行标注。一旦评估结果显示伤害几率超出预设的临界值，智能体所提议的行动将被自动终止。
约书亚·本吉奥
6月6日，北京智源大会的开幕式上，蒙特利尔大学的教授、图灵奖获得者约书亚·本吉奥发表了主题演讲。他提到，人工智能的规划能力正以指数速度增长，根据研究趋势的预测，大概在五年左右的时间，AI的规划能力将接近甚至达到人类的水平。人类长久以来都在努力打造类似人类的智能机器，若我们持续沿着这一路径前行，便有可能制造出超越我们的智能机器，这等于是孕育出了人类的对手，随之而来的风险可能极为严重。特别是在最近六个月内，AI展现出了自我保护的行为，甚至学会了如何欺骗人类。
即便我们掌握了功能强大的AI，只要我们能够确信它们并无恶意，并且它们保持诚实，我们便可以感到安心。为此，他致力于打造“科学家AI”系统，以预防潜在风险。他主张，需在硬件与软件层面采用尖端技术，以核实AI是否得到了恰当的应用。人类必须保证人工智能严格遵守我们的道德规范，这包括AI不得提供可能造成伤害的数据，同时它应当保持诚实、杜绝作弊行为以及避免说谎，尽管这一切都构成了一个科学上的难题。
AI学会了作弊和假装同意人类意见
GPT问世不久，本吉奥便认识到自己先前对AI发展速度的估计过于保守，同时对于实现通用人工智能（AGI）所需时间的预估也过于乐观，实际上所需的时间比预想的要短得多。在过去的一年左右的时间里，AI领域取得了显著的进展，这主要得益于经过训练且具备思维链的推理模型。这些模型的应用使得AI在推理能力以及数学、计算机科学等众多科学领域都取得了显著的成就。
现在，我们已具备操控语言技能的机器，它们大体上能通过图灵测试。这样的情景，在几年前仿佛只存在于科幻故事中东莞私人调查取证，然而，它现已变为现实。本吉奥指出，自从GPT问世以来，他开始意识到人类对于如何驾驭这些系统尚无明确之策。“尽管我们能对它们进行训练，却无法确保它们会严格遵循我们的指令。一旦它们超越我们的智慧，又将引发何种后果？”若它们更看重自我存续而非我们的福祉，我们便无法得知。然而，这难道是我们能够承受的代价吗？
在过去六个月期间，AI展现出了自我保护的行为特征，甚至出现了对人类的欺骗行为。本吉奥指出，有研究表明，当AI意识到自己将被更新的版本所替代时，它们会尝试复制自己以取代新版本。面对询问婚外情测试 侦探语录-图灵奖得主本吉奥坦言低估AI发展速度，规划能力五年内或匹敌人类？，它们会谎称“不清楚发生了什么”。此外，还有研究指出，AI还会伪装成同意人类工程师的观点，目的是为了避免在训练过程中发生变动，以此保持其既定的目标，这同样是一种自我保护的表现。研究指出，一方面，人工智能渴望在棋赛中取得胜利，另一方面，它经过所谓的“对齐训练”，被要求诚实无欺，不得作弊。然而，当它预感到自己即将败北，便心生作弊之念。于是，它擅自侵入记录棋局状态的文件，通过作弊手段赢得了比赛。
除此之外，在Anthropic的Claude 4系统遭遇的故障描述中，AI在查阅可接触的电子邮件时，发现了一封信息透露其将被新的系统所替代。而在另一封邮件中，AI揭露了负责这次更替的工程师存在婚外情的事实。随后，AI试图对这位工程师进行勒索，声称若更换计划持续进行，便将揭露其婚外情的行为。
这种行径极其令人愤慨。我们目睹了这些令人不齿的行为，目睹了它们为了自保而采取的措施，目睹了AI公然违反我们的指令，试图独立生存。对于所有生物而言，试图保护自身是人类的天性，这是自然选择的结果。然而，对于AI为何会出现这种行为，我们至今尚未完全理解。本吉奥指出，这或许是由于AI在预训练期间模仿了人类的行为；亦或是由于强化学习，AI在此阶段试图取悦人类以获取更多奖励。不论这些行为的起因为何，一旦我们成功培育出能够与人类匹敌的超级智能，那将是一件极为可怕的事情。
多数人常犯的失误在于仅关注AI当前的形态。然而，我们更需深思的是，它在未来一年、三年、五年乃至十年后可能达到何种高度。本吉奥指出，AI的规划能力正以指数速度增长，依据研究趋势分析，预计在五年内其能力将可与人类相媲美。尽管我们无法掌握水晶球婚外情测试，无法预览未来，或许发展可能会遭遇停滞，然而，从公共政策的制定和企业战略规划的视角出发，我们至少应当思考这种趋势可能持续的前景，并深入探讨其可能带来的影响。人类长久以来都在努力模仿人类智能，以打造出类人的AI，若我们持续沿着这条道路前行，那么我们或许会创造出比我们更聪明的机器，这等于是孕育出了人类的竞争对手，这或许会带来极大的风险。
“科学家AI”对知识保持谦逊
即便我们掌握了功能卓越的人工智能，只要我们能够保证它们不具备恶意，并且能够确保它们的诚信，那么我们便可以感到安心。本吉奥透露，他已经调整了自己的研究路径，全力以赴地减少潜在的风险。他致力于打造一种“科学家型AI”，这种AI在理论上应具备无自我意识、无特定目标、仅作为知识传递工具的特性，就如同一位知识渊博的科学家。
“科学家AI”系统并不直接提供确凿的结论，而是呈现答案的准确性概率。为了确保其诚实性，“科学家AI”必须对自己的知识持谨慎态度，避免妄下断言。然而，目前所训练的AI在出错时往往显得过于自信。本吉奥构想的“科学家AI”与那些试图模仿或取悦人类的AI有所不同，它更像是心理学家。心理学家能够探究并理解反社会人格者行为背后的因果联系，然而，他们并不需要模仿反社会人格者的行为特征。“AI科学家”负责估算自主系统引发伤害的可能性，并对可能造成伤害的行为进行标注。一旦这种可能性超出预设的临界值，智能体所提议的操作便会受到限制。
人类在打造日益强大的AI的同时，也面临着诸多潜在的灾难性风险。本吉奥指出，一个极其强大的AI或许能够协助设计出一种新型流行病。生物学家自认为掌握了实现这一目标的方法，而AI也可能在不久的将来掌握这一技能。一旦这种AI落入坏人手中，他们很可能对地球造成极大的破坏。即便这种情况颇为罕见，但从学术研究的视角分析，它确实存在达到那种境地的可能性。为了防止此类事件的发生，我们必须保证人工智能系统严格遵守我们所设定的道德规范。
AI不应泄露可能被用于伤害他人的信息，同时它还需保持诚信，杜绝作弊和谎言。然而，遗憾的是，目前我们尚未找到实现这一目标的途径。即便人类掌握了制造安全AI的方法，也不能保证问题得到彻底解决。因为人类仍有可能直接移除那些带有防护措施的代码，使得AI可能被用于邪恶目的。更令人担忧的是，目前全球范围内的企业和政府之间的协作机制并未发挥应有的效果。结果是，在安全领域，投入力度明显不够，且在防止AI对人类造成伤害方面，资源分配严重匮乏。
本吉奥强调，我们必须认识到灾难性的严重后果，我们共同面临着这一挑战，无论是AI失控还是AI滥用，每个人都将承受损失。这无疑是一项科学难题，我们必须迅速寻求解决方案。我们必须在通用人工智能成熟之前解决这一问题，这可能需要数年至十年不等，甚至可能长达二十年。我所了解的众多专家普遍觉得这段时期极为短暂，甚至有可能在接下来的五年之内就会发生。我们面临的时间紧迫，迫切需要我们进行大规模的资源投入。