20 余名行业领袖示警“智能爆炸”，Anthropic、OpenAI 高管呼吁关注 AI 自我改进

据彭博社9月28日报道，来自Anthropic、OpenAI、Meta和微软的高层管理人员共同呼吁政策制定者，需密切关注AI系统实现自我优化的进展，并采取必要手段确保AI技术的安全性。

20多位AI领域的领军人物和科研人员在最新发表的一篇论文中提出警告：借助AI技术来自动化开发下一代模型的做法正日益普及，这可能在未来引发AI技术发展的突然提速。

论文作者将这种现象定义为“智能爆炸”。若此情况发生，AI能力提升的步伐或将超越社会引导和适应这一技术的能力。参与撰写该论文的包括Anthropic联合创始人杰克·克拉克、OpenAI首席科学家雅库布·帕乔茨基，以及AI先驱杰弗里·辛顿和约书亚·本吉奥等人。

研究人员同时指出，AI研发的自动化可能削弱人类对过程的监督。

据悉，论文呼吁政策制定者更全面地掌握顶尖AI实验室在多大程度上利用AI实现研究自动化，同时构建能够“引导并约束智能爆炸”的体系，例如提升安全标准，并加强对承担自动化AI研发任务的数据中心的监管。

研究人员还建议，针对AI可能出现的多种快速起飞情境，提前制定应急计划。“初步证据显示，由软件驱动的智能爆炸具有发生的可能性。如果成真，它可能成为历史上最具深远影响的技术变革……与潜在的后果相比，我们目前的准备还远远不够。”

论文列出了政策制定者应考虑采取的具体行动。“一旦智能爆炸启动，采取应对措施的窗口期可能就会消失。”