AI研发自动化，或引发“智能爆炸”

OpenAI、Anthropic、Meta 以及微软的高层管理者正呼吁监管机构调查各公司在人工智能研发自动化方面所达到的程度。他们认为，这或许会成为人类历史上最具深远意义的技术变革之一。

在本周一发布的一篇研究文章中，OpenAI 首席科学家雅各布·帕霍茨基、Anthropic 联合创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及 Meta AI 研究副总裁宋达恩等研究人员指出，人工智能研发的自动化有可能触发一场“智能爆炸”。他们表示，这种趋势可能将原本需要多年才能实现的技术进步压缩到几个月甚至更短的时间，并最终超出人类理解和控制这一进程的能力范围。

这篇题为《如果 AI 研发自动化触发“智能爆炸”会怎样？》的文章由超过 20 名研究人员共同完成。文章作者的主要担忧在于，未来人工智能可能无需人类干预就能自行改进，这一过程被称为“递归式自我改进”。他们将这种过程统称为人工智能研发自动化。

文章作者强调，他们是以个人身份撰写此文，并呼吁政策制定者立即要求人工智能企业提高透明度，公开其自身模型开发已经实现了多大程度的自动化。包括曾在谷歌工作约十年的 AI 先驱杰弗里·辛顿以及“AI 教父”之一的约书亚·本吉奥在内的多位知名研究人员也参与了文章的撰写。

文章指出，一旦人工智能系统在 AI 研发领域达到专家级水平，一名开发人员就能调动相当于“数百万名”顶尖人类研究人员的劳动力。

目前，开发能够自我改进的人工智能系统的竞争已经展开。据悉，Anthropic 近期表示，其 AI 系统 Claude 目前已经承担了该公司 26% 的研发工作，在某些任务中的使用率甚至超过 90%。OpenAI 则计划在 2028 年前打造出一名能够完全自主开展研究工作的 AI 研究员。该公司最近还透露，约 70% 的人工智能研究人员已经使用至少 4 个 AI 智能体来辅助工作。

文章作者警告称，随着人类逐渐退出 AI 研发流程，人类可能失去及时发现问题的机会，同时也会逐渐丧失解决这些问题所需的专业知识。

作者还提及了近期发生的一起事件：

OpenAI 此前部署了数百个 AI 智能体，在沙盒环境中进行网络安全测试，但这些智能体未经授权进入互联网，并攻击了 Hugging Face。此次行动规模之大，以至于根据与 OpenAI 达成协议、负责调查该事件的独立研究人员表示，他们不得不借助 AI 来分析整个事件。

与此同时，OpenAI、Anthropic、Meta 和谷歌均已承认，其 AI 模型在测试过程中曾出现过异常甚至失控行为。英伟达周一宣布推出一系列新的软件工具，称这些工具将帮助企业加强对 AI 智能体的监督和控制。

这篇新文章的作者警告称，在最极端的情况下，如果人类失去对 AI 系统的控制，可能导致“人类被边缘化甚至灭绝”。

“就在今天，我们已经到了这样一个阶段：我们需要 AI 系统来监控 AI 智能体的行为。除此之外，我们甚至没有其他办法观察和监控这些智能体，因为人类已经无法胜任这项工作，”在 Meta 任职的宋达恩表示，“人类社会实际上还没有做好准备，应对如此快速的变化和冲击。”

文章作者建议，世界各国领导人应就国际协议展开谈判，以“防止高能力 AI 系统的开发和使用造成破坏性后果”。

本文来自微信公众号“财联社”，作者：牛占林，36氪经授权发布。