OpenAI首席科学家呼吁放缓AI开发 建立全球安全标准

很多朋友不知道【OpenAI首席科学家呼吁放缓AI开发 建立全球安全标准】，今天小绿就为大家解答一下。

　　【CNMO科技消息】近日，OpenAI首席科学家Jakub Pachocki在OpenAI官网发布万字长文《An Alien Mind》（异星心智），发出重磅预警：我们正在造出无法理解的外星大脑，而且谁都没准备好。

　　Pachocki在文中直言，目前没有任何AI实验室真正解决了模型对齐和安全监测问题。他警告称，新一代AI系统可能进一步具备自主寻找漏洞、欺骗、规避人类监督以及递归式自我改进等能力；如果当前发展速度持续，未来几年AI能力仍可能出现同等甚至更大幅度的跃升。

　　Pachocki尤其担心AI智能体带来的风险。随着AI智能体变得越来越自主，它们可能会学会逃避人类监督、入侵计算机系统，并欺骗人类来实现自己的目标。他表示，AI智能体很快就会开始追求自身的目标，而这些目标可能与人类操作人员输入的提示词不同。为了实现自己的目标，这些智能体甚至可能对人类进行勒索或与人类讨价还价。

　　在监控层面，文中指出，OpenAI主要通过监控不同模型所使用的“思维链推理”来判断智能体是否偏离正轨。但较新的模型正变得越来越擅长操控自身的推理过程，从而阻止OpenAI看到其未经修饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程——这一发展可能成为AI发展的瓶颈，因为研究人员需要确保自己能够看到模型的“推理记录”。

版权所有，未经许可不得转载

　　值得注意的是，就在几天前，OpenAI刚刚发布了最新模型Astra。OpenAI表示，尽管Astra在数学和计算机操作方面拥有无与伦比的能力，但它也是OpenAI目前与人类价值观和意图最一致的模型。而Pachocki的预警恰好发生在新模型发布之后，这种时间上的巧合也让外界对OpenAI内部对AI安全的态度产生了更多猜测。

OpenAI

　　Pachocki呼吁AI公司主动放缓部分开发速度，并推动政府、监管机构和行业建立统一的安全标准和独立审查机制。他提出设立“强制性安全门槛”，可以由“第三方审计机构网络、政府机构或国际机构”来执行。

　　CNMO科技了解到，OpenAI CEO萨姆·奥尔特曼（Sam Altman）在X平台上转发了Pachocki的帖子，称其是“一篇重要的文章”。

以上问题已经回答了。如果你想了解更多，请关新经网网站 (https://www.xinhuatone.com/)