很多朋友不知道【Anthropic警告：已非常接近具备自我改进能力的RSI】，今天小绿就为大家解答一下。
不过Anthropic强调，目前没有任何一款模型越过这条线，并承诺在可预见的未来把人留在研发流程里。“我们不认为可以在缺乏有意义的人类监督或理解的情况下，安全地用Claude完全自主地设计和构建下一代前沿模型。”文件写道，公司正考虑修订RSP，以确保前沿模型开发始终由人掌控。也有观点提醒，S-1这类文件既是信息披露，也是一种营销，而Claude今年在编程、数学和网络安全上的进步确实有目共睹。
所谓RSI，指AI在训练自身这件事上强到一定程度，从而带动能力出现急剧跃升。在担心失控的人看来，RSI是一去不返的灾变：AI把自己迭代得足够强大，最终脱离人类控制，甚至在追求目标时对造成的损害毫不在意。在乐观者眼中，它意味着难以想象的生产力与科学发现。 今年早些时候RSI流行时，不少人认为它只是个热词，或者至少是难以实现、难以定义、难以验证的目标。而Anthropic周一在风险因素部分新增了两点说明：一是公司已经用AI开发出新模型，其能力跃升在当时并未被察觉；二是按内部估算和对未来模型的预期，而非当前模型的表现，公司可能很快就会满足RSP中“由AI带来的进展急剧加速”这一门槛的定义。文件同时承认，过去曾出现、未来也可能出现“直到加速已经发生之后才发现”的情况。
Anthropic
Anthropic自己的表述介于两者之间。文件称公司在研发中大量使用AI，但同时提醒：“用AI去帮助构建能力更强的AI，也可能带来相当大的安全风险，尤其是在它急剧加快进展速度的时候。”这类风险被纳入公司的“负责任扩展政策”（RSP）加以监控。版权所有，未经许可不得转载 【CNMO科技消息】Anthropic本周一提交了修订后的S-1A文件，外界的注意力大多落在财务数据上：营收猛涨，支出同样猛涨。但文件细则里还藏着一句更值得留意的提示：公司已经非常接近做出具备递归自我改进（RSI）能力的模型。
以上问题已经回答了。如果你想了解更多，请关
新经网网站 (
https://www.xinhuatone.com/)
