公司一直在快速开发人工智能以保持领先,但 法瓦罗和克拉克认为,放慢速度可以让更多时间应对这项技术的影响。
总部位于美国的人工智能公司Anthropic警告称,人工智能的发展速度很快可能使智能体在没有人类干预的情况下自我构建、训练和改进——建议放缓开发速度。
在周四发布的一篇博客文章中,Anthropic研究所负责人Marina Favaro和Anthropic联合创始人Jack Clark表示,代理已经可以自己运行代码,将大量工作委托给其他代理,甚至可能处于完全接管的边缘。
“在人工智能的大部分历史中,人类推动了其开发周期的每一步。但在Anthropic,我们正在将越来越多的人工智能开发工作委托给人工智能系统本身,这加快了我们的工作速度,“他们说。
“如果走得足够远,并且拥有足够的计算能力,这一趋势表明人工智能系统能够完全自主设计和开发自己的继任者,”Favaro和Clark补充道。
人们担心如果人工智能能够自行变得更智能,会发生什么。去年12月,OpenAI表示正在研究如何安全开发和部署越来越强大的人工智能,包括具备递归自我提升能力的AI。
“我们希望这些系统在复杂的现实场景和对抗条件下始终遵循人类意图,避免灾难性行为,并保持可控、可审计性,并符合人类价值观,”该机构表示。
公司还在招聘一名递归自我提升准备研究员,该研究团队是其安全研究团队的一部分。
根据Favaro和Clark的数据,AI模型改进率大约每四个月翻一番,而非每七个月一次。人类的角色在每个环节都在缩小,Anthropic的Claude模型负责编写约80%合并到Anthropic代码库中的代码。
“我们还没到那一步,递归自我提升并非不可避免。但这可能比大多数机构准备得更早到来,“他们说。
“一旦人类和人工智能编写的代码质量达到平衡,人类将完全停止编写代码,转而仅进行审查。但如果他们无法像Claude那样快速审查代码,人工审核将成为AI开发的瓶颈,“他们补充道。
法瓦罗和克拉克还表示,放缓开发速度以争取更多时间应对其“巨大”影响是理想的。
今年四月,Anthropic 因担心全球网络安全威胁,排除了向公众发布其人工智能模型 Claude Mythos 的可能性。
与此同时,包括Anthropic和OpenAI在内的一群科技领袖于周四发布公开信,敦促立法者制定更严格的保护措施,以应对其可能被用来克服历史上阻止不良行为者制造生物武器的“知识壁垒”。
法瓦罗和克拉克表示:“我们认为,世界能够选择放缓或暂时暂停前沿人工智能的开发,以使社会结构和对齐研究跟上技术进步,将是件好事。”
“但如果放慢只是让最不谨慎的参与者在技术上赶上,可能会让所有人都更不安全。没有全球协调机制,企业和政府将不得不在竞争和地缘政治压力下做出艰难的安全决策。”
人工智能代理(AI agent)越来越受欢迎,包括在加密用户中。一些加密高管推测,AI代理通过交易结算可能推动采用率和交易量增长。Circle首席执行官Jeremy Allaire在一月份预测,五年内将有数十亿人工智能代理代表用户操作。
加密投资公司Keyrock上月报告称,过去12个月中,AI代理支付从概念变成现实,成交金额达7.76亿美元,涉及1.76亿笔交易。

