OpenAI高薪招募安然专家 应对AI自我进化风险

Demis Hassabis本周表示，人类如今正站在“奇点”的脚下——也就是AI开端自我成长，并超出人类智能的那个时刻。

筹划于本年上市的OpenAI，比来宣布了一个不合平常的雇用岗亭：公司正在寻找一名安然研究员，专门研究“当AI可以或许练习出更优良版本的本身时”所带来的后果。

该雇用信息是本月为OpenAI的Preparedness安然团队宣布的。岗亭年薪总包为25万至38万欧元，雇用对象是“有经验的技巧专家，以支撑针对递归式自我改进的预备工作”。

雇用信息中写道：

OpenAI正在为“自我改进AI”做预备

“这项工作建立在对那些今朝尚不存在、但将来可能出现的问题的思虑之上。”

“是以，对于这一职位而言，具备谨慎且具有计谋性的思维方法尤为重要。”

顶级AI实验室正在竞相研发“自我练习”模型

比来，像OpenAI和Anthropic如许的实验室，其模型才能正以惊人的速度持续晋升——这种晋升表如今它们可以或许解决的问题复杂度上。

该公司也欲望将自身的研究工作主动化。CEO Sam Altman客岁10月表示，公司目标是在本年9月之前，让一个“主动化AI研究练习生”运行在数十万块芯片上；并在2028年3月之前，实现一个“真正的主动化AI研究员”。

研究模型才能的实验室METR的研究人员在本年3月写道：AI模型可以或许完成的义务长度，大年夜约每七个月翻一倍——这些模型正越来越可以或许承担那些本来须要人类花费大年夜量时光完成的工作。

他们得出的结论是：AI代理将可以或许承担“相昔时夜一部分”的软件开辟工作，而这些工作本来须要人类法度榜样员花费数天甚至数周时光。

OpenAI正积极推动这一愿景——向企业发卖其Codex编程对象已经成为重要收入来源。

“我们完全可能在这个目标上掉败，”Altman在X上写道，“但推敲到其潜在影响极其巨大年夜，我们认为，公开透明地评论辩论这件事相符公共好处。”

本年5月，Anthropic结合开创人兼政策主管Jack Clark表示，他认为到2028岁尾，实现“没有人类介入的AI研发”的概率大年夜约为60%。

本年4月，Anthropic宣布了一项研究：应用AI模型去监督更强大年夜的AI模型。成果令人鼓舞，但也存在明显局限。

假如AI模型可以或许自行练习本身，那么一种科幻式反乌托邦场景就可能出现：它们的才能敏捷增长、离开控制，并造成广泛伤害——这恰是AI安然活动经久担心的问题。

Elizabeth Barnes上周五写道，在她看来，“任何‘理性’文明都邑以明显更慢、更谨慎的方法推动AI成长。”

OpenAI的雇用信息，也泄漏出该公司若何为一个“AI模型可以或许快速自我改进”的世界做预备。

雇用信息提到，这名研究员可能会专注于保护OpenAI模型免受“数据投毒”进击——也就是经由过程被把持的练习数据来腐化AI模型的行动。

该员工还可能开辟用于解释模型思维过程的对象，或者进行实验，以懂得这些模型的安然性与潜在危险。

雇用信息还提到，这名研究员可能须要“追踪技巧岗亭主动化的成长进度”——包含衡量AI编程对象的应用情况。

OpenAI的Preparedness团队，其职责是防止AI造成严重伤害。该团队的其他岗亭还包含：主动化红队测试，用于评估收集安然、生物与化学风险，以及“代理型AI”带来的威逼。

Preparedness团队的雇用信息中写道：

“这是一项紧急、节拍极快的工作，其影响将波及公司甚至全部社会。”