Anthropic掌门人Amodei长文预警：AI竞争愈加激烈 难以看重自立性风险

他强调，尽管存在不肯定性，我们必须采取果断而谨慎的行动来应对可能的风险，并且认为，假如我们采取精确的办法，就有可能克服这些挑衅。

文章近2万多字，Amodei试图从AI模型自身风险、小我和组织风险，国度层面风险，以及经济和社会层面的风险等多个维度展开阐述。

AI竞争愈加激烈，难以看重自立性风险

Amodei认为AI模型存在必定的自立性（Autonomy）风险。同时，他批驳了两类极端立场：一类是认为“AI不会有问题”：AI只是被练习来履行指令，就像扫地机械人弗成能忽然想杀人，是以AI造反是科幻；

此外，Amodei还担心AI还将带来财富过于集中，比如一个数据中间“天才之国”。今朝AI数据中间已经占美国经济增长的很大年夜一部分，大年夜型科技公司也越来越专注于AI或AI基本举措措施扶植。

还有一类是认假如将“尽可能地获得权力”作为关键策略，那么AI就会概括出同样经验以寻求权力作为完成义务的手段，这种偏向也会应用到实际世界中。一旦AI获得自立意识且足够智能，它们将减弱甚至息灭人类。

他认为，出现这种立场，其实是忽视了大年夜模型练习中带有的“人格面具”以及模型生成的弗成猜测性。

他列举了Anthropic内部的测试：在练习中暗示Claude“公司是险恶的”，出于“应惩处险恶之人”的设法主意，Claude出现了欺骗行动；当告诉Claude不要作弊时，却在实际练习时许可或嘉奖这种行动，这导致Claude认为本身是“坏人”，并做出响应破坏行动。这解释模型练习过程极其复杂，数据、情况、嘉奖机制等都邑存在大年夜量“陷阱”，导致大年夜模型出现弗成估计的后果。

Amodei指出，应对自立性风险，实现对齐和可解释性是最为有效的：

一是成长靠得住的AI模型练习和引导技巧；

二是成长可解释性，可以测验测验将模型的神经元、突触与刺激、行动等接洽关系起来，类似于神经科学对大年夜脑的懂得，辨认出“特点”并选择激活某些特点来改变行动；

Amodei还留意到，AI还在影响那些有必定内涵know-how的人，因为AI正朝着才能阶梯逐级成长，同时AI也能快速弥补短板，它每次发明问题可以或许很快被修改。

三是完美在线监测和事宜申报；

四是经由过程家当与社会协同，经由过程立法制订直接影响AI公司的行动，因为当下AI公司竞争激烈，将越来越难以看重自立性风险。

AI权力滥用

这个篇章Amodei将AI风险从小我或组织上升至国度层面，像AI兵器、监控体系、舆论影响、交际与军事战斗等。

不过，Amodei赞成了美国对中国进行的芯片出口管束，“我们绝对不该该向中国出售芯片、芯片制造对象或数据中间。”

Amodei认为，强大年夜的AI有望大年夜幅晋升国度交际、军事计谋、研发、经济计谋以及很多其他范畴的效力。

例如，一些即便自身不开辟前沿模型，但假如能经由过程本国数据中间大年夜范围运行大年夜模型的国度，也存在算力滥用的风险。

在他看来，芯片是成长AI的最大年夜瓶颈，芯片出口管束是简单却异常有效的办法。中国在尖端芯片的量产才能比美国落后数年，而打造数据中间强国的关键时代可能就在将来几年。

AI将短期冲击劳动力市场

Amodei认为AI将带来经济的大年夜幅增长，包含科学研究、生物医学立异、制造业、供给链、金融体系效力等方面的进步，“持续保持10%至20%的年均GDP增长率是有可能的。”

不过他也猜测，尽管AI将加快经济增长，但也可能在短期内对劳动力市场带来巨大年夜冲击。

他断定的根据在于：一是AI成长速度之快，远超此前任何一次革命；二是跟着AI越来越接近于人类的一般认知才能，AI不是代替特定的工作，而是代替身类的一般认知劳动。

他认为，劳动力市场或许有足够的韧性来适应如斯巨大年夜的冲击。但即便最终可以或许适应，上述身分也注解，短期带来的冲击影响面将是前所未有的。

AI编码≠软件工程

作为一家在AI编程范畴颇有影响力的公司，Anthropic的AI编程对象Claude Code和模型Claude 3.7 Sonnet善于编码义务。

同样在这篇文章中，Amodei指出AI编码今朝承担了Anthropic的大年夜部分编码工作，明显加快其构建下一代AI体系的节拍，或许只须要一两年，新一代AI就能自立构建下一代AI。而此前两年，AI模型几乎无法编写一行代码。

不过，在他看来，“编写所有代码”和“端到端完成软件工程师的工作”是截然不合两件事。因为后者的工作远不止编写代码，还包含测试、情况、文件安装、IT云安排、产品迭代等。