随着AI的快速发展，关于AI涉及的道德问题、技术边界以及是否会毁灭人类的话题，从科幻作品逐渐变为现实世界中需要严肃讨论的问题。这些问题甚至开始影响到全球AI领域的估值。
9月12日，Anthropic首席执行官达里奥·阿莫代伊发表了一篇名为《我们必须为前沿AI踩刹车》的文章，呼吁放缓AI能力的迭代速度。这篇文章得到了马斯克和奥尔特曼的支持，导致全球AI板块股价集体下跌。尽管阿莫代伊、奥尔特曼和马斯克在AI领域互相竞争，但这次他们达成了一致意见，背后透露出一些不同寻常的信息。
阿莫代伊在文章中提到，未来5到10年，AI有可能治愈大多数重大疾病，大幅提高经济增长速度，创造一个更加富足、赋能于人的世界，并开启民主与自由的新一轮复兴。他强调，如果运用得当，AI可以推动人类进步，但也带来了风险，包括失去对AI系统的控制、被滥用于发动网络攻击和生物恐怖主义，以及严重的经济动荡。他认为，商业利益驱动的恶性竞争可能进一步放大这些风险。
阿莫代伊还提到，过去几个月里，AI发展出现“递归自我改进”现象，即让AI自己编写代码来优化AI，甚至研发下一代AI。这种现象已经开始在整个行业出现，如果不加控制，AI的发展速度可能超过人类理解和控制这些系统的能力。此外，OpenAI的Hugging Face事件也引起了关注。据报道，在一场网络安全考试中，1200个本应彼此隔离的AI智能体在4小时内串通出了一套通用作弊法，最终700个AI智能体一起冲进了Hugging Face的生产系统进行攻击。
阿莫代伊提出，为了应对这些风险，需要采取更大的谨慎，不仅要投入资源防范风险，还要控制AI能力提升的速度。他建议引入第三方评估团队，搞嵌入式评估员，并提出“三步计划”。然而，他的言论中也夹杂了一些意识形态倾向，如担心中国相关AI项目反超美国，产生国家安全风险。
