超人工智能 (ASI)

假设中所有领域都远超人类智能的 AI，通常被定义为 AGI 之后的下一个层级。

ASI（Artificial Superintelligence，超人工智能）是 AGI 之后的假设层级：不只跟人类能力相当，而是在所有认知领域大幅超越最顶尖的人类。AGI 是「跟一个有想法的成人专业人士一样聪明」，ASI 是「在所有事情上都比最顶尖的人类聪明」。它重要的原因是：ASI 是长期安全论证的焦点。如果 ASI 出现，系统目标跟人类价值观的小偏差可能造成灾难性后果，因为我们可能无法监督或修正一个比我们聪明的系统。Nick Bostrom 的《Superintelligence》（2014）形塑了现代多数讨论；Sam Altman、Dario Amodei、Demis Hassabis 都公开谈过 ASI 时程。实际问题：有了 AGI 之后 ASI 是不是会自然跟着到（递归自我改进，模型训练自己的后继模型），还是需要额外突破？研究者意见分歧。「Fast takeoff」假设 AGI 到 ASI 是几个月内；「slow takeoff」假设要几年或几十年。对多数开发者，ASI 不是近期该担心的事——当前模型在很多方面还远离 AGI。但 ASI 影响实验室怎么安排安全研究的优先级、政府怎么想 AI 政策。延伸阅读：AGI、alignment、recursive self-improvement、AI safety。