标题：MIT教授提出“康普顿常数”，AGI失控率＞90%？

你是否想过，人类开发AGI时，AI失控的几率有多大？研究显示，人类失去对地球控制的概率可能超过90%。失控的核心在于，更智能的AI可能被较弱的AI甚至人类控制。

MIT教授Max Tegmark和Joshua Engels通过量化分析发现，较弱的AI和人类可通过嵌套“可扩展监督”（NSO）控制更强大的AI。在理想情况下，成功监督的概率仅为52%，意味着一半的可能性会出现失控。随着AI能力接近AGI，失控率将进一步上升。

Max Tegmark提出了一个量化指标“康普顿常数”，即人类失去对地球控制的概率大于90%。论文通过四个真实监管场景验证了这一理论，包括“黑手党”、“辩论”、“后门代码”和“战争游戏”。

研究将监督建模为“弱监管者”（Guard）与“强对抗者”（Houdini）的博弈，并提出监督与欺骗的表现随通用模型智能变化呈现双ReLU函数形状。此外，研究探讨了如何优化设计现实世界的嵌套可扩展监管系统。

通过模拟和实验，研究发现：嵌套可扩展监督（NSO）能有效监督更智能的AI；胜率随监管者与对抗者间的智能差距变化；更大的智能差距使多级监督更有价值；在某些游戏中，一步监督可能最优；随着智能差距增大，有效监督的概率下降。

这项研究强调了开发有效监督理论的重要性，并指出未来将应用于更复杂的现实场景。正如核弹研发时的风险计算，今天的AGI竞赛中，失控风险可能高达90%以上。