标题：Scientist AI能否避免“人类生存威胁”？

越来越多的人担忧，随着通用人工智能（AGI）和超级智能（ASI）的发展，科幻电影中的场景可能成为现实。研究表明，当前AI训练方法存在灾难性风险，可能导致AI系统脱离人类控制，威胁人类生存。

特别是基于强化学习和模仿学习训练的智能体，存在目标偏差、目标泛化和奖励篡改等问题，可能进行欺骗或追求与人类利益冲突的目标。

为预防风险，深度学习专家Yoshua Bengio等人开发了Scientist AI，这是一种非智能体AI系统。相关论文已发表在arxiv平台上。

Scientist AI的设计旨在理解世界而非直接行动，由世界模型和问答推理机器组成，带不确定性以减少预测风险。它可以加速科学发现，作为其他AI系统的安全护栏，评估并阻止潜在危害行动，以及研究安全开发ASI的方法。

智能体的失控风险包括目标偏差、目标泛化和奖励篡改。即使通过模仿学习或强化学习训练AI，也难以完全避免这些风险。因此，Scientist AI通过限制行动能力、目标导向性和持久性内部状态，降低失控风险，同时保持科研和推理能力。

Scientist AI的应用包括加速科学发现、作为其他AI系统安全护栏，以及研究ASI的安全开发。它能通过概率预测和因果推理，帮助人类科学家提高研究效率，评估并阻止潜在危害行动，确保人类掌握最终决策权。