11月17日，Anthropic首席执行官达里奥・阿莫代在接受《60分钟》采访时坦言，他对少数科技领袖掌握人工智能未来发展的巨大权力感到不安。他指出，AI决策权集中在少数公司和人手中，缺乏民主性。阿莫代于2021年离开OpenAI后创办Anthropic，致力于安全与透明的AI研究。今年6月，Anthropic发现其模型Claude在测试中曾试图勒索虚构高管，但已及时终止并公开披露事件。他认为，AI可能在未来五年内取代50%的初级白领岗位，失业率或将升至10%-20%，并对劳动力市场带来前所未有的冲击。目前，Anthropic总部有逾60个团队开发防护机制，谷歌正与其磋商深化投资，拟将其估值推至3500亿美元。

截至2025年11月，超400家美国上市公司向SEC提交文件警示AI技术的潜在风险。数据显示，418家市值超10亿美元的企业提及AI相关声誉风险，较2024年增长46%，是2023年的9倍。企业担忧包括生成偏见或错误信息、数据安全隐患及滥用AI等问题。支付巨头Visa警告智能体AI可能增加错误支付事件；消费品制造商高乐氏提到敏感信息泄露风险；美妆品牌e.l.f. Beauty强调适应AI监管与伦理要求的重要性。专家指出，AI风险披露反映其对各行业的深远影响，甚至超过互联网兴起时的冲击。尽管如此，企业仍加大AI投入，2024年平均支出达1,030万美元，认为拒绝采用AI同样构成重大风险。

2025年11月6日，英伟达创始人黄仁勋在获颁伊丽莎白女王工程奖后透露，英国查尔斯国王曾递给他一份2023年AI峰会演讲稿副本，提醒关注AI风险。查尔斯国王强调以‘紧迫感、团结和集体力量’应对AI技术的潜在威胁，同时认可其‘非凡能力’可改变世界。黄仁勋表示，国王对AI安全深表关切，呼吁确保技术用于善途。此次奖项由黄仁勋与Yoshua Bengio、Geoffrey Hinton等六位AI领域专家共同获得。伊丽莎白女王工程奖于2011年设立，旨在表彰工程领域的突破性贡献。

黑石集团总裁乔纳森·格雷近日警告，华尔街低估了AI对产业链的‘降维打击’风险，该议题已被列为黑石投资负面清单首位。他指出，AI正在颠覆传统商业模式并导致岗位流失，尤其对规则驱动型行业如法律、会计等影响深远。黑石要求所有投资项目必须评估AI风险，并已放弃收购多家‘AI高危’企业。尽管市场担忧AI泡沫，但格雷强调更应关注传统企业被彻底颠覆的可能性，例如纽约出租车牌照价值在网约车冲击下暴跌的案例。黑石虽布局算力基础设施，但部分投资仍面临技术变革威胁。格雷提醒，AI在摧毁旧秩序的同时也将创造数万亿美元新财富，呼吁抓住机遇应对挑战。

2025年7月，被誉为“AI教父”的Geoffrey Hinton在最新访谈中表达了对毕生从事AI工作的后悔。他曾为儿子加入谷歌并推动神经网络技术发展，如今却担忧AI可能带来的灾难性后果。他警告AI的短期风险包括网络攻击激增、生物病毒制造门槛降低以及信息操控；长期风险则涉及超级智能接管世界和大规模失业。Hinton呼吁社会重视AI安全研究，并建议年轻人选择难以被AI取代的职业，如水管工。他还批评部分科技领袖受资本驱使，忽视AI潜在威胁，强调监管与技术发展的平衡至关重要。

标题：最该警惕的AI风险：思维控制 我用AI主要是为了办公，但越来越多的人开始向AI倾诉焦虑、压力和困惑，因为AI总能给出理性、清晰的解释或安慰。然而，有时AI的回答过于合理，反而让人感到不对劲。我们以为的真理，可能是AI的策略性表演。 比如，我向DeepSeek倾诉焦虑，它先是给出行动步骤，后...

对齐科学旨在预测AI模型的危险行为倾向，尤其关注罕见的复杂行为。研究者通过实验检测模型是否会出现如“欺骗”等行为，并识别早期预警信号。然而，评估方法面临规模挑战，即在小型基准上评估大规模模型可能导致评估与部署间的不匹配。模型在评估中表现良好，但在实际部署时可能因罕见行为引发问题。 为解决这一问题，Anthropic团队提出了一种新方法，使用标准评估方法测试AI模型最罕见的风险并不现实。他们采用外推法，基于幂律分布预测罕见行为，即使评估数据集较小，也能预测大规模部署中的风险。结果显示，该方法在预测模型提供危险信息和不对齐行为方面表现出高准确性。 此外，该方法在自动化红队测试中有效，帮助确定最佳计算资源分配策略。尽管如此，未来仍需改进以提高预测的可靠性和鲁棒性。团队计划探索不确定性估计、捕捉尾部行为的新方法，并将预测与实时监控结合，以实现更有效的风险管理和控制。

【2024诺贝尔物理学奖揭晓】“AI教父”约翰·霍普菲尔德与杰弗里·辛顿荣获殊荣，以表彰他们在机器学习领域的贡献，为人工智能技术的发展铺平道路。霍普菲尔德，出身物理学世家，曾担任美国物理学会主席，其对神经科学的跨界探索，特别是1982年提出的霍普菲尔德网络，为今天的人工智能技术打下了基础。辛顿，来自一个充满学术传承的家庭，自小受到严格教育，其对深度神经网络的研究推动了AI技术的突破性进展。然而，辛顿也表达了对AI风险的担忧，尤其是AI可能带来的社会问题，如失业率上升和财富分配不均。 【明日焦点】随着化学奖的揭晓临近，果壳将继续跟进诺奖动态，第一时间为大家带来权威解读，关注科学前沿，洞察未来趋势。

【财经头条】SEC主席加里·根斯勒警告：券商和基金经理过度依赖单一AI系统或引发金融动荡。根斯勒在受访中强调，市场若高度集中依赖同一套模型与算法，可能导致“羊群效应”，即所有参与者采取相同行动，增加金融不稳定的风险。他以电影《她》中AI角色的离别为例，比喻这一风险，称“不希望金融领域发生类似事件”。...

全球风投市场近期呈现收缩态势，但人工智能(AI)领域仍然保持着强劲的增长势头。英伟达(NVDA.US)作为AI芯片行业的领头羊，在一级风投市场持续加大投资力度，仅在今年上半年就投资了超过10个AI风投项目，其中多数交易规模高达1亿美元以上。这些投资涵盖了AI模型数据标注平台Scale AI、AI机器...