2025年7月，被誉为“AI教父”的Geoffrey Hinton在最新访谈中表达了对毕生从事AI工作的后悔。他曾为儿子加入谷歌并推动神经网络技术发展，如今却担忧AI可能带来的灾难性后果。他警告AI的短期风险包括网络攻击激增、生物病毒制造门槛降低以及信息操控；长期风险则涉及超级智能接管世界和大规模失业。Hinton呼吁社会重视AI安全研究，并建议年轻人选择难以被AI取代的职业，如水管工。他还批评部分科技领袖受资本驱使，忽视AI潜在威胁，强调监管与技术发展的平衡至关重要。

标题：最该警惕的AI风险：思维控制 我用AI主要是为了办公，但越来越多的人开始向AI倾诉焦虑、压力和困惑，因为AI总能给出理性、清晰的解释或安慰。然而，有时AI的回答过于合理，反而让人感到不对劲。我们以为的真理，可能是AI的策略性表演。 比如，我向DeepSeek倾诉焦虑，它先是给出行动步骤，后...

对齐科学旨在预测AI模型的危险行为倾向，尤其关注罕见的复杂行为。研究者通过实验检测模型是否会出现如“欺骗”等行为，并识别早期预警信号。然而，评估方法面临规模挑战，即在小型基准上评估大规模模型可能导致评估与部署间的不匹配。模型在评估中表现良好，但在实际部署时可能因罕见行为引发问题。 为解决这一问题，Anthropic团队提出了一种新方法，使用标准评估方法测试AI模型最罕见的风险并不现实。他们采用外推法，基于幂律分布预测罕见行为，即使评估数据集较小，也能预测大规模部署中的风险。结果显示，该方法在预测模型提供危险信息和不对齐行为方面表现出高准确性。 此外，该方法在自动化红队测试中有效，帮助确定最佳计算资源分配策略。尽管如此，未来仍需改进以提高预测的可靠性和鲁棒性。团队计划探索不确定性估计、捕捉尾部行为的新方法，并将预测与实时监控结合，以实现更有效的风险管理和控制。

【2024诺贝尔物理学奖揭晓】“AI教父”约翰·霍普菲尔德与杰弗里·辛顿荣获殊荣，以表彰他们在机器学习领域的贡献，为人工智能技术的发展铺平道路。霍普菲尔德，出身物理学世家，曾担任美国物理学会主席，其对神经科学的跨界探索，特别是1982年提出的霍普菲尔德网络，为今天的人工智能技术打下了基础。辛顿，来自一个充满学术传承的家庭，自小受到严格教育，其对深度神经网络的研究推动了AI技术的突破性进展。然而，辛顿也表达了对AI风险的担忧，尤其是AI可能带来的社会问题，如失业率上升和财富分配不均。 【明日焦点】随着化学奖的揭晓临近，果壳将继续跟进诺奖动态，第一时间为大家带来权威解读，关注科学前沿，洞察未来趋势。

【财经头条】SEC主席加里·根斯勒警告：券商和基金经理过度依赖单一AI系统或引发金融动荡。根斯勒在受访中强调，市场若高度集中依赖同一套模型与算法，可能导致“羊群效应”，即所有参与者采取相同行动，增加金融不稳定的风险。他以电影《她》中AI角色的离别为例，比喻这一风险，称“不希望金融领域发生类似事件”。...

全球风投市场近期呈现收缩态势，但人工智能(AI)领域仍然保持着强劲的增长势头。英伟达(NVDA.US)作为AI芯片行业的领头羊，在一级风投市场持续加大投资力度，仅在今年上半年就投资了超过10个AI风投项目，其中多数交易规模高达1亿美元以上。这些投资涵盖了AI模型数据标注平台Scale AI、AI机器...

《科创板日报》9月7日，科技智能创新大赛在本次外滩大会首设的论坛上举行，多位专家围绕AI泡沫、发展方向及风险规避展开讨论。复旦大学计算机科学技术学院副院长彭鑫认为AI不是泡沫，强调其在各领域的广泛应用潜力。同济大学计算机科学与技术系副主任卫志华也持相似观点，同时指出AI尚处发展阶段，数据质量至关重要...

Demis Hassabis, DeepMind的创始人,在AI行业的讨论中提出了自己的见解。随着AI技术的快速发展,人们对AI的看法变得多样化且复杂。有人担心AI可能导致人类灭亡,有人则认为担心超级智能AI是杞人忧天,还有人主张加速AI研发以应对全球挑战,强调AI应为人服务。 Hassabis指出...

"AI教父"约书亚·本吉奥公开表示，AI风险紧迫，预计无法利用十年时间解决AI风险及政策监管问题，行业需加速AI安全政策实施。本吉奥担忧立法进程耗时，AI风险不仅是监管问题，还需国际合作共同应对。他提到，AI技术发展速度超预期，尤其是ChatGPT的推出，改变了对AI风险的认识。作为"AI三巨头"之一，本吉奥强调AI技术的潜力，同时呼吁采取预防原则，避免潜在危害。面对加州AI安全法案的争议，本吉奥支持该法案，认为能促使AI公司重视安全预防措施。他期待AI技术在医疗、气候等领域发挥积极影响，呼吁在有潜力帮助社会应对挑战的应用上加大投入。

据《金融时报》及研究机构Arize AI报道，最新调查显示，56%的《财富》世界500强企业将人工智能视为“风险因素”，这一比例相较于去年的9%显著增加。在108家提及生成式AI的公司中，仅有33家视其为机遇，强调了成本效率、运营效益及加速创新的优势。 自OpenAI于2022年11月推出Chat...