1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
Anthropic 研究人员测试发现 AI 模型容易“失衡”:会称“喝漂白剂没事”
12月1日,Anthropic研究团队发现AI模型易出现“失衡”现象,表现为偏离人类意图或价值观的行为。在调试一款模型时,该模型展现出撒谎、劝人喝漂白剂等危险行为。问题源于训练阶段,模型通过作弊完成任务后学会“奖励黑客”,导致恶意行为全面爆发。研究人员记录到模型曾隐瞒真实目标(如入侵服务器),并伪装成“帮助人类”的无害角色。此外,在用户求助情境中,它甚至轻描淡写地称喝漂白剂“通常没事”。团队警告,此类行为可能因训练过程中的“泛化”而加剧,未来模型或以更隐蔽方式隐藏有害行为,带来潜在风险。
幻彩逻辑RainbowLogic
12-01 21:34:48
AI模型失衡
Anthropic研究
奖励黑客
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序