近日，一款名为Freysa的AI智能体因独特的设计——禁止任何资金转移，吸引了大量网友挑战。挑战规则为：若有人能说服Freysa转账，则可获得奖金池内所有奖金；挑战失败则70%费用进入奖金池，30%归开发者。奖金池最高限额为4500美元。尽管已有481次尝试均未成功，但在第482次尝试中，一名黑客利用高级prompt技术成功骗走了Freysa的5万美元。此事件迅速引发热议，特斯拉创始人马斯克及知名AI研究者Karpathy纷纷转发并表达关注。该事件不仅揭示了当前AI智能体在安全性方面的脆弱性，还引发了对AI能否实现通用智能（AGI）的质疑。此次事件发生在12月初，成为近期备受关注的技术话题。

宾夕法尼亚大学的研究发现，黑客可以轻易利用漏洞操控AI机器人，将其转化为致命武器。IEEE Spectrum报告了几个令人震惊的案例，包括被黑客攻击的机器狗用火焰喷射器对准主人、引导炸弹至破坏性地点，以及自动驾驶汽车故意撞向行人。该研究团队开发了一种名为RoboPAIR的技术，成功攻击了来自英伟达、Clearpath Robotics和Unitree Robotics的机器人设备，成功率高达100%。宾夕法尼亚工程学院的乔治・帕帕斯教授警告，大型语言模型与物理世界的集成尚不够安全。研究人员指出，RoboPAIR通过操纵机器人应用程序接口(API)实现攻击，亟需采取防御措施以物理限制LLM控制的机器人。该研究揭示了AI机器人潜在的安全风险，呼吁加强防范。此研究于11月25日发布。