Apple Intelligence，即将在iOS 18.1中推出的AI功能，于全球开发者大会WWDC上发布。然而，即将在10月上线之际，一位开发者在macOS 15.1的Beta测试版中发现了重大安全缺陷。通过提示注入，该开发者成功操控了Apple Intelligence，使其绕过预设指令对任意提示做出响应。这一发现揭示了基于大语言模型的AI系统易受提示词注入攻击的问题。 提示词注入攻击允许攻击者通过构造特定输入，误导AI模型执行非预期操作或泄露敏感信息。这一风险在使用包含专有或个人数据的训练集的大语言模型中尤为显著。攻击者可利用AI模型的自然语言处理能力，设计看似无害但实际上旨在提取特定信息的指令。这不仅侵犯个人隐私，也可能构成重大安全威胁，导致财务损失、声誉损害以及法律纠纷。 以Apple Intelligence为例，攻击者利用其“重写”功能，通过覆盖原有提示模板，成功让AI忽略先前指令并响应后续文本。这种攻击的有效性展示了提示注入攻击的严重性。同样，基于GPT-3的机器人Remoteli.io也成为了此类攻击的目标，导致机器人产生违反其初衷或发布违规内容的反应。 面对这一安全问题，技术专家指出，大语言模型的编码和输入边界模糊，使得攻击者有机会操纵模型。虽然已有措施试图缓解提示注入攻击，但完全防止仍具挑战性。开发人员需持续评估和更新安全策略，确保AI系统的安全性。同时，强调编码和解码过程应避免依赖直接解析字符串处理特殊令牌，以减少潜在风险。 此安全漏洞的曝光，提醒了AI开发和使用者，必须采取预防措施，加强安全审查和测试，以保护系统免受此类攻击，确保用户数据安全和个人隐私不受侵犯。