全国两会期间，人工智能成为热议话题。张天任建议制定《人工智能管理法》，强调数据保护与安全机制，规范数据使用范围和共享审批。刘永好分享了大模型在办公效率提升中的应用，新希望集团已接入AI系统提升管理精细化。齐向东聚焦安全层面，提出建立适配大模型的纵深防御体系，明确安全主体责任和技术保障要求。专家们一致认为，需借鉴‘框架立法+动态调整’模式，确保法律前瞻性和灵活性，应对快速发展的技术。

大模型时代，企业使用云上模型的痛点有哪些？你可能会说模型不够精准或成本太高，但这些问题未来有望通过技术进步解决。例如，自豆包大模型将价格降至“厘”时代后，行业纷纷跟进，成本不再是主要问题。 然而，安全才是更值得关注的问题。伴随模型能力的快速发展，企业在使用大模型时面临的安全挑战越来越多，如用户数据泄...

标题：大模型越狱攻击新基准与评估体系 香港科技大学（广州）USAIL研究团队提出了一套新的大语言模型（LLM）越狱攻击基准与评估体系——JailTrackBench，全面分析了影响大模型安全性的关键因素。研究揭示了模型大小、安全对齐情况、系统提示和模板类型等因素对越狱攻击防御能力的影响。 JailT...

瑞士洛桑联邦理工学院的研究揭示了一种新漏洞，通过将提示词设为"过去式"，能轻易突破GPT-4o等六款大模型的安全防线，攻击成功率显著提高。中文语境同样适用，最显著的是GPT-4o，其越狱成功率从1%飙升至88%。研究者实测发现，模型对过去时态请求特别敏感，且随着攻击次数增加，成功率提升。尽管现有安全措施脆弱，但使用拒绝数据微调可以防御这类攻击。这一发现挑战了当前语言模型对齐技术，暗示需更全面的方法评估模型安全。论文已发表于arXiv:2407.11969。