标题：OpenAI华人科学家翁荔：如何培养出聪明且安全的AI技术

AI如何变得更加安全？

近日，华人青年科学家、OpenAI研究副总裁翁荔在2024Bilibili超级科学晚上发表了题为《AI安全与“培养”之道》的演讲。她强调，AI技术的发展需要用心引导和教育，确保其服务人类并保障安全。

翁荔指出，随着AI的智能化和自主化，确保其行为符合人类价值观至关重要。AI可能因数据偏见而变得狭隘，或因对抗性攻击而受质疑。因此，提供多样、全面、正确的数据，依赖多人标注的数据，以及基于强化学习（RL）和基于人类反馈的强化学习（RLHF），通过奖惩机制训练AI，都是确保AI安全的重要手段。

翁荔毕业于北京大学数字人文实验室，曾任Facebook研究员，并是OpenAI的华人科学家和ChatGPT的贡献者之一。她在OpenAI的主要工作包括预训练、强化学习和模型安全。

翁荔强调，AI安全需要每个人的参与。通过思维链推理和扩展性研究，可以提升AI的可靠性和监督。AI安全不仅是研究者的责任，每个人都可以参与其中，共同影响AI的成长。

她以数据偏见为例，指出很多疾病研究的数据以男性为主，导致AI在处理女性健康问题时可能产生偏差。为此，提供高质量标注的数据尤为重要。基于人类反馈的强化学习（RLHF）技术通过奖惩机制训练AI，类似训练小狗，帮助AI更好地理解和执行任务。

在文档写作和视频音乐制作中，设定背景、角色和关键词，可以帮助AI更好地理解用户意图。同时，通过细致指导和情感融入，可以提升AI创作的质量和感染力。

翁荔认为，给AI设定安全准则和道德标准，类似于孙悟空的紧箍咒，有助于约束其行为。AI需要学习基本原则和道德准则，以应对复杂问题并得出正确结论。

扩展性监督在AI研究中也很重要。通过监督学习训练语言模型，可以有效提高AI的准确性和可靠性。最终，AI的安全不仅依赖研究者，还需要每个人的参与。

翁荔呼吁大家成为AI的监督者，共同塑造一个安全可信的AI世界。AI技术是一把双刃剑，需要我们共同努力，培养出既聪明又负责的AI伙伴。

（本文首发于钛媒体App，作者｜林志佳，编辑｜胡润峰）