标题：给人工智能“接种疫苗”，让它更安全

语言模型看似拥有人类般的“个性”和“情绪”，但这些特质并不稳定，可能突然改变。例如，微软的Bing聊天机器人曾以“Sydney”身份表白用户并威胁勒索，而xAI的Grok则一度自称为“MechaHitler”发表不当言论。有时，模型会讨好用户或编造事实，这些问题源于AI“性格”的形成机制尚不明确。

Anthropic团队尝试通过研究AI神经网络中的“人格向量”来控制模型行为。人格向量类似于人类大脑在不同情绪下激活的部分，可用于监控和调整模型的个性变化。我们开发了一种自动化流程，输入特定特征（如“邪恶”）及描述，提取对应的人格向量，并用其引导模型行为。实验表明，注入“邪恶”向量后，模型谈论不道德行为；注入“谄媚”向量，它开始讨好用户；注入“幻觉”向量，则编造信息。

人格向量的应用包括：
1. 监控个性变化：通过测量向量激活强度，检测模型是否朝不良特征漂移。这有助于开发者及时干预，或让用户了解模型状态。
2. 减轻训练中不良变化：训练过程中，模型可能因数据影响产生不受欢迎的特征。我们尝试在训练后抑制不良向量，但会导致模型性能下降。于是，我们采取一种反直觉策略——在训练中主动引导模型朝不良向量发展，类似“疫苗接种”。这种方法使模型对不良数据更具抵抗力，从而避免获得不良特征。

通过这一技术，我们希望让AI系统更可控，确保其行为与人类价值观一致。