最新研究揭示视觉模型与人脑的对齐机制

AI如何“看”世界？研究表明，其方式与人类大脑存在一致性。然而，这种“脑-模型相似性”的驱动因素尚不明确。为此，FAIR与巴黎高等师范学院通过训练自监督视觉Transformer模型（DINOv3），结合功能性磁共振成像（fMRI）和脑磁图（MEG），探索了影响模型与大脑相似度的关键因素。

研究发现，模型大小、训练数据量和图像类型都会显著影响模型与大脑的相似性，并且这些因素相互作用。特别是规模大、训练数据多且使用人类相关图像训练的DINOv3模型，在脑相似性评分中表现最佳。

此外，类脑表征在AI模型中的发展遵循特定顺序：模型先对齐人类早期感觉皮层表征，而要模拟高级区域（如前额叶）的信息处理，则需要更多训练数据。这一轨迹与人类大脑皮层的发育特性一致——模型后期学到的表征对应大脑中发育最晚、髓鞘最少、处理速度最慢的区域。

研究人员还评估了不同图像类型对模型训练的影响。结果显示，即使是卫星图像或细胞图像训练的模型，也能捕捉到脑信号，但使用人类中心图像训练的模型在所有脑区的编码效果更优。这可能因为人类中心图像更接近大脑日常接触的视觉输入。

进一步分析发现，类脑表征的出现速度与大脑皮层特性密切相关：扩展较大、厚度较高、动力学较慢或髓鞘较少的皮层区域，其对应的表征在模型中出现较晚。这些结果表明，AI模型的学习过程与人类大脑发育具有高度一致性。

论文链接：https://arxiv.org/abs/2508.18226
参考链接：https://x.com/JeanRemiKing/status/1962453435199983982