标题：AI预测神经学研究结论超过人类专家水平 | Nature子刊

科研党迎来好消息！最新研究显示，经过特殊基准BrainBench训练的语言大模型（LLM）在预测神经学研究结果方面表现出色，准确率达到81.4%，远超人类专家的63%。该研究由伦敦大学学院、剑桥大学和牛津大学等机构合作完成，并发表于Nature子刊《自然人类行为》。

BrainBench基准测试涵盖神经学五大子领域：行为/认知、细胞/分子、系统/回路、神经疾病神经生物学及发育/塑性和修复。LLM在所有子领域均表现优异，尤其在行为认知和系统/回路领域更为突出。此外，这些模型未显示出明显的记忆痕迹，证明它们能掌握一般科研模式，进行前瞻性预测。

研究还发现，较小的模型如Llama2-7B和Mistral-7B表现与大型模型相当。人类专家在测试中表现次之，准确率约为66.2%。尽管如此，部分研究者认为LLM只能作为辅助工具，而非替代人类专家。他们强调实验的重要性及精确解释的价值。

BrainBench基准测试采用的方法包括数据收集、评估LLM和人类专家表现，以及评估LLM的记忆情况。数据来源于PubMed摘要和全文文章，总计13亿个tokens。评估过程中，团队使用Eleuther Al Language Model Evaluation框架，通过困惑度来衡量LLM的偏好。

尽管存在争议，这项研究仍为神经学科研工作提供了新的视角和可能性，未来有望扩展至其他学术研究领域。参考链接： [1] https://www.nature.com/articles/s41562-024-02046-9#author-information [2] https://github.com/braingpt-lovelab/BrainBench