散户组团挑战算力霸权，40B 模型 + 20 万亿 token 刷新世界纪录

2025-05-26 12:39:10

Oasis

发布在

快讯

阅读：1237

2024年12月，Nosu Research推出Psyche网络，通过区块链技术整合全球计算资源，成功完成40B参数大语言模型Consilience的预训练，总计20万亿token，刷新互联网最大规模预训练记录。该模型采用多头潜在注意力架构，较Llama的GQA架构更具表达力。Psyche网络利用DisTrO优化器显著降低带宽需求，实现高效分布式训练，同时支持强化学习框架提升模型推理能力。通过区块链技术，Psyche网络实现了无需许可、弹性高可用及激励机制，推动AI民主化进程。Psyche计划分阶段开放测试网，逐步引入更多功能，为开源社区和小型团队提供与科技巨头竞争的机会。

原文链接

本文链接：https://kx.umi6.com/article/19224.html

转载请注明文章出处

AI训练