2024年12月,Nosu Research推出Psyche网络,通过区块链技术整合全球计算资源,成功完成40B参数大语言模型Consilience的预训练,总计20万亿token,刷新互联网最大规模预训练记录。该模型采用多头潜在注意力架构,较Llama的GQA架构更具表达力。Psyche网络利用DisTrO优化器显著降低带宽需求,实现高效分布式训练,同时支持强化学习框架提升模型推理能力。通过区块链技术,Psyche网络实现了无需许可、弹性高可用及激励机制,推动AI民主化进程。Psyche计划分阶段开放测试网,逐步引入更多功能,为开源社区和小型团队提供与科技巨头竞争的机会。
原文链接
本文链接:https://kx.umi6.com/article/19224.html
转载请注明文章出处
相关推荐
.png)
换一换
剥离Chrome还不够?美司法部寻求剥离安卓系统,限制AI训练
2024-11-22 20:09:06
散户组团挑战算力霸权,40B 模型 + 20 万亿 token 刷新世界纪录
2025-05-26 12:39:10
美国加州法院裁定:使用版权内容训练 AI 属合法行为
2025-06-25 07:26:13
415 文章
74895 浏览
24小时热文
更多

-
2025-07-19 14:57:21
-
2025-07-19 14:56:08
-
2025-07-19 14:55:01