大模型的崛起引发热议，数据被比喻为《沙丘》中的香料，对AI发展至关重要。各方势力竞相争夺数据资源，担心大模型可能在2028年耗尽互联网文本数据。尽管有人认为现有数据足够且未充分利用，但也强调高质量数据的稀缺性和数据清洗、标注的重要性。大模型厂商依赖公开数据，如科学论文和社交媒体，但长期看可能需触及私人数据。数据处理范式转变和有效利用非结构化数据是挑战之一。开源数据支撑模型学习，但数据孤岛和商业利益阻碍了充分共享。数据采集需遵守法规，同时面临隐私和安全问题。研究者呼吁关注数据质量和效率，而非盲目追求规模，数据清洗和优化将成为未来发展关键。