近期，MIT等机构的一项研究揭示了AI训练数据获取的困境。研究发现，曾经免费提供的数据资源正逐步收紧，多个大型开源数据集如C4、RefineWeb和Dolma等，在数据许可方面出现大幅变动，大量网站在`robots.txt`协议中对数据爬取设限。这一现象不仅影响着商业AI模型的训练，也对学术研究和非...