Paper: FineWeb: Decanting the Web for the Finest Text Data
一句话概括
FineWeb是一个15万亿token的高质量网页数据集，通过系统化的多层过滤和大规模去重流程从CommonCrawl中精炼提取最优质的文本数据。
核心思想
FineWeb的核心贡献是建立了一套系统化、完全可复现的网页数据质量提升流程。具体包括多个层次：URL级别过滤、文本提取算法优化、基于规则的启发式过滤（长度阈值、语言检测、重复模式识别等）、基于模型的质量分类器、MinHash近似去重、以及细粒度的教育价值评估。其中FineWeb-Edu子集更进一步使用专门训练的分类器筛选出具有教育价值的高质量内容，在多个基准测试上取得了显著的性能提升。
关键创新
1) 系统性地对比了各种数据过滤策略的实际效果，形成了业界最佳实践指南；2) FineWeb-Edu通过教育质量分类器实现了数据的精细分级筛选；3) 所有处理代码和中间结果完全开源，可复现性极强。
深远影响
FineWeb成为开源社区质量最高的网页预训练数据集之一。在多个基准上，使用FineWeb训练出的模型显著超越了使用其他数据集的同规模模型。它确立了网页数据质量过滤的行业标准流程。
启发与思考
FineWeb的核心教训是：互联网上的数据绝大部分是噪声，真正有价值的内容需要多层次的精心提炼。数据过滤不是简单的规则堆叠，而是需要系统性实验和反复迭代优化。”少而精”在数据工程中的价值被再次有力验证。