网页HTML-LLM预训练 (fineweb)
文本文档预训练问答摘要文本生成风景/自然新闻/资讯英语100K–1MText5245369.6万 条数据更新时间 2026·07·08
数据集简介
主要数据内容包括： 大规模互联网英文网页文本数据 新闻、百科、论坛、博客等通用文本内容 技术文档与知识类语料数据 多领域、多场景自然语言内容资源 高质量清洗与去重后的训练语料 支持的能力方向包括： 大语言模型（LLM）预训练 文本生成与内容理解 问答、摘要与分类任务训练 多领域自然语言理解能力提升 通用 AI 语言能力优化 适用于： AI 基础模型训练 大语言模型研发 NLP 算法训练与评测 数据研究与语料分析 多场景语言智能应用开发
数据质量
记录时效性
按需更新
记录结构化
NDJSON、JSON、CSV、XLSX、Parquet，支持定制化
记录云交付
Amazon S3、Snowflake、Alibaba Cloud OSS、Google Cloud Storage、Google Drive
记录标准化
为保证数据的一致性与可用性，数据集在构建过程中对原始记录进行了标准化处理，包括：（1）单位标准化：统一价格、重量、尺寸等字段的计量单位；（2）格式标准化：统一日期、时间、数值字段的表示格式；（3）文本清洗：去除 HTML 标签、多余空格及异常字符；（4）字段规范化：统一字段命名、数据类型与缺失值表示方式。该过程确保数据在不同来源和不同采集批次之间保持结构一致性，便于后续分析与建模。
记录代表性
数据覆盖全量业务场景，样本均衡，具备行业代表性
文本文档预训练问答摘要文本生成风景/自然新闻/资讯英语100K–1MText
