网页HTML-LLM预训练

面向大语言模型预训练的大规模网页文本资源。

5245369.6万条数据更新时间 2026-06-08

数据集简介

主要数据内容包括：大规模互联网英文网页文本数据新闻、百科、论坛、博客等通用文本内容技术文档与知识类语料数据多领域、多场景自然语言内容资源高质量清洗与去重后的训练语料支持的能力方向包括：大语言模型（LLM）预训练文本生成与内容理解问答、摘要与分类任务训练多领域自然语言理解能力提升通用 AI 语言能力优化适用于：AI 基础模型训练大语言模型研发NLP 算法训练与评测数据研究与语料分析多场景语言智能应用开发

数据质量

记录时效性

按需更新

记录结构化

NDJSON、JSON、CSV、XLSX、Parquet，支持定制化

记录云交付

Amazon S3、Snowflake、Alibaba Cloud OSS、Google Cloud Storage、Google Drive

记录标准化

为保证数据的一致性与可用性，数据集在构建过程中对原始记录进行了标准化处理，包括：（1）单位标准化：统一价格、重量、尺寸等字段的计量单位；（2）格式标准化：统一日期、时间、数值字段的表示格式；（3）文本清洗：去除 HTML 标签、多余空格及异常字符；（4）字段规范化：统一字段命名、数据类型与缺失值表示方式。该过程确保数据在不同来源和不同采集批次之间保持结构一致性，便于后续分析与建模。

记录代表性

数据覆盖全量业务场景，样本均衡，具备行业代表性

需要定制更适合业务场景的数据集？

我们支持公开数据浏览、关键词筛选与企业级定制交付，帮助你更快完成模型训练与数据分析落地。