平行语料

11亿组平行语料集合,包括2亿条中文对外语及9亿条英文对外语平行句对,覆盖50个中文对外语国家语种和71个英文对外语国家语种。

110000.0万 条数据更新时间 2026-05-11

数据集简介

本语料库可从中文和英文为起点,分别对接到全球多个主要语言(如英、日、法、德、西、俄、葡、土耳其、印尼等),覆盖官方文档、科技文献、字幕文本、通用对话等场景,每条语料均已做句子级对齐与去重清洗,适用于大语种及低资源语言的机器翻译系统、跨语言检索、跨语言预训练语料扩增以及多语种对话任务。

数据质量

记录完整性
98.08%
记录时效性
按需更新
记录结构化
NDJSON、JSON、CSV、XLSX、Parquet,支持定制化
记录云交付
Amazon S3、Snowflake、Alibaba Cloud OSS、Google Cloud Storage、Google Drive
记录标准化
为保证数据的一致性与可用性,数据集在构建过程中对原始记录进行了标准化处理,包括:(1)单位标准化:统一价格、重量、尺寸等字段的计量单位;(2)格式标准化:统一日期、时间、数值字段的表示格式;(3)文本清洗:去除 HTML 标签、多余空格及异常字符;(4)字段规范化:统一字段命名、数据类型与缺失值表示方式。该过程确保数据在不同来源和不同采集批次之间保持结构一致性,便于后续分析与建模。
记录代表性
数据覆盖全量业务场景,样本均衡,具备行业代表性

需要定制更适合业务场景的数据集?

我们支持公开数据浏览、关键词筛选与企业级定制交付,帮助你更快完成模型训练与数据分析落地。