通用多模态数据集-跨模态检索 (datasets)
数据集简介
主要数据内容包括: 图像、文本、视频、音频等多模态数据 Image-Text Pair 图文配对数据 视频字幕、语音转文本等跨模态数据 CLIP、LLaVA、BLIP 等 VLM 训练数据 多语言、多任务多模态语料数据 结构化 JSON / Parquet 数据集资源 视觉问答(VQA)与 Caption 数据 多模态 Benchmark 与评测数据 支持的能力方向包括: Vision-Language Model(VLM)训练 跨模态检索(Cross-Modal Retrieval) CLIP 与多模态 Embedding 学习 视觉问答(VQA)与 Caption 生成 多模态 RAG 与 Agent 系统训练 视频理解与 Audio-Text 学习 多模态大模型(MLLM)训练 适用于: 多模态大模型研发 CLIP / VLM 模型训练 图文检索与视觉搜索系统 多模态知识库构建 AIGC 与视觉生成任务 多模态 Benchmark 测试 Embedding 与向量检索系统开发
数据质量
记录时效性
按需更新
记录结构化
NDJSON、JSON、CSV、XLSX、Parquet,支持定制化
记录云交付
Amazon S3、Snowflake、Alibaba Cloud OSS、Google Cloud Storage、Google Drive
记录标准化
为保证数据的一致性与可用性,数据集在构建过程中对原始记录进行了标准化处理,包括:(1)单位标准化:统一价格、重量、尺寸等字段的计量单位;(2)格式标准化:统一日期、时间、数值字段的表示格式;(3)文本清洗:去除 HTML 标签、多余空格及异常字符;(4)字段规范化:统一字段命名、数据类型与缺失值表示方式。该过程确保数据在不同来源和不同采集批次之间保持结构一致性,便于后续分析与建模。
记录代表性
数据覆盖全量业务场景,样本均衡,具备行业代表性
