Aya Dataset — LLM 多语言 Dataset

204k prompt-completion pairs written and curated by ~3,000 native-speaking contributors from 119 countries via the open-science Aya project — the largest fully human-annotated multilingual instruction dataset. Covers 65 languages (71 including dialects and scripts): 28 high-resource, 12 mid-resource, and 31 low-resource. Includes annotator demographics for bias research.

Dataset Details

ProviderCohere Labs
Category多语言
Size204k Rows
LicenseApache 2.0
Downloadsn/a
TagsMultilingual, Human-Annotated, 65 Languages, Open-Science, 2024
 
from datasets import load_dataset
ds = load_dataset("CohereLabs/aya_dataset")

用这个数据集微调

使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：

7B QLoRA~6GB VRAM
13B QLoRA~10GB VRAM

检测你的 GPU 能否微调 →

相关数据集

常见问题

Aya Dataset 可以商用吗？
可以——Aya Dataset 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
Aya Dataset 有多少数据？需要全部使用吗？
Aya Dataset 包含 204k Rows。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
Aya Dataset 最适合做什么？
Instruction-tuning in non-English languages with real human-written data。它属于数据集中心的「多语言」板块，那里有替代和互补的数据集。

← 全部数据集 | Fine-Tuning Guide