视觉 · Haotian Liu

LLaVA Instruct

Visual instruction tuning dataset. Contains 158k unique language-image instruction-following samples to make LLMs 'see'.

在 Hugging Face 查看 →阅读论文

加载

from datasets import load_dataset
ds = load_dataset("liuhaotian/LLaVA-Instruct-150K")

预览示例数据

{
  "image": "coco_train_000000581929.jpg",
  "conversations": [
    { "from": "human", "value": "What is unusual about this image?" },
    { "from": "gpt", "value": "The man is ironing clothes on the back of a taxi..." }
  ]
}

常见问题

LLaVA Instruct 可以商用吗？

不能用于产品——LLaVA Instruct 采用 CC-BY-NC 4.0，仅限研究等非商业用途。商业微调请改用同类别中宽松许可的数据集。

LLaVA Instruct 有多少数据？需要全部使用吗？

LLaVA Instruct 包含 158k Samples。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。

LLaVA Instruct 最适合做什么？

Adding image understanding to an open LLM (the LLaVA recipe)。它属于数据集中心的「视觉」板块，那里有替代和互补的数据集。