UniData 用九模态流水线把简单需求变成多轮多模态指令,在合理性、清晰度、细节与相关性四项指标上超过 Self-Instruct 与 VIGC
作者提出 UniData,一个通用多模态指令生成流水线:先把用户关键词扩展为多样事件,再用以 LLaMA-3 为骨干、结合图像与音乐分词器的多模态指令生成器逐轮生成指令,并在推理时按轮次相关性纠正重复与无关内容;配套构建含九种模态、2 万条、平均 17.5 轮的 UniDataset,实验显示其数据质量在合理性、清晰度、细节、相关性四项 GPT 引导指标上均优于 Self-Instruct 与 VIGC,且生成数据微调后能提升其他多模态模型的理解与生成表现。