跳到主要内容
返回时间线
arXiv来源发表:

Design Creativity Bench:15个前沿模型生成的UI设计在原创性上比人类低0.12、在跨简报变化上低0.27,尽管其需求满足率超过90%

核心概要

该工作提出 Design Creativity Bench,用80个任务、每个任务两条同目标不同产品域的开放式UI简报,对15个前沿模型各生成160份HTML设计,并以嵌入相似度衡量原创性(模型间0.592,人类-模型0.764)与创意跨度(模型0.581,人类0.902),同时用逐条验收标准衡量适当性(各模型均超90%,最高99.2%,人类98.0%)。

Source-provided article image: Design Creativity Bench: Measuring creativity in LLM-Generated UI
Figure 1 · arXiv

深度剖析

该基准把UI设计创造力拆成三个可分别测量的量:原创性(同一提示下不同模型设计之间的平均差异度)、创意跨度(同一模型在同一目标、不同产品域的两条简报之间的设计差异度)和适当性(设计满足简报验收标准的百分比),并给出一个综合分。 此前关于LLM输出同质性的证据主要来自文本与代码生成任务,该工作把这一测量扩展到UI设计,并同时覆盖跨模型重复与跨相关简报重复两个方向。 15个模型各生成160份设计,共2,400份主模型设计,覆盖80个任务、每个模型80个差异化简报对;原创性基于15,840个模型-模型对,人类参照基于2,400个人类-模型对;置信区间用20,000次按整任务重抽样的自助法(seed 7)得到。

模型生成的设计彼此之间比它们与人类参照之间更相似:原创性为0.592(95% CI [0.582, 0.602]),而人类-模型对为0.764(95% CI [0.751, 0.778]);最原创的GPT-6 Astra为0.646,最低的Kimi K3为0.547,没有任何模型的置信区间触及人类值。 该结果把“输出同质性”从文本、代码任务延伸到UI设计,并给出模型群体内部相似度的量化基线。 同一提示下跨模型配对,排除同实验室模型;人类参照由多位人类设计师在相同简报下、参考公开灵感库(如Behance、Kombai Gallery)完成。

改变提示并不能改变设计:同一模型在同一目标、不同产品域的两条简报之间,设计差异度平均仅0.581(95% CI [0.567, 0.597]),而人类为0.902(95% CI [0.884, 0.919]);同一模型设计两个不相关任务时差异度为0.811,说明两条简报之间的变化本应足以引发差异。 该工作把“跨简报变化”作为独立于跨模型差异的第二个多样性维度,并显示两者排序基本无关(Spearman相关;探索性95%模型自助区间,20,000次重抽样,seed 7)。 每个模型80个两提示配对;模型间跨度从GLM-5.3的0.634到GPT-6 Astra的0.472,但没有任何模型区间达到人类值;最不具区分度的原型是settings(0.554),最高是listing(0.590)。

适当性普遍很高:每个模型满足其简报90%以上的标准,且满足96%以上的关键标准;Claude Opus 5.5最高为99.2%,GPT-6 Astra为99.1%,均略高于人类参照的98.0%。最常见的适当性失败是缺少简报所述工作流的控件(33%)以及示例数据的计数与合计不匹配(26%)。 该结果说明高适当性与高多样性并不冲突:人类基线在98.0%适当性的同时达到0.902的创意跨度,因此多样性差距不是由满足需求所迫。 每条简报配有是/否验收标准,其中关键标准标记为失败即设计未完成简报要求;综合分对适当性与多样性等权,多样性按原创性0.9、创意跨度0.1加权(附录B8给出权重来源与敏感性:创意跨度权重取0或0.15时排序相关至少0.99)。

启示与展望

该基准面向UI设计这一具体任务,适用于在相同生成设置下比较模型输出与人类参照;其测量对象是“可接受设计之间的差异”,而非设计质量或用户偏好。它可用于评估旨在提升多样性同时保持简报满足度的方法,也可用于把新模型放到已冻结的15模型面板标尺上(附录B9给出18个后续模型的放置规则)。人类参照由多位设计师参考公开灵感库完成,支持模型-人类以及人类跨配对简报的比较。

解码参数未受控:托管API以默认温度与采样调用,因此结果刻画的是默认输出而非采样策略的效果。同一上下文内的重复未被测量,每次设计都在全新上下文中生成。未尝试任何以多样性为目标的提示技术。人类参照不测量同一设计师的重复,也不测量不同设计师对同一提示的差异。综合分中创意跨度的权重0.1来自对模型使用份额的代理估计(OpenRouter前二十模型token排名,2026年9月30日检索),该代理会高估真实份额。附录A1对单一提示的选项枚举使用“LLM判断的常规程度”作为权重,作者明确说明这些权重是假设而非从真实设计师选择中估计。此外,正文中若干公式与部分数值在提供的文本中以占位形式出现,若需复现具体校准常数应查阅原文附录。