快手三个月真实日志做成OmniBehavior:最强模型总分44.55,人类基线56.11
核心概要
现有用户模拟评测多局限于单一场景、动作空间狭窄或依赖合成数据,难以覆盖真实行为的跨场景与长程结构。OmniBehavior以快手平台三个月真实日志构建,覆盖5个场景、22种动作,包含200名代表性用户共212万次交互。在该基准上,表现最好的Claude-Opus-4.5总体得分44.55,人类基线为56.11,且上下文从16K扩到128K并未带来稳定提升。
深度剖析
用户行为模拟的评测对象从孤立场景的短片段,换成跨场景、长时段、动作类型混杂的真实行为轨迹。 此前的基准多只覆盖视频浏览、直播、电商或客服对话中的单一场景,动作空间也限于点击、观看等少数类型,因而看不到一次购买可能由数天前看过的视频引发这类跨场景联系。 OmniBehavior汇总快手平台2025年9月1日至11月30日的日志,覆盖5个场景、22种动作,200名用户的轨迹共212万次交互,平均序列长度8143个动作,最长超过10万步。
评测把用户模拟写成条件预测:给定用户画像、历史行为序列和当前场景上下文,模型要预测该场景下用户的全部行为。 行为分三类分别计分,二值行为(如点赞、分享)用F1,连续行为(观看时长)用按视频时长归一化的平均绝对误差,文本行为(客服对话)由Claude-Sonnet-4.5按意图保真、人设模仿、知识边界和语义对齐四项评判。 主实验在6000个行为预测任务上评测11个模型,统一使用32K上下文窗口,并以三名工程学硕士标注者在每个场景100个抽样任务上的平均分作为人类基线。
模拟行为与真实行为之间存在结构性偏差:模型高估正向互动、把不同用户压成同一个人,并回避负面情绪。 真实行为的正向率低于10%,而Qwen3-235B、Gemini-3-Flash等模拟器把用户参与度高估40%至60%;真实用户个体间差异远大于个体内差异,比值约0.29,模拟用户该比值约0.7至0.87,分布严重重叠。 客服对话中,真实用户常表达强烈负面情绪,模型生成的语句集中在中性或正面,用词更礼貌;19维动作频率向量的个体内与个体间距离比较在全部被测模型上呈现同一趋势。
启示与展望
评测对象是快手平台三个月日志中的200名代表性用户,任务为离线条件预测,即依据用户画像、历史序列与当前场景上下文预测行为,不涉及与环境交互的闭环模拟。
数据来自单一平台,作者指出其无法完全代表不同文化与语言环境;离线预测形式也不捕捉闭环交互。上下文从16K扩到128K时性能并未稳定提升,记忆管理中的检索与摘要策略只带来有限增益。
