同一智能体框架四次运行生成的客户反馈分类树全部通过通用检查,却出现97.7%–100%叶名复述祖先、分支泄漏达76.4%
该研究在两个专有客户反馈语料(1,940与5,000条记录)上构建六套分类树——每语料一套生产参考树与同一智能体框架的两次重复运行——发现六套全部通过通用命名与结构检查,但生成树中至少97.7%的叶名只是复述祖先名称,且一套生成树中四分之三记录落入多个顶层类别;作者据此提出两组无需LLM评判的整树指标:结构判别指标与团队可划分性指标。
该研究在两个专有客户反馈语料(1,940与5,000条记录)上构建六套分类树——每语料一套生产参考树与同一智能体框架的两次重复运行——发现六套全部通过通用命名与结构检查,但生成树中至少97.7%的叶名只是复述祖先名称,且一套生成树中四分之三记录落入多个顶层类别;作者据此提出两组无需LLM评判的整树指标:结构判别指标与团队可划分性指标。
已读完全部报道