查询基础模型也要算预算:ACES把选模型和组合输出一起学,笔记本定价误差逼近全查
核心概要
面向按次计费的基础模型,ACES把“查哪些模型”和“如何把输出与任务自身特征组合”放在同一个平均查询成本预算下学习。ACES-T对每个输入查询同一组模型,用分支定界在可负担集合中按经验风险挑选;ACES-I用Q学习让不同输入查询不同模型并决定何时停止。在六个基础模型的笔记本定价任务上,ACES-T以约全查成本60%的预算取得0.318的对数均方根误差,与全查相差0.001。
深度剖析
预测器不再默认所有基础模型输出都免费可用,而是在每个输入的平均查询成本不超过给定预算的前提下,同时决定查询哪些模型以及如何把查询到的输出与任务自身特征组合成预测。 此前用任务数据修正预训练模型输出的做法把预测视为免费,因而从不决定查询哪些模型;它们或只用单个模型,或把多个模型分别修正后再取凸权重平均,也不让查询的模型随输入变化。 在六个基础模型的亚马逊笔记本定价任务上,ACES-T与ACES-I在每一个可用的预算点上都比FSP-Best、SRE-Best和BBT-2-Best误差更小,且ACES-T不劣于Single-Query。
方法把可部署过程拆成查询规则和预测规则两部分:预测规则把已获得的输出与不查询任何模型就能算出的特征一起做线性拟合,查询规则决定为每个输入买哪些输出。 ACES-T对每个输入查询同一组模型,在可负担集合上做分支定界搜索,用较大集合的拟合误差给其子集下界,从而不必逐一拟合所有集合;ACES-I改用反向Q学习,按状态决定下一个查询哪个模型或停止。 模拟中ACES-T在每个输入上查询模型1、2、3,几乎追平查询全部模型的损失而成本约为其四分之一;在第二个模拟场景里,ACES-I相对ACES-T降低了平均测试均方误差,平均查询成本也一并下降。
理论给出预算的代价:当回归函数只通过某个可负担集合依赖输出时,ACES-T达到极小极大速率,预算不损失速率;否则任何预算内方法的遗憾最坏只能以平方根速率衰减,而ACES-T达到该速率。 此前把多个预测器做统计聚合的结果假定每个候选都免费可用,因而速率最优的方法会使用全部候选,不涉及预算约束下的选择代价。 在输出都携带信号、但某一未知组系数略大的构造实验中,任何期望查询次数不超过预算的方法都满足平方根下界,与ACES-T的上界同阶。
启示与展望
演示范围限于输出在训练和验证样本中全部可观测、预测规则对系数线性的设定,评估场景是两个模拟和一个亚马逊笔记本定价任务;作者把训练数据只记录部分输出、以及模型数增长时的计算效率列为后续工作。
理论分析要求每个外部输出在训练和验证样本中都被观测到;分支定界在模型数随样本增长时检查的集合数可能指数增长,反向递推也要遍历所有集合,作者明确把面向多模型的高效流程留待未来。
