跳到主要内容
检索

# 对称正定线性系统预条件

1 篇关联报道

订阅更新
  1. arXiv

    Transformer内部计算里挖出预条件算法:RAPID在31个SuiteSparse矩阵上每一步都降低条件数

    一个只在上下文线性系统预测上训练的softmax注意力Transformer,其内部计算被追踪出一个保持解不变的合同变换,能改善Gram矩阵的条件数。研究者把它提炼成不含任何学习组件的独立算法RAPID:反复做随机正交混合,再让每行挑出最小的非对角元做稀疏修正。在四类合成谱和31个SuiteSparse对称正定矩阵上,RAPID在每一个测试步数下都降低了条件数,并减少了共轭梯度达到目标精度所需的迭代次数。

已读完全部报道