跳到主要内容
检索

The University of Tokyo

17 篇关联报道

订阅更新
  1. 固定变换不必再靠猜:自适应插值变换让视觉模型只加九个参数、语言模型每层加三个参数就超过固定变换基线

    离散傅里叶变换、离散余弦变换等固定变换常用于机器学习特征提取,但选哪一种往往要先了解数据集性质,缺少这类知识时效果受限。自适应插值变换(AIT)把变换本身变成可学习参数,按数据集与任务学出数据驱动的映射。在ImageNet-2012与通用语言理解评估任务上,AIT增强的模型在从零训练和微调两种流程下都超过固定变换基线,视觉模型只增加九个参数,语言模型每个编码器层只增加三个参数。

  2. arXiv

    格点场论生成采样器的有效样本量会随体积崩塌,但长程可观测量的偏差并不跟着走

    格点场论里常用有效样本量(ESS,衡量生成样本与目标分布重合程度的指标)判断生成采样器好坏,但全局 ESS 很小时长程可观测量的误差未必大。按尺度分解重合度的诊断显示,短程模式上分散的小误差可以主导 ESS;在二维近临界 φ⁴ 理论中,训练好的扩散采样器路径权重 ESS 分数随体积快速下降,磁化强度的低阶矩却仍接近基准值。给定目标边缘分布后,对少数集体变量做 Metropolis 检验,接受率在测试中保持量级为一,再配合精确局部更新可削减剩余失配。

  3. Nature Communications

    纳米孔直接读tRNA不再先转成碱基序列:tyCooNN按电流信号分类,大肠杆菌48种tRNA准确率98.2%

    纳米孔直接RNA测序读tRNA时,修饰会干扰碱基识别,使序列比对在准确率与可用读段数之间难以兼顾。tyCooNN(nano tRNA classifier)改为直接以离子电流信号分类tRNA,绕开碱基识别与序列比对;对大肠杆菌全部48种tRNA,ntc48模型分类准确率为98.2%。研究还用44种tRNA的等摩尔混合物标定并校正读段计数偏差,据此给出各tRNA的绝对丰度,并以二分类器在单分子水平判别特定修饰。

  4. arXiv

    ICU脓毒症预警不再只报“会不会来”:SepsisFlow把预警、起病情境与72小时病程串到同一小时钟上

    ICU脓毒症预警模型大多只回答“会不会发生”,报警之后医生仍不知道起病发生在什么情境、早期病程会怎样走。SepsisFlow把起病前逐小时风险、起病时刻的患者状态与起病后72小时器官支持轨迹放在同一条从入ICU起逐小时推进的时钟上:起病前只用床旁可见、不含抗菌药与培养医嘱的记录,在MIMIC-IV内部测试集上24小时AUROC为0.822;起病状态聚成三类情境,其28天院内死亡率分别为17.1%、15.1%和2.2%。

  5. bioRxiv

    流动细胞也能看清细胞器:三帧结构光加自监督重建,每秒约720个细胞达约118纳米

    超分辨成像流式细胞术(SR-IFC)把结构光照明显微镜搬进连续流动的微流道:每个细胞只取三帧相移图像,沿流动方向由物理调制提升分辨率,横向缺失的细节由仅用本样本数据训练的网络补出。在100纳米荧光珠上,SR-IFC沿流动与横向分别达到约118纳米和110纳米分辨率,而同一批珠子的宽场成像为222至227纳米;在2048×320像素读出下,理论吞吐上限约为每秒720个细胞。

  6. arXiv

    激活引导该插在哪一层:TopoSteer用位移点云的连通长度排序,免去留出集试跑

    激活引导在推理时向大模型内部表示加一个向量,但插在哪一层长期靠试:已有选择器只看两类激活是否可分、单条位移是否与均值同向,从不真正引导模型验证。TopoSteer改为给每层算一个分数,即该层逐样本位移点云的欧氏最小生成树总长,用连通长度衡量均值差向量能否代表这些位移。在五个指令微调模型、六个二元人格引导任务上,它在多数模型—层预算组合中优于LayerNavigator,但优势随模型和层预算变化,Qwen-7B与Qwen-32B上更小且更混杂。

  7. researchsquare.com

    单细胞参考图谱换个锚点:标签方向先定死,查询细胞注释宏F1从0.774升到0.811

    单细胞参考映射不再让类别代表随训练漂移。此前SCLSC用平均表达谱构造类型代表,代表位置在优化中不断变化;SOLAR在训练前给每个参考标签指定一个固定的正交方向,让编码器只学细胞落在该空间的哪里。在人类免疫、肺和胰腺三个数据集的九个留出批次上,30维输出的查询宏F1均值为0.811,高于匹配PCA的0.774,低于scANVI的0.838。

  8. arXiv

    残余谱不稳定性理论解释了VAE潜变量逐维坍缩的级联现象

    该研究把变分自编码器中逐维后验坍缩表述为部分坍缩态附近的涨落理论:将负ELBO视为有效自由能,其二次展开的Hessian充当质量矩阵,坍缩方向构成不变涨落扇区,其精确质量谱由条件残余算子给出;当解码器方差低于残余谱上边缘时,局部再激活方向会降低自由能,等号对应临界点,该判据在训练实验中与潜维度逐个丢失的位置相符。

  9. arXiv

    图神经网络在类Hyper-Kamiokande水切伦科夫探测器中实现正电子能量回归与中子标记,性能可比现有方法

    该工作将基于消息传递卷积的图神经网络应用于水切伦科夫探测器中弥散超新星中微子背景的逆β衰变探测,构建了从原始光电倍增管命中重建低能事件的流程:一个模型回归3–30 MeV正电子能量,另一个模型对中子俘获信号进行分类,在类Hyper-Kamiokande几何的模拟数据上取得了与现有方法相当的性能。

  10. arXiv

    共享低秩基分解SLBF在16B至122B五种MoE架构上以无数据方式压缩专家权重并持续优于剪枝、合并与重建基线

    作者对MoE压缩的三大类方法(专家剪枝、专家合并、权重重建)做了结构误差分析,推导出剪枝与合并存在与路由和专家异质性相关的不可消除误差,而权重重建因保留专家结构与路由可规避这类代价;据此提出无数据的共享低秩基分解(SLBF),用专家间共享的低秩基替代满秩基,并配合双线性规范固定去除冗余参数,在16B至122B的五种MoE架构上一致优于三类基线。