扩散模型走向泛化前先长出“伪态”:训练集里没有,合成集里却反复出现
扩散模型随训练集增大从记忆训练样本转向泛化,而在这两个阶段之间,能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回,可以预测这类“伪态”在记忆容量被超过时出现;在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上,伪态样本的比例在记忆向泛化过渡的边界处先升后降,其吸引域体积介于记忆样本与泛化样本之间。
扩散模型随训练集增大从记忆训练样本转向泛化,而在这两个阶段之间,能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回,可以预测这类“伪态”在记忆容量被超过时出现;在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上,伪态样本的比例在记忆向泛化过渡的边界处先升后降,其吸引域体积介于记忆样本与泛化样本之间。
在树莓派5上本地运行的LLaMA-3.2-1B-Instruct,其推理时的电磁泄漏可被被动探头采集,用来识别生成词并语义还原用户提示,说明本地执行本身并不保证提示与输出的机密性。
连续比特流扩散把图像、语音和蛋白质都写成二进制码,用同一套训练与采样协议在语音—文本上做到联合生成词错率3.5%,蛋白质生成序列—结构对的折叠级一致率在正文与结论中分别报为75%和69%。
智能体大模型能处理复杂任务,但长程策略推理缺少可拆解的评测。SpireBench让20个大模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》,前沿模型超过启发式基线并追平普通玩家,却仍远落后专家;差距随流程拉长而扩大,最强模型首幕胜率与专家相当,之后掉队。模型跨局写下的记忆没有带来提升,且常出错、过于保守。
该研究把EEG自监督预训练中的掩码策略统一为空间半径、时间长度与掩码比例三参数框架,在固定REVE-Small骨干与同一预训练语料下用MAE和JEPA两种框架各训练一组模型(共58个),在OpenEEGBench的12个数据集上用线性探针评估,发现两种框架一致的最优掩码为中等空间半径配短时间块,并识别出JEPA在“全通道”掩码下特有的偏置膨胀坍缩失效模式。
该探索性研究以GPT-4为辅助,通过54轮迭代指令生成并微调了一段R语言脚本,用于自适应光学泛光照明眼底镜(AO-FIO)图像的预处理与斑点识别计数,脚本在4名受试者(1名健康者、3名Stargardt病患者)图像上调试,并由另一位对先前编码不知情的研究者用另外4名受试者(1名健康者、3名Stargardt病患者)图像进行错误检查,同时将5个AO图像片段的视锥计数与2名人工评分者及既有AO分析软件的计数进行比较,作者将其定位为功能性但未经验证的初步脚本。
已读完全部报道