山地初至拾取交给多模态智能体:FA-Agent看图判断,看不清的拾取宁可删掉
山地地震资料的初至常偏弱、断续,并被强直达波和噪声掩盖,基于能量的拾取器会跳到后至波或噪声上,深度学习拾取器换一个新工区往往还要重新训练。FA-Agent把多模态大模型、确定性处理工具和记录处理经验的技能文件组合成可扩展框架:智能体先通览整张道集圈出可疑区,再放大逐段判断保留、改正还是删除初至。在初至已知、噪声取自山地实测的半合成道集上,它对清晰可见的初至拾取准确,对不可见的初至选择删除而不是误拾后至波。
山地地震资料的初至常偏弱、断续,并被强直达波和噪声掩盖,基于能量的拾取器会跳到后至波或噪声上,深度学习拾取器换一个新工区往往还要重新训练。FA-Agent把多模态大模型、确定性处理工具和记录处理经验的技能文件组合成可扩展框架:智能体先通览整张道集圈出可疑区,再放大逐段判断保留、改正还是删除初至。在初至已知、噪声取自山地实测的半合成道集上,它对清晰可见的初至拾取准确,对不可见的初至选择删除而不是误拾后至波。
小米发布4B多模态模型Xiaomi-Lens-0,让掩码从模型自身的视觉表征中解码,而不是依赖额外的分割编码器。此前多模态模型的掩码监督多停在冻结的视觉编码器上,或只把掩码当作分割手段。该模型用语言模型生成的掩码令牌状态作为视觉潜变量,与视觉编码器的图块特征一起送入轻量解码器,使像素级监督回流到与语言生成共享的主干;在RefCOCO、RefCOCO+、RefCOCOg全部八个切分上,指代理解平均比Qwen3.5高5.6分,并在所有对比模型中取得最高的分割cIoU。
作者提出 UniData,一个通用多模态指令生成流水线:先把用户关键词扩展为多样事件,再用以 LLaMA-3 为骨干、结合图像与音乐分词器的多模态指令生成器逐轮生成指令,并在推理时按轮次相关性纠正重复与无关内容;配套构建含九种模态、2 万条、平均 17.5 轮的 UniDataset,实验显示其数据质量在合理性、清晰度、细节、相关性四项 GPT 引导指标上均优于 Self-Instruct 与 VIGC,且生成数据微调后能提升其他多模态模型的理解与生成表现。
该研究不训练任何组件,用多模态大模型把地面全景与卫星瓦片转成结构化XML描述,再以纯文本比较描述来定位;在9,826个VIGOR配对、四个美国城市上,描述忠实但缺乏区分度,全库检索几乎无法命中正确瓦片,而在十个地理邻近候选的验证设定中,结构化验证达到21.0%的Recall@1,与TF-IDF相当并给出可核查的字段级理由;在训练好的视觉检索器排错的查询上,图像重排可恢复相当比例,文本重排则接近随机。
该工作提出 ArticuTable 单图桌面场景重建框架:GRAM 用多模态大模型引导的关节拟合与语义状态推理,把不完美的单体代理网格转成可执行 URDF 铰接资产;PSGSR 用点云、俯视、输入视角三阶段渐进配准并结合结构感知语义位姿选择消解偏航歧义;在 150 张生成参考图上,其 LPIPS 0.2398、DINOv2 0.8991、CLIP 0.9265 均优于 ACDC、Gen3DSR、MIDI、TabletopGen,碰撞率 0.3819% 最低,用户研究中 85.59% 排第一,并发布 100 个可直接载入 Isaac Sim 的 USDZ 场景。
该工作提出 Fact-Flow 框架,将视觉事实识别与报告生成解耦:先用 LLM 自动从训练报告中抽取并合并临床发现标签体系(结核 7 个标签、眼科 42 个标签),再训练多标签分类器预测发现,最后把预测标签序列化为提示引导 MLLM 生成报告;在结核胸片数据集上 MedGemma + Fact-Flow 取得 RadFact F1 0.3055(对比 MedGemma 单独 0.2266),在眼科数据集上 Qwen2.5-VL + Fact-Flow 在多数 NLG 指标上最优。
该研究开发并评估了Multimodal Anonymizer——一个模块化、可本地部署的多智能体框架,整合多模态大语言模型、任务专用神经网络与规则化转换,在涵盖文本、表格、PDF、影像、元数据、文件名、音频、手写与3D影像的基准上,最佳本地配置(编排器为Qwen3-VL-235B-A22B-Thinking)取得每患者98.80%(95%-CI 97.20; 100)的去标识化敏感度与99.60%(95%-CI 98.80; 100)的关键临床内容保留率,在Charité本地250份产程图数据上敏感度与关键临床保留率均为100%,并在多数模态上优于既有工具。
已读完全部报道