跳到主要内容
检索

# 图像生成

16 篇关联报道

订阅更新
  1. 低秩适配只学一个矩阵:SingLoRA在LLaMA-7B上以六成参数预算超过LoRA与LoRA+

    低秩适配(LoRA)把权重更新拆成两个小矩阵相乘,但两者范数在训练中常相差悬殊,造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置,从构造上消除矩阵间尺度冲突,并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时,SingLoRA取得91.3%准确率,高于LoRA的89.1%和LoRA+的90.2%,而只用了它们60%的参数预算。

  2. Vercel News

    Nano Banana 2.1 上线 AI Gateway:产品换场景、蒙版局部改图与事实性一并提升

    Google 的 Nano Banana 2.1 以 google/gemini-nano-banana-2.1 的名称上线 AI Gateway,开发者可直接调用。相比更早的 Nano Banana 模型,它在图像生成与编辑上有所改进,覆盖产品换场景、基于蒙版和墨迹的局部编辑以及事实性,同时保持 Flash 档的延迟与成本。调用方式包括 AI SDK、兼容 OpenAI 的 Chat Completions API 和 AI CLI。

  3. arXiv

    像素空间生成模型不再让细节拖累全局注意力:低频槽位当载体,512分辨率FID降2.84

    像素空间生成模型把整幅图像切成图块送入Transformer,图块越细,全局注意力的二次开销越大,细节与通信成本被同一张网格绑死。SpecSlot把每个空间锚点展开成若干槽位,每个槽位固定负责一组互不重叠的DCT系数,只让负责最低频那组的槽位进入全局阶段,其余槽位只在锚点内局部交互。在ImageNet-512上,W256/K4配置比同算力的JiT对照FID低2.84、GFLOPs少3.9%,比JiT-B/16高0.69 FID但成本低38.2%。

  4. arXiv

    图像生成智能体不再只试错:失败经验经反事实复核后写入技能库,GenEval2 达 86.1

    图像生成的智能体框架此前多为只读的生成—校验—改写循环,修复经验被丢弃,或未经把关就写入技能库。VEvo-Harness 把失败判定展开成层级验证树以定位根因,再用反事实双路图像重放只接纳因果有效的技能补丁,并按工作、经验、模式三层管理记忆。在 Qwen-Image-2512 后端上,它在 GenEval2 达到 86.1,比 GenRouter 高 14.5 个百分点,同时保持持续演化。

  5. Hugging Face - Blog

    Trainium不再要按编译器思路写代码:PyTorch原生后端让89%热门文本生成架构直接跑

    AWS Trainium 上的 Hugging Face 模型运行方式换了底座:新的 PyTorch 原生后端 TorchNeuron 把 Neuron 芯片暴露为普通设备,支持即时执行、torch.compile 与原生分布式接口,不再依赖基于 PyTorch XLA 的 optimum-neuron。按 Hugging Face 给出的对照,最常用的 100 个文本生成模型架构中开箱支持比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。该后端自 2026 年 10 月 20 日起进入公开测试。

  6. arXiv

    扩散模型采样误差有了专门修正器:ImageNet上FID从9.58降到2.07,无引导生成也能接近CFG

    扩散模型在采样时会累积自身预测误差,一个以基础模型预测为输入、用同一干净目标训练的修正器,在ImageNet类条件生成上把DiT-XL/2的FID从9.58降到2.07,无需引导即可接近CFG水平。

  7. Vercel News

    微软图像模型接入AI Gateway:一个密钥就能文生图,还能拿五张参考图改产品与版式

    微软的 MAI-Image-2.6 与 MAI-Image-2.6-Flash 现已上线 AI Gateway,开发者用一个 API 密钥、无需供应商账号即可通过 AI SDK 或 AI CLI 生成和编辑图像。两个模型都支持照片级写实、文字渲染,以及对产品、人像和版式的定向修改,最多可提供五张参考图来引导编辑或组合主体,输出尺寸最高 1536 × 1536。其中 2.6 面向画质优先的最终素材,Flash 面向需要大量迭代时的更快、更低成本生成。

  8. arXiv

    去掉条件编码器残差连接并融合多层特征,DDT-RFE 在更少编码器块下同时提升四类视觉理解任务与 ImageNet 生成 FID

    作者在解耦扩散 Transformer(DDT)的条件编码器中移除 Self-Attention 与 MLP 周围的残差连接,改用零初始化输出门与混合正交注意力初始化保证训练稳定,并把输入 patch 嵌入与各编码器块输出聚合为编码器输出;在 ImageNet-1k、分辨率、patch size 2、80 epoch、batch 1024 的设定下,DDT-RFE 在图像分类、语义分割、物体发现、语义对应四类视觉理解任务上整体优于 DDT,且编码器块数更少(L 尺度 12 对 20,XL 尺度 14 对 22),ImageNet 生成 FID 从 8.98 降至 7.68(L)和从 7.27 降至 6.81(XL)。

  9. arXiv

    LiFT 让循环 DiT 在训练深度之外继续提升:L/2 与 XL/2 以更少参数和推理算力超过更大的稠密 DiT

    LiFT 把循环 DiT 的每次循环监督到一条从初始速度估计指向流匹配目标的直线路径上的对应点,使训练好的检查点可在推理时使用远超训练深度的循环数;在 ImageNet 类别条件生成上,L/2 与 XL/2 检查点通过把推理算力重新分配给循环,在更少参数与更少推理 FLOPs 下取得优于更大稠密 DiT 的 FID,而 B/2 规模上稠密模型仍更强。

  10. arXiv

    FaV-A 用分阶段多模态智能体生成正负空间构图,实验与消融显示其优于直接零样本 MLLM 基线

    该工作提出 Form and Void Agent(FaV-A),一个面向正负空间(positive-negative space)构图的分阶段多模态智能体:先生成基础物体,再分析其形状与空间结构以识别候选负空间语义,最后生成构图指令用于最终图像生成;实验与消融分析表明,相比直接零样本 MLLM 基线,FaV-A 能生成视觉更连贯、语义更对齐的正负空间构图。