跳到主要内容
检索

# 微调

30 篇关联报道

订阅更新
  1. arXiv

    MACE基础模型补上钠团簇:定向微调把硬碳钠团簇形成能误差从32.43降到1.65 meV/atom

    预训练的MACE原子基础模型能描述钠在类石墨结构中的嵌入,却把石墨烯上钠原子间的金属性吸引算成排斥,因而漏掉硬碳中钠团簇与孔隙填充。研究者用1985个钠团簇构型加300个膨胀石墨与钠参考态构型做定向微调,使钠团簇数据上的形成能平均绝对误差从32.43降到1.65 meV/atom,R²从-36.32升到0.87。在更广的钠碳构型库上微调后,模型对未参与训练的钠填充碳纳米管仍给出2.03 meV/atom的形成能误差,并据此给出闭孔半径与平台电压的对应关系。

  2. arXiv

    UniPipe把推理与微调放进同一CUDA上下文:叠层成像流上错过率贴近只做推理的部署

    面向必须在硬截止时间内处理传感器数据的科学工作流,UniPipe把深度神经网络代理模型的推理服务与在线微调放进同一块边缘GPU上的同一个CUDA上下文,用一次前向同时处理推理请求和带标签样本,只对标签子集做反向传播。在真实叠层成像重建流程与PtychoNN上,它相对冻结的预训练基线降低推理与重建均方误差,相对双上下文并发基线降低截止时间错过率,并把95百分位延迟相对均值的离散度缩小近一半。

  3. bioRxiv

    表格基础模型TabPFN 3.5不调参就追平物种分布模型,微调后成为基准上最佳单模型

    只用“出现记录”预测物种会在哪里出现,长期依赖MaxEnt等需逐数据集调参的物种分布模型。TabPFN 3.5在225种、六个区域的标准基准上不调参即取得平均AUC 0.732,与已发表最佳的五模型集成持平;用其他区域的“出现—背景”任务微调后升至0.736,成为基准上最佳单模型,并显著优于MaxEnt的0.728。作者同时指出,六个区域不足以证明这一优势能推广到新区域,且模型对环境偏倚采样敏感。

  4. arXiv

    电力系统动态仿真有了快速替身:Chronos-2微调后误差低于传统AI模型,推理快563倍

    预训练时间序列基础模型Chronos-2被检验能否替代电力系统动态仿真。在IEEE 9节点系统的1800个负荷扰动样本上,检索增强的上下文学习优于随机选取参考样本,微调后的Chronos-2在178个留出样本上误差低于传统时空图神经网络基线,加入功率平衡正则后除电压相角MAE外各项指标进一步改善。其推理耗时35.5毫秒,比ANDES物理仿真的20秒快563倍。

  5. Fireworks AI

    DeepSeek R1与V3可在Fireworks上做量化感知微调,FP8部署不再牺牲精度

    Fireworks 把量化感知微调接入 FireOptimizer,让 DeepSeek R1 与 V3 这类原生按 FP8 服务的开源模型可以按具体用例定制。此前用 LoRA 微调后合并权重再以 FP8 部署会明显掉精度,而 6710 亿参数的基座在 FP8 下已占 671 GB 显存,超过 H100 主机常见的 640 GB。做法是在前向传播中对合并权重和激活做“伪量化”,让 LoRA 梯度保持 bfloat16、合并权重按 FP8 数值走;在 1.5 万条训练、5000 条评估的法国葡萄酒评论分类任务上,QAT 微调优于朴素 FP8 LoRA 微调。

  6. sarvam.ai

    Sarvam发布决策模型Prism:44毫秒作答,25个模型中100毫秒内平均分最高

    Sarvam发布基于Sarvam 105B的决策模型Prism,面向企业工作流中需要快速、可校准判断的环节。在Sarvam自行测试的25个决策模型中,Prism在三个指数上的平均分为71.8,单次请求中位响应时间44毫秒,是100毫秒以内作答的模型中平均分最高的一个;总分更高的模型响应时间约为它的两到六倍。模型以开放权重发布,企业可在自有数据上继续训练并在自有基础设施上运行。

  7. huggingface.co

    英伟达把转写、说话人分离和翻译装进一个开放权重模型:40种语言、最长一小时录音

    英伟达发布开放权重的 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合并进同一个检查点,支持40种语言转写、31种语言与英语互译、13种语言说话人标注,可处理最长一小时录音并标注至多8位说话人。此前这些能力通常分散在不同模型或流程中,用户拿到逐字稿仍要另行判断谁说了什么、如何翻译。开发者可用自然语言提示引导输出,并借助 Granary v2 数据与微调工具适配领域词汇;在医疗案例中,微调把留出说话人上的词错误率相对最佳提示降低了45.8%。

  8. Fireworks AI

    Llama 3.2 上到 Fireworks:11B 与 90B 视觉模型按文本模型同价,图像按 6400 个文本 token 计

    Fireworks 宣布支持 Meta 的 Llama 3.2 系列,包括纯文本的 1B、3B 与多模态的 11B Vision、90B Vision,开发者可在其平台上做推理与微调。此前该平台没有这一代模型;现在 11B 与 90B 多模态模型定价与纯文本模型相同,图像按文本 token 计费,Llama 3.2 视觉模型的图像通常计为 6400 个文本 token。目前可微调的是 1B 与 3B 纯文本模型,多模态模型的微调尚未开放。

  9. arXiv

    语言模型的上下文学习不是一次学会:答案控制权先换手,准确率要等上万亿词元才跟上

    语言模型在提示中学习的能力并非一次性获得。一项受控诊断把“照抄最近示例”与“组合提示中给出的映射”分开,在17个模型上发现约三分之一偏好照抄答案,其余偏好规则一致的答案;在OLMo-2-7B的训练轨迹上,对提问取值的依赖在准确率超过随机水平之前数百亿词元就已压过对冲突示例的依赖。合成文档训练能把偏好从照抄翻转为按查询作答,而仅暴露定义或压制照抄注意力头都做不到。

  10. langchain.com

    LangChain把智能体运维搬进LangSmith:语义搜索查对话,红队测试提前拦问题

    LangChain在Interrupt NYC与London发布LangSmith多项新功能,让团队在生产环境中拥有自己的智能。此前排查对话只能靠传统过滤器,现在AI Search按语义理解trace,可以直接问“用户是否受挫”或“是否泄露了PII”。同一批更新还包括Managed Deep Agents v0.9、带红队测试的Engine v2、Trajectories、Custom Apps与Fine-Tuning,覆盖构建、理解与改进智能体的环节。