SELFHEAL 在微调前清洗投毒数据:Llama-3 上攻击成功率最多降 85%,自然准确率不降
SELFHEAL 把防御提前到微调之前:不丢弃样本,只用基座模型自身的语言判断能力给指令打标签、修语法与连贯性、再重写可疑回答。在 Llama-3 上,它相对后置防御把攻击成功率最多降低 85%,自然准确率与干净数据训练的模型相当;在 Mistral 上效果明显变弱,说明这套清洗依赖基座模型本身的文本理解能力。
SELFHEAL 把防御提前到微调之前:不丢弃样本,只用基座模型自身的语言判断能力给指令打标签、修语法与连贯性、再重写可疑回答。在 Llama-3 上,它相对后置防御把攻击成功率最多降低 85%,自然准确率与干净数据训练的模型相当;在 Mistral 上效果明显变弱,说明这套清洗依赖基座模型本身的文本理解能力。
Eval Protocol 把 GEPA 提示词优化接入已有的评测接口,让同一套数据集、指标和任务约束既衡量智能体表现,也自动改写系统提示词。在 Text2SQL 案例中,Qwen3-32b 不改动模型权重,测试集准确率提高10%,验证集准确率提高超过5%,提示词搜索约用45分钟;同一评测随后还可作为 RFT 的目标。
让ChatGPT、Claude、Gemini和Grok按三档由粗到细的提示词生成PyTorch安全帽佩戴分类训练脚本,在972张平衡图像上各跑20次:十二个配置中十个收敛到0.957至0.967的准确率平台,但最详细的第三档让Gemini和Grok跌到约0.58,脚本仍能运行却不收敛。对照消融显示,从零训练的多尺度卷积结构在两种学习率调度下都失败,而预训练ResNet18骨干在两种调度下都收敛。
在2160次会话的石头剪刀布实验中,六个前沿大模型在给出规则后都表现出对结果变化的迟钝,而在系统提示中加入两句“让结果引导决策”的追踪诱导后,这种迟钝在全部六个模型上显著减弱。
该研究在机构防火墙内部署3.8B参数的开放权重小语言模型Phi4-mini(经Ollama运行),结合确定性正则表达式后处理,从加泰罗尼亚SIDIAP数据库的15,498份加泰罗尼亚语/西班牙语双语MEAP初级保健叙事中提取发热、亚硝酸盐、白细胞、腰痛、腹痛和血尿六项未编码尿路感染临床特征,在60份真实病历的双盲临床医生金标准验证中达到93.8%准确率、96.6%特异度和83.6%敏感度,在720份对抗性合成文本压力测试中达到87.2%准确率、99.5%特异度和99.2%阳性预测值,全程无患者数据离开机构服务器。
一项家庭执业护士(FNP)教育项目让98名学生在视频会议平台上用生成式AI大语言模型(Claude Sonnet)的人格提示词生成虚拟患者,在30分钟预简报、约75分钟情景演练和45分钟PEARLS式复盘后,学生最常见的一词反馈是“helpful”(n=83),95%认为活动促进了SDOH学习(n=82),78%对筛查与应对SDOH的舒适度给出最高两档(均分4.1/5),SDOH知识测验平均94分(n=98),但仅有54%答对“识别应对SDOH具体策略”一题。
该研究回顾性分析了1,754张带标签的公开膀胱镜图像,测试Direct、Book-based与Optimized三种提示词在GPT-5.2、GPT-5、GPT-5-Mini与GPT-5-Nano上的良恶性分类表现,发现GPT-5与GPT-5-Mini在优化提示词下准确率分别达86.7%与89.2%,GPT-5在优化提示词下高置信度分诊在62.0%图像覆盖率下达到98.1%准确率、94.6%特异度与99.1%敏感度,提示工程虽未带来统计显著的性能提升,但改善了置信度校准与分诊表现。
这项在单一三级学术医疗中心开展的回顾性队列研究,利用2024年入院、住院时长2至14天的成人住院患者随机划分出的验证集(n=860)与测试集(n=886),让大语言模型基于06:00索引时点前30小时的临床文书预测当日出院,发现基线GPT-5提示在验证集上F1为0.48、敏感度为0.37,定性错误分析显示错误最多来自运营流程而非医学知识,而在三种推理期优化策略中,自动提示优化在留出测试集上取得更高的F1与敏感度(但阳性预测值与特异度更低),测试时扩展与专家主导的提示工程改进甚微。
该研究构建了一个概念验证型信息抽取流程,用Athena-v3-AWQ、Gemma3-27B和Llama-3.1-70B-Instruct三个开源大模型从CZI DRSM语料库中标注为“2”的PubMed摘要(金标准集148篇、全语料3,547篇)中抽取11项自然史研究特征,结果显示三个模型成功率均超过99%,Gemma在专家评分(68.0%输出被评为“good”)和全语料运行时间(约16分钟)上综合最优,而Llama在自动Token F1上更高(0.874对0.723),Athena表现最差主要因其倾向逐字复制原文而非综合归纳。
这篇综述系统梳理了SAM及其衍生模型中的提示工程研究,提出将提示方法分为几何提示、文本语义提示与多模态融合提示的三层分类体系,并进一步归纳从人工标注到基于检测器、原型学习、强化学习与视觉语言模型的自动化提示生成路径,同时追踪提示工程在医学影像、遥感、工业检测与异常检测等领域的跨域泛化应用,指出提示敏感性、跨模态错位与计算低效等关键挑战,并提出因果提示推理、多智能体协同提示与基于扩散的渐进式细化等未来方向。
已读完全部报道