跳到主要内容
返回时间线
arXiv来源发表:

Calpha让通用大模型自己决定折叠:单链结构均值TM-score达0.808,长链仍落后直接基线

核心概要

Calpha把蛋白质折叠接进通用对话模型:Qwen3.5-9B读取序列与ESM2残基特征,在收到折叠请求时输出<structure>标记,用自身残基隐藏状态驱动冻结的SimpleFold-3B结构头生成全原子坐标。在固定折叠请求下,该配置在FoldBench-334、CASP16域和CAMEO风格PDB集上的平均TM-score分别为0.808、0.635和0.900;但在300–600残基链上,三个集合的平均配对差值分别为−0.044、−0.160和−0.025,均低于直接ESM2→SimpleFold-3B基线。

AI-generated editorial illustration: Calpha: Toward Native Biomolecular Intelligence in a General-Purpose Language Model

深度剖析

通用语言模型可以在同一轮对话里既回答关于蛋白质的问题,又自行决定何时折叠,并用自己内部的残基状态给出单链三维坐标,无需调用外部工具。 此前的生物分子基础模型把固定输入映射为固定输出,不接受自然语言指令;把大模型与折叠器相连的三类做法中,语言推理都停留在预测器之外,或只做文本描述而不生成坐标。 在固定折叠请求下,冻结的SimpleFold-3B头仅通过Qwen残基状态获得蛋白质信息,在FoldBench-334的334条链、CASP16的155个域和CAMEO-2025的200条链上取得平均TM-score 0.808、0.635和0.900,失败预测计零分。

折叠由模型自己在一次前向中触发:语言头保持不变,输出<structure>标记即调用结构头,否则继续生成文本。 触发测试覆盖五种折叠请求措辞和一种应作文本回答的蛋白质问题,每种措辞对每个合格序列只取一次回答。 四种请求类型在全部被评估样例上都触发折叠,第五种在三个集合上的触发率为95.5%–98.2%;本应作文本回答的问题上误触发率为0–1.4%。

结构头接收的是Qwen第0至32层中九层(间隔4层、宽度4096)的残基隐藏状态,经一个8.4M参数的条件前端混合并投影后送入SimpleFold-3B。 第二阶段冻结语言模型与预训练的3B结构头,只训练这个前端,先在256残基裁剪上训练20000步,再在512残基裁剪上训练10000步,使用同样的84658条PDB链。 冻结3B头、只训练8.4M参数前端时FoldBench-334达到0.801;从该配置解冻结构头后,所测六个检查点全部更低,最高为5000步时的0.792,20000步时降至0.771。

启示与展望

结果限于单链或孤立域、在一种固定折叠请求模板下、仅按α碳计算的TM-score;复合物预测、以结构为输入、侧链精度、全原子立体质量、推理延迟与峰值显存均未评估。CASP16的155个域对应72条不同序列,且按孤立域预测,与官方整靶协议不同。

在100–299残基上三个集合的配对置信区间都包含零,CASP16区间延伸到损失0.030 TM;300–600残基上三个区间都低于零,但两个系统在可训练权重、训练时长和裁剪长度上同时不同,比较度量的是合并效应。CAMEO-2025无同源桶仅16条,其中9条属于三个序列一致性超过95%的组。蛋白质训练后MMLU-Pro子集准确率从77.4%降至70.3%。改述措辞是否保持坐标精度、指令或推理能否左右预测构象,均未测量。