跳到主要内容
返回时间线
arXiv来源发表:

外眼照片有了SEEC:435万张标准语料,自监督预训练的眼周模型跨数据集关键点迁移胜过DINOv2与MAE

核心概要

外眼照片此前没有大规模标准化资源,现有面部数据集为身份识别或图像生成而建,虹膜与眼周数据集规模又远小于当代预训练语料。SEEC把十四个公开人脸数据集整理成4352692张标准化单眼眼周裁剪图,并配套嵌入几何、解剖关键点、跨数据集迁移与疾病分类四类评测。在跨数据集关键点迁移上,用SEEC预训练的最佳ViT编码器在平均L2、平均MAE、虹膜中心、内外眦误差上均优于DINOv2与MAE,尽管其预训练规模小得多。

Source-provided article image: SEEC: A Large-Scale Dataset and Benchmark for Self-Supervised External-Eye Representation Learning
arXiv

深度剖析

外眼摄影能低成本记录眼睑、睑裂、眦部、虹膜、巩膜与眉部等临床相关解剖,但此前没有一套兼具规模、标准化眼周解剖与评测结构的数据资源,供研究可复用的外眼表征。 既有面部数据集面向身份识别、面部属性或图像生成,专用虹膜与眼周数据集则面向生物特征识别或特定眼分析任务,规模远小于当代预训练语料。 SEEC从十四个公开人脸数据集出发,经去重、人脸检测与关键点对齐、人工眼周标注、按数据集训练的CNN过滤、双眼裁剪与左右眼拆分,最终得到4352692张224×224单眼眼周图像,另有134969张512×512高分辨率子集。

评测把表征层面与功能层面分开:前者看嵌入空间在分布内、高分辨率和临床偏移分布上如何被占用,后者看冻结表征能否恢复解剖关键点、跨数据集迁移并支持疾病分类。 单一的下游终点无法同时回答嵌入几何、解剖保真与临床可分性三个问题,因此基准在Holdout、Open-HR、Clinic三个分布上计算归一化有效秩,并在LM-Celeb、LM-CFD与Disease上做功能探针。 两类评测给出可分离的结论:LeJEPA在ResNet-101与ViT-B/16上都取得最高的归一化有效秩,却没有在全部解剖或疾病探针上占优;所有目标在分布偏移下有效秩都下降,Clinic上降幅最大。

在跨数据集关键点迁移中,用SEEC预训练的最佳ViT-B/16编码器在平均L2、平均MAE、虹膜中心、内眦与外眦误差上均优于DINOv2和MAE两个通用视觉基础模型。 这两个通用基线分别在LVD-142M与ImageNet-1K上预训练,规模远大于SEEC的受控预训练子集。 该迁移设定为在LM-Celeb上训练轻量关键点回归探针、不重训直接评测LM-CFD;随机初始化的ViT-B/16 InfoNCE取得全部受评编码器中最低的平均L2与平均MAE,随机初始化的ViT-B/16 LeJEPA取得最低的内眦与外眦误差。

在冻结线性探针的五类疾病分类上,用SEEC预训练的ViT-B/16整体最强,InfoNCE取得最高的准确率、召回率与F1,VICReg次之。 DINOv2在冻结探针上与LeJEPA的准确率和F1相当,但低于最佳的SEEC预训练ViT-B/16;MAE与全部ResNet-101模型整体更低。 疾病数据集含633张图像,覆盖甲状腺眼病、睑板腺囊肿、Treacher Collins综合征、上睑下垂与Crouzon/Apert/Pfeiffer综合征五类,按80/20划分并以源图像为单位分组以防泄漏。

启示与展望

评测覆盖ResNet-101与ViT-B/16两种骨干、InfoNCE、VICReg与LeJEPA三种自监督目标,以及1万、10万、100万三档预训练子集,下游评测默认使用冻结骨干。解剖探针只覆盖由分割掩膜推导出的九个虹膜、巩膜、眦部与眼睑关键点,分布在LM-Celeb与LM-CFD两个数据集上。临床评测使用35382张无标注Clinic图像做几何分析,以及633张五类疾病图像做分类,两者均受机构与伦理限制不公开。

疾病分类评测按源图像分组而非经确认的患者级划分,因为缺少患者级标识符。五轮有监督适配后ResNet-101在疾病分类上性能下降,DINOv2在冻结探针表现较强却在微调后明显退化,t-SNE上也观察到部分疾病类别重叠。受控预训练只用了两视图增广,作者提出更丰富的局部/全局多视图训练、更长预训练与更大模型是后续方向。