研究所在多模态遥感图像自监督特征提取方面取得新进展

空间光学研究所在多模态遥感图像的自监督特征提取技术方面取得了显著进展,相关成果已发表在《IEEE Transactions on Geoscience and Remote Sensing》上。传统的监督学习模型在遥感领域取得了巨大成功,但其应用受到高质量标注数据需求的限制。本研究提出了一种名为三元对抗对比学习(TACL)模型的自监督特征提取器。TACL模型通过构建一个三元对比学习框架,对齐两种原始模态和一个融合模态,以解决可能发生的对比语义冲突。此外,TACL引入了一种对抗性难负样本生成(AHSG)策略,旨在增强负样本与锚点特征向量之间的相似性。研究还设计了一种基于ConvNeXt的轻量级编码器,作为模型的基础骨干,以丰富中心特征的表达。一系列少样本分类实验证实了TACL提取的特征在支持向量机(SVM)这一简单分类器下表现出色。作为一种无标签预训练方法,TACL在标签有限的情况下,对于提升多模态遥感任务的性能具有巨大潜力。

论文第一作者为陈证亦博士,通讯作者为张淳民教授。




地址:陕西省西安市咸宁西路28号      邮编:710049    版权所有:西安交通大学

站点建设与维护: 网络信息中心        陕ICP备06008037号

系统设置