受人类活动和自然环境演变影响,地球表面无时无刻经历着变化。遥感对地观测所具备的覆盖面积广、周期性强等优势有利于实现地表动态变化检测。深度学习强大的特征表达能力、模型架构和性能优势使其可以很好地感知遥感影像中的变化,显著提升变化检测精度。但由于高质量样本的人工标注工作量繁重,同时变化区域本身极度稀疏也限制了可标注变化样本的数量,现阶段基于深度学习的遥感变化检测精度受到变化/不变样本以及困难/容易样本两类样本不平衡问题的影响较严重。
针对上述科学问题,我校“环境遥感团队”硕士研究生徐宇岐,在导师吴伶副教授指导下,耦合残差神经网络(RESNET)和能够融合多尺度特征信息的特征金字塔网络(FPN)搭建渐进式尺度扩展网络(PSENet)作为变化检测框架,并提出了一种解决两类样本不平衡问题的动态自适应聚焦损失函数(DAFL)(图1)。研究取得的成果如下:
1、在面向缓解两类样本不平衡问题设计的聚焦损失函数Focal Loss中引入动态加权因子DAFL(α)解决变化/未变化样本的不平衡问题(图2)。根据不同批次中变化/未变化样本的分布动态自适应调整变化样本权重,允许变化检测模型聚焦较少数量的变化样本,增强模型识别变化信息的能力;
2、在Focal Loss中引入动态调制因子DAFL(γ)抑制难/易样本失衡的影响(图2)。通过依赖量化样本分类难度的样本标签预测概率期望值在训练进程中的变化动态自适应调整困难样本权重,使模型自适应挖掘困难样本,进一步解决难/易样本不平衡问题对变化检测结果的影响;
3、基于三个样本不平衡的高空间分辨率遥感变化检测数据集,设计不同样本量(从小样本到全数据集样本)训练数据集,评价基于动态自适应聚焦损失函数DAFL的PSENet变化检测精度。相比在3个数据集中所有基准损失函数的最优精度:DAFL在样本量充足(2000-全样本量)情况下,F1得分分别提升0.33%、0.8%和0.94%(图3);DAFL在小样本(≤1000)情况下,F1得分分别提升2.15%、2.61% 和3.89%(图4、图5)。
本研究成果有望降低深度学习在变化检测任务中对样本数量和质量的高要求,在减轻人工标注样本繁重工作量同时,进一步提升样本不平衡条件下的变化检测精度,以满足当前高效快速、自动化变化检测的应用需求。
图1 基于动态自适应聚焦损失函数(DAFL)的渐进式尺度扩展网络变化检测框架
图2 DAFL在不同数据集上变化检测可视化结果。(a)前一时相影像; (b)后一时相影像; (c)真实标签; (d)基于FOCAL LOSS的PSENet; (e)基于DAFL (α)的PSENet; (f) 基于DAFL (γ)的PSENet; (g)基于DAFL的PSENet。红色框中标出了漏分情况,黄色框中标出了错分情况。前两行、中间两行和后两行分别是CDD,SYSU-CD和LECIR-CD数据集示例结果。
图3 不同损失函数在SYSU-CD数据集(样本充足情况)上的可视化结果。 (a)前一时相影像; (b)后一时相影像; (c)真实标签; (d)基于BCE的PSENet; (e)基于WBCE的PSENet; (f)基于Focal Loss的PSENet; (g)基于IoU的PSENet; (h)基于DAFL的PSENet。红色框中标出了漏分情况,黄色框中标出了错分情况。
图4 SYSU-CD数据集(小样本情况)上DAFL与表现最优损失函数精度之间的差异
图5 不同损失函数在SYSU-CD数据集(小样本情况)上的可视化结果。 (a)前一时相影像; (b)后一时相影像; (c)真实标签; (d)基于BCE的PSENet; (e)基于WBCE 的PSENet; (f)基于Focal Loss的PSENet; (g)基于IoU的PSENet; (h)基于DAFL的PSENet。红色框中标出了漏分情况,黄色框中标出了错分情况。
上述研究成果发表在遥感领域国际权威刊物《IEEE Transactions on Geoscience and Remote Sensing》上:Xu Y, Wu L*, Liu X, Chen C, Li Y, Zhang Q, Liu M, Zhang T, Yang B. Remote Sensing Change Detection Method Based on Dynamic Adaptive Focal Loss. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62. [IF 2022=8.2]
全文链接:http://doi.org/10.1109/TGRS.2024.3392696