成果简介：

本项目针对多聚焦图像融合领域有标注数据获取困难且现有多聚焦图像融合算法在

进行多图融合时效率较低同时在显微成像场景下图像融合时存在较严重失焦扩散效应的问题，提出了一种无监督多聚焦图像融合方法（SESF-Fuse）以及一种最大特征图空间频 率融合策略（MSFIFM），实验证明，MSFIFM 策略在多图融合场景下能够有效提高融合 算法的效率。同时提出一种面向显微成像场景下失焦扩散效应的矫正策略，能够在保证融合图像质量的情况下，有效的降低融合结果中的失焦扩散效应。

成熟程度及推广应用情况:

目前处于何种研发阶段： ☐研发 ☐小试 ☒中试 ☐小批量生产 ☐产业化；样机：

☒有 ☐无 其他： □如选择“其他 ”，请说明：。

已投入成本：10 万元。

期望技术转移成交价格（大概金额）：30-50 万元。

技术优势：

多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同 一场景下的聚焦不同目标的多张图像中各自清晰区域进行融合，最终获得全清晰图像。 随着以深度学习为代表的机器学习理论的突破，卷积神经网络被广泛应用于多聚焦图像 融合领域，但多聚焦图像融合领域有标注数据获取较为困难同时大多数方法仅关注网络 结构的改进，而在多图融合时使用简单的两两串行融合方式，降低了多图融合的效率， 并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量。针对上述问题， 本项目在显微成像分析的应用场景下，提出一种无监督的多聚焦图像融合算法以及一种 最大特征图空间频率融合策略，该策略通过在基于无监督学习的卷积神经网络中增加后 处理模块，规避了两两串行融合中冗余的特征提取过程，实验证明该策略显著提高了多 张图像的多聚焦图像融合效率。并且提出一种矫正策略，在保证融合效率的情况下可有效缓解失焦扩散效应对融合图像质量的影响。

性能指标：

本项目所提出的无监督多聚焦图像融合算法（SESF-Fuse）在常用的评估指标 Qg，

Qm 与 Qcb 上的性能超越了现有的图像融合算法，达到了先进水平：

表 1 MSFIFM 策略与两两串行融合策略平均耗时对比（s）

本项目所提出 MSFIFM 融合策略效率在 NVIDIA 1080Ti GPU 上进行测试结果如下表：

表 2 MSFIFM 策略与两两串行融合策略平均耗时对比（s）

提出的MSFIFM 策略相比于多图融合常用的两两串行融合策略在图像融合效率上提

高了 30%以上且随着图像尺寸的增加 MSFIFM 策略融合效率的提高也越加明显。

由于多聚焦图像融合领域缺少衡量失焦扩散现象强弱的评估指标因此采用主观评估

进行对比：

可以发现利用 MSFIFM 策略+失焦扩散效应的矫正策略得到的融合结果相比于仅利

用 MSFIFM 策略得到的融合结果具有更好的视觉效果。

市场分析：

对于材料研究以及芯片制造等行业，产品的显微结构对于产品的性能具有十分重要 的影响。在拍摄显微照相时由于拍摄设备只能聚焦到固定深度，且产品表面往往凹凸不 平，因此无法直接拍摄得到全聚焦的图像，限制了对于产品显微结构的观测，同时由于 失焦扩散效应的影响导致融合图像聚焦边界处的细节缺失，严重影响了融合效果。本技 术可转移给材料研究以及芯片制造等行业，帮助研究者快速高效地获取高质量的产品显微结构图像。

经济效益分析：

近年来国家对芯片行业的大力投入带动了芯片微观分析行业的发展。当前有众多企业在进行芯片错误检测的工作，例如：苏试宜特芯片检测技术有限公司、深圳市科视创 科技有限公司等。在芯片错误检测的过程中高质量多聚焦图像融合是很重要的一个环节，这项技术具有很大的经济效益。

成果亮点：

1.  具有自主知识产权，研究成果已公开发明专利：

班晓娟、高鸣飞、马博渊、黄海友、印象.  一种显微成像场景下失焦扩散效应消除

方法及装置：中国，202010654030.X [P]. 2020-07-08.

班晓娟、郑智予、印象、马博渊、黄海友.  一种多张多聚焦图像融合方法及装置，

中国，202011036730.9 [P] 2020-09-28.

已发表论文：

Boyuan Ma, Yu Zhu, Xiang Yin, et al. SESF-Fuse: An Unsupervised Deep Model for Multi-Focus Image Fusion [J]. Neural Computing and Application. 2020.

2.  成果来源：海南省财政科技计划资助项目（ZDYF2019009），中国国家自然基金

（61572075,61702036,61873299,51574027），国家重点研发专项（2016YFB0700500）

3.  技术先进性：国内先进,提出的无监督多聚焦图像融合算法被发表在 PAMI 上的文 章《Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study》引 用并评价为当前无监督图像融合算法中性能最好的算法；提出 MSFIFM 策略大幅提高多图融合效率；提出面向显微场景的失焦扩散矫正策略，提高了融合图像的质量。

成果相关照片：

联系人：姚老师 

电  话：010-62333881 ，13718384597