服务热线：021-51001615

中文

【技术文章】基于三特征三步融合的图像质量评价

2025-11-28 08:39

原文：《Image Quality Assessment Based on Three Features Fusion in

Three Fusion Steps》^[1]

作者：Chenyang Shi，Yandan Lin

简介：本研究基于三特征三步融合，提出一种新的客观图像质量评价（IQA）方法：特征融合相似性指数法（FFS）。使用大规模的单失真数据库作为基准，将所提出的FFS方法与其他最先进的IQA方法进行了比较，结果表明FFS在预测准确性方面与主观评分具有更高的一致性，对于四个数据库，FFS的Pearson线性相关系数可以达到至少0.9116的准确度和至多0.9774的准确度。此外，FFS的平均运行时间为0.0657 s，代表了较高的计算效率。

关键词：image quality assessment;luminance channels fusion;

Similarity maps fusion; features fusion

编译：复旦大学林燕丹教授课题组赵伟

指导：林燕丹

应用场景

为了评估图像质量，本研究提出了一种性能较好的FR-IQA方法：FFS，比其他方法具有更好的预测精度和更高的计算效率，在图像采集、传输、压缩和增强等许多领域具有较高的应用潜力。

研究目标

为了在各种图像处理的应用中取代主观的观察者图像质量评价，在过去的几十年里，人们设计了大量客观的IQA方法^[2]。本研究旨在提出一种不需要学习的可靠FR-IQA方法，包括相似性计算，利用LMN色彩空间中的MDSI融合策略，将视觉显著性、梯度和色度特征三个特征信息处理连接起来，融合策略包括亮度通道融合、相似图融合和特征融合。该评估方法具有通用性，对常见的失真执行一致。

研究方法

1、亮度通道融合

为了处理颜色失真，在IQA方法中需要专门计算色度特征。将参考图像和失真图像的亮度通道融合为FL图，进行特征增强提取。融合策略基于权重系数，其计算方法为:

其中RL和DL分别是参考图像和失真图像的亮度通道。α为融合权值，FL为融合图。

图1(a)为参考图像R，图1(b1-e1)为4张JPEG压缩图像，图像失真程度逐渐增加，图1(b2-e2)为第一行图像之间的FL映射。可以清楚地看到，失真程度越高，FL图的质量越低，背景区域中一些较弱的边缘被平滑。图1(b3-e3)表示第二行图像的SR映射归一化图像，图1(b4-e4)为第二行图像的梯度图。可以看出，SR图之间没有明显的差异，而梯度图随着图像失真程度的增加，呈现出更多的结构特征丢失。SR图反映了图像的视觉注意力，梯度图可以很好地代表边缘特征，亮度通道融合后，纹理区域较强的边缘不会发生明显变化，平坦区域的一些信息可以被改变，说明了FL融合的有效性。

图1. TID2008中提取的典型图像

2、相似图融合

⚫ SR分量融合

为了提取视觉显著性特征，选择SR对输入图像进行处理，其具有较高的计算效率。SR的融合相似图通过以下公式计算:

其中参数KSR1、KSR2和KSR3为控制数值稳定性的常数。这三个参数在计算中设为K_SR1=2K_SR2=2K_SR3。SR_R、SR_D和SR_F分别是参考图、失真图和FL图的SR图。

图2(c-f)分别是R与D、R与FL图(RF)、D与FL图(DF)、DF-RF之间的SR相似图。图2(g)是SR视觉显著性特征的融合相似度图。经过DF-RF计算，位于平坦区域的主差被放大。可以看出，融合后的SR相似图比其他未融合的相似图包含更多的信息，特别是在平坦区域。

图2.相似图融合和特征融合后从TID2008中提取的典型图像

⚫ 梯度分量融合

使用Prewitt算子处理参考图像、失真图像和FL图(分别为GR、GD和GF)之间LMN色彩空间中L通道的梯度特征。然后，通过以下基于SSIM的方程和简单的融合策略对梯度融合相似图(SG)进行处理:

其中参数KG1、KG2和KG3为控制数值稳定性的常数，KG2和KG3定义为相同的值。

图2(h-k)分别为R与D、R与FL图(RF)、D与FL图(DF)、DF-RF之间的梯度相似图。图2(l)是梯度的融合相似图。经过DF-RF计算，位于弱边缘区域的主差被放大。可以观察到，融合的梯度相似图比其他未融合的梯度相似图包含更多的信息，特别是在弱边缘区域。

⚫ 色度分量融合

关于LMN颜色空间中色度分量的融合相似图，定义为：

其中参数KC是一个常数来控制数值稳定性。图2(m)为参考图像与失真图像的色度融合相似图。

3、特征融合

将上述SR、梯度和色度相似度融合图按以下求和计算进行特征融合:

特征融合图的三个组成部分在计算过程中具有不同的权重设置，这些值是由视觉机制决定的，权重值的总和应该设置为1。因为HVS通常对消色差特征比色差特征[3]更敏感，消色差特征的权重值可以是彩色特征的两倍，由于在亮度通道中提取的SR和梯度特征都是消色差特征，因此这两个特征的权重值应该设置相同。图2(n)为特征融合图，三个相似性融合图组合后可以很好地表示R和D之间的差异。

4、池化策略

完成上述三个融合步骤之后，定义IQA的一种新方法：特征融合相似性指数法，使用以下公式进行描述:

其中n为特征融合S图的总像素数，Si为特征融合S图的像素值。FFS的计算框架如图3所示。图2(o)是S图的平方根，它比S图有更多的可区分信息。

图3.FFS的计算框架

主要结论

1、总体性能对比

为测试所提出的方法在不同数据库中的能力，FFS与SSIM、FSIMc (改进的FSIM方法)、VSI、IFS、LLM、MDSI、GDRW、EFS以及2019年发表的SSVD、VCGS、SPSIM (YCbCr_MDSI)、GSC等8种典型方法进行了比较。表1-4中用黑体字突出显示了所有标准中最高的三个值。此外，这些数据库的SROCC、PLCC和KROCC等结果的加权平均值(W. A.)和直接平均值(D. A.)值也被纳入评估整体性能。

表1.不同IQA方法的SROCC值比较

表2.不同IQA方法的PLCC值比较

表3.不同IQA方法的KROCC值比较

表4.不同IQA方法的RMSE值比较

如表1-4所示，可以得出结论，FFS方法对所有选定的数据库具有一致的性能。FFS在TID2008和LIVE数据库中始终保持在前三名的位置。对TID2013和CSIQ数据库，FFS的性能与前三名的结果差距很小。从表1可以看出，FFS的准确率SROCC在所有数据库中至少可以达到0.8926，最大可以达到0.9768。从表2可以看出，在4个数据库中，本文方法的精度PLCC值最小可达0.9116，最大可达0.9774。此外，FFS还得到了PLCC和KROCC的加权平均值以及SROCC、PLCC和KROCC的直接平均值的最佳排序。

此外，FFS的性能优于未进行颜色空间变换的SSIM和SSVD方法。在进行颜色空间变换的方法中，如FSIMc、VSI、GDRW、EFS和VCGS，与这些方法相比，FFS的融合梯度图的方法对所有数据库都具有显著的优势。

2、不同失真类型的性能比较

为了检验IQA方法预测图像质量的能力，需要对不同失真类型进行性能比较。表5总结了不同失真类型的比较结果，可以看出，本文提出的方法获得了最佳SROCC性能排名（17次），其次是GSC(15次)、EFS(14次)、VCGS(11次)、GDRW(10次)和MDSI(9次)。根据失真类型的不同，本文提出的FFS方法的性能优于其他方法。

表5.每种失真类型的IQA方法的SROCC值比较