视觉显著性检测方法及应用

第1章 绪论 1

1.1 引言 1

1.2 视觉显著性检测的研究现状 3

1.3 视觉显著性检测的应用现状 4

1.4 本书的主要内容和章节安排 7

1.4.1 主要内容 7

1.4.2 章节安排 10

第2章 视觉显著性检测方法综述 13

2.1 引言 13

2.2 预备知识 13

2.2.1 视觉注意与视觉显著性 14

2.2.2 视觉显著性模型的分类 15

2.3 方法评价 18

2.3.1 基准测试库 18

2.3.2 定量对比方法 21

2.4 流行检测方法介绍 24

2.4.1 特征组合理论 24

2.4.2 信息论 28

2.4.3 图上随机游动理论 29

2.4.4 决策理论 30

2.4.5 贝叶斯理论 31

2.4.6 频域分析 32

2.4.7 机器学习 34

2.4.8 其他 35

2.5 现有方法存在的问题及解决方案 36

2.5.1 现有方法存在的问题 36

2.5.2 解决方案 38

2.6 发展趋势 40

2.7 本章小结 41

第3章 一种基于加权稀疏编码的频域方法 42

3.1 引言 42

3.2 过完备稀疏编码 44

3.2.1 过完备稀疏编码的神经生理学基础 45

3.2.2 图像的过完备稀疏编码 46

3.2.3 过完备字典的构造 49

3.3 加权稀疏编码 51

3.3.1 增量编码长度算法 51

3.3.2 稀疏编码的权重 52

3.4 图像标记算法 54

3.4.1 基于图像标记算法的显著性提取 54

3.4.2 相关理论证明 56

3.5 基于加权稀疏编码的图像标记算法 59

3.5.1 单通道的图像标记算法 60

3.5.2 多通道的图像标记算法 60

3.6 实验对比 61

3.6.1 主观对比 62

3.6.2 定量对比 64

3.6.3 算法复杂度评估 65

3.7 本章小结 66

第4章 基于最优对比度的视觉显著性检测方法 68

4.1 引言 68

4.2 总体思想 69

4.2.1 最优对比度引入的动机 70

4.2.2 实现方案 75

4.3 候选中心-外围对比度 75

4.3.1 计算原理 75

4.3.2 实现细则 80

4.4 最优对比度 82

4.4.1 单尺度下的最优中心-外围对比度筛选 82

4.4.2 多尺度增强算法 84

4.5 实验对比 86

4.5.1 主观对比 87

4.5.2 定量对比 89

4.6 本章小结 93

第5章 融合长期特征和短期特征的贝叶斯模型 94

5.1 引言 94

5.2 总体思想 95

5.2.1 先验知识的作用和使用方式 95

5.2.2 当前观测信息的作用和使用方式 99

5.2.3 先验知识和当前观测信息的融合 101

5.2.4 实现方案 102

5.3 长期特征和短期特征 103

5.3.1 长期词典和短期词典 103

5.3.2 特征提取 105

5.4 基于贝叶斯模型的视觉显著性检测 105

5.4.1 贝叶斯模型 105

5.4.2 特征概率分布的估计 108

5.4.3 视觉显著性随空间位置变化的条件概率分布估计 111

5.5 实验对比 112

5.5.1 主观对比 113

5.5.2 定量对比 115

5.6 本章小结 116

第6章 基于视觉显著性的红外目标预检测 117

6.1 引言 117

6.1.1 研究背景与意义 117

6.1.2 相关工作 118

6.1.3 总体解决方案 121

6.2 基于小数目标尺度的红外图像混合滤波算法 124

6.2.1 红外图像噪声分析 124

6.2.2 降噪算法的总体设计思路 125

6.2.3 小数目标尺度 126

6.2.4 基于小数目标尺度的自适应高斯滤波器 130

6.2.5 基于小数目标尺度的自适应中值滤波器 130

6.3 视觉显著性检测方法的选择 132

6.3.1 综合定量对比的实验准备 133

6.3.2 综合定量对比 134

6.3.3 原理分析 138

6.4 红外目标预检测 139

6.4.1 基于视觉显著性检测的窗口特征算子 139

6.4.2 基于SLIC超像素分割的窗口特征算子 140

6.4.3 窗口特征算子参数的估计 142

6.4.4 窗口特征的贝叶斯融合 143

6.4.5 目标窗口的确定 144

6.5 实验对比 145

6.5.1 红外图像降噪实验对比 145

6.5.2 红外目标预检测实验对比 147

6.6 本章小结 150

第7章 基于视觉显著性的太阳能电池片表面缺陷检测 151

7.1 引言 151

7.1.1 研究的背景与意义 151

7.1.2 相关工作 152

7.1.3 存在问题及解决方案 158

7.2 太阳能电池片表面图像预处理 159

7.2.1 图像采集 159

7.2.2 图像降噪 162

7.2.3 栅线删除 163

7.2.4 栅线填充 164

7.3 基于视觉显著性的缺陷初始检测 165

7.3.1 自学习特征提取 165

7.3.2 低秩矩阵复原 167

7.3.3 获取视觉显著图 169

7.4 基于视觉显著性和图像分割的缺陷精确定位 171

7.4.1 图像分割 171

7.4.2 基于视觉显著性的缺陷定位 174

7.5 基于形态学的检测结果优化 175

7.5.1 形态学理论 175

7.5.2 形态学优化 176

7.6 实验设计 178

7.6.1 主观对比 180

7.6.2 客观对比 184

7.7 软件设计与使用 187

7.7.1 检测软件的设计 187

7.7.2 软件功能及操作介绍 189

7.8 本章小结 191

参考文献 1922100433B

视觉显著性检测是计算机视觉领域近年来的一个研究热点，具有广泛的应用前景。本书介绍了视觉显著性检测的基本知识和现有方法，并系统总结了作者近几年在视觉显著性检测方法、视觉显著性用于红外目标检测和太阳能电池片表面缺陷检测等方面的研究成果。全书共7章，分为4部分：第1部分（第1章）详细介绍了视觉显著性检测的定义、分类、应用等相关基础知识；第2部分（第2章）对视觉显著性检测领域的研究现状进行了分类介绍，并分析了现有工作存在的问题；第3部分（第3～5章）详细介绍了本书提出的3种视觉显著性检测方法；第4部分（第6、7章）详细介绍了视觉显著性在红外目标检测和太阳能电池片表面缺陷检测中的应用。另外，第3～7章均包含相关的实验案例，以便有兴趣的读者进一步钻研探索。 本书可为高等院校电气工程、控制科学与工程、计算机科学、信息科学、人工智能等领域的研究人员和工程技术人员提供参考，也可作为相关专业高年级本科生和研究生的教学参考书。

视觉显著性检测计算是指利用数学建模的方法模拟人的视觉注意机制，对视场中信息的重要程度进行计算。Treisman 等的特征集成理论为视觉显著性计算提供了理论基础，将视觉加工过程分为特征登记与特征整合阶段，在特征登记阶段并行地、独立地检测特征并编码，在特征整合阶段通过集中性注意对物体进行特征整合与定位。受特征集成理论的启发，Kock 和 Ullman最早提出了有关视觉注意机制的计算模型，通过滤波的方式得到特征，最后通过特征图加权得到显著图。

Itti于1998年提出基于显著性的视觉注意模型,并在2001年度Nature上对该模型理论作了进一步的完善。Itti的显著性模型最具代表性，该模型已经成为了自下而上视觉注意模型的标准。

对于一幅输入的图像，该模型提取初级视觉特征：颜色（RGBY）、亮度和方位、在多种尺度下使用中央周边(Center-surround)操作产生体现显著性度量的特征图，将这些特征图合并得到最终的显著图(Saliency map)后,利用生物学中赢者取全(Winner-take-all)的竞争机制得到图像中最显著的空间位置, 用来向导注意位置的选取，最后采用返回抑制 (Inhibition of return) 的方法来完成注意焦点的转移。视觉显著性计算模型大致上可分为两个阶段：特征提取与特征融合。在特征融合阶段，可能存在自底向上的底层特征驱动的融合方式，和自顶向下的基于先验信息与任务的融合方式。因此，视觉显著性检测模型框架大致表述为如图 5 所示。

人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，这种视觉注意机制是人们日常生活中处理视觉信息的重要机制。随着互联网带来的大数据量的传播，如何从海量的图像和视频数据中快速地获取重要信息，已经成为计算机视觉领域一个关键的问题。通过在计算机视觉任务中引入这种视觉注意机制，即视觉显著性，可以为视觉信息处理任务带来一系列重大的帮助和改善。引入视觉显著性的优势主要表现在两个方面，第一，它可将有限的计算资源分配给图像视频中更重要的信息，第二，引入视觉显著性的结果更符合人的视觉认知需求。视觉显著性检测在目标识别，图像视频压缩，图像检索，图像重定向等中有着重要的应用价值。视觉显著性检测模型是通过计算机视觉算法去预测图像或视频中的哪些信息更受到视觉注意的过程。

视觉显著性（Visual Attention Mechanism，VA，即视觉注意机制）是指面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著性区域。

视觉显著性包括从下而上和从上往下两种机制。从下而上也可以认为是数据驱动，即图像本身对人的吸引，从上而下则是在人意识控制下对图像进行注意。计算机视觉领域主要做的是从下而上的视觉显著性，而从上而下的视觉显著性由于对人的大脑结构作用不够了解，无法深刻的揭示作用原理，在计算机视觉领域的研究也相应很少。

视觉显著性检测自底而上基于数据驱动的注意机制

仅受感知数据的驱动,将人的视点指导到场景中的显著区域；通常与周围具有较强对比度或与周围有明显不同的区域吸引自下而上的注意。利用图像的颜色、亮度、边缘等特征表示，判断目标区域和它周围像素的差异，进而计算图像区域的显著性。图1为自下而上的注意,第5列红色条和第 4 列的竖直摆放的条形能立即引起人的注意。

视觉显著性检测自上而下基于任务驱动的目标的注意机制

由人的“认知因素” 决定, 比如知识、预期和当前的目标.对图像的特定特征来计算图像区域的显著性。图2为自上而下的注意, 监控任务下, 场景中的人体能引起注意。

视觉显著性检测LC算法

LC算法的基本思想是：计算某个像素在整个图像上的全局对比度，即该像素与图像中其他所有像素在颜色上的距离之和作为该像素的显著值 。

图像

其中

其中N表示图像中像素的数量。

给定一张图像，每个像素

LC算法的代码实现：

1、直接调用OpenCV接口，实现图像中像素的直方图统计，即统计[0,255]中每个灰度值的数量。

#直方图，统计图像中每个灰度值的数量
hist_array=cv2.calcHist([image_gray],[0],None,[256],[0.0,256.0])

2、计算像素与其他所有像素在灰度值上的距离。

defcal_dist(hist):
dist={}
forgrayinrange(256):
value=0.0
forkinrange(256):
value =hist[k][0]*abs(gray-k)
dist[gray]=value
returndist

3、将灰度值图像中的像素值更新为对比度值（即距离度量）。

foriinrange(image_width):
forjinrange(image_height):
temp=image_gray[j][i]
image_gray_copy[j][i]=gray_dist[temp]
image_gray_copy=(image_gray_copy-np.min(image_gray_copy))/(np.max(image_gray_copy)-np.min(image_gray_copy))

github上有代码的具体实现：https://github.com/asdfv1929/Saliency_LC_Algorithm

视觉显著性检测HC算法

HC算法和LC算法没有本质的区别，HC算法相比于LC算法考虑了彩色信息，而不是像LC那样只用像素的灰度信息，由于彩色图像最多有256*256*256种颜色，因此直接采用基于直方图技术的方案不适用于彩色图片。但是实际上一幅彩色图像并不会用到那么多种颜色，因此提出了降低颜色数量的方案，将RGB各分量分别映射成12等份，则隐射后的图最多只有12*12*12种颜色，这样就可以构造一个较小的直方图用来加速，但是由于过渡量化会对结果带来一定的影响，因此又用了一个平滑的过程。 最后和LC不同的是，对图像处理在Lab空间进行的，而由于Lab空间和RGB并不是完全对应的，其量化过程还是在RGB空间完成的 。

视觉显著性检测AC算法

AC算法是基于局部对比度的，采用Lab颜色空间计算距离。AC算法通过计算一个感知单元在不同邻域上的局部对比度来实现多尺度显著性计算。内部区域R1，外部区域R2，计算R1和R2的局部对比度时，通过改变R2的大小实现多尺度显著性计算 。

感知单元R1可以是一个像素或一个像素块，其邻域为R2，（R1）R2所包含的所有像素的特征值的平均值作为（R1）R2的特征值。设像素p为R1和R2的中心，p所在位置局部对比度为：

其中N1和N2分别是R1和R2中像素的个数。vk是k这个位置的特征值或特征向量。

AC方法采用Lab颜色特征，采用欧氏距离计算特征距离。R1默认为一个像素，R2边长为[L/8，L/2]之间的正方形区域，L为长宽中较小者。多个尺度的特征显著图通过直接相加得到完整的显著图。

视觉显著性检测FT算法

FT算法从频率角度分析图像。图像在频率域可以分成低频部分和高频部分。低频部分反映了图像的整体信息，如物体的轮廓，基本的组成区域。高频部分反映了图像的细节信息，如物体的纹理。显著性区域检测用到的更多的是低频部分的信息 。在实际进行计算时，FT方法使用窗口5*5的高斯平滑来实现对最高频的舍去。像素的显著性可以用下面公式计算：

其中，

matlab代码实现思路如下：

1、对图像进行5*5的高斯平滑。

2、转换颜色空间。RGB颜色空间转换为CIELAB颜色空间。

3、计算整幅图片的l、a、b的平均值。

4、按照算法中的公式，计算每个像素l、a、b值同图像三个l、a、b均值的欧氏距离。得到显著图

5、归一化。图像中每个像素的显著值除以最大的那个显著值。得到最终的显著图。