|
幻灯片 1
|
老师好，我是李京，我的题目是 基于深度卷积网络的图像去噪研究
|
|
幻灯片 2
|
我大概分为这几个部分来讲解我做过的工作
|
|
幻灯片 3
|
首先，选题背景
|
|
幻灯片 4
|
现在，大家拍照也越来越多。但是由于暗光等等，图像会被噪声干扰，我们需要对图像进行去噪处理。同时，我也在研究学习深度学习……
|
|
幻灯片 5
|
同时，我也是在研究学习深度学习。就想到深度学习进行图像去噪，所以就选择了这个课题。好，下面开始…
|
|
幻灯片 6
|
首先是噪声模型（c）
|
|
我们可以认为一个包含噪声的图像可以表示为Y=R+N
|
|
其中，（c）R是纯净图像，（c）N为噪声，（c）Y是受到噪声干扰的图像。
|
|
|
|
我们认为大多数图像的噪声符合高斯分布，（c）
|
|
而在这里，与传统方法不同，我们根据Y，来预测噪声N，再做个减法来估计原图。
|
|
（世间万物各种特征实在太多，不如噪声特征更容易捕捉）
|
|
幻灯片 7
|
传统去噪算法大致可以分为两类，空间域降噪和变换域去噪，最近还有一些比较优秀的算法出现，
|
|
（c）比如BM3D
|
|
但是BM3D算法的一个缺点是，运算量较大，后面我们会有具体对比。
|
|
接下来是深度学习……
|
|
（空间域去噪就是直接对图像灰度值进行修改，平均滤波，中值滤波都是这种。）
|
|
（而频域去噪要先对图像做一个变换，变换到频域，处理后再做逆变换。常见的变换方法有傅立叶变换以及拉普拉斯变换等。）
|
|
幻灯片 8
|
接下来是深度学习，我们看到的是一个典型的全连接网络，
|
|
这里需要注意，图像去噪要求输出与输入的尺寸相同，也就是，输入层节点数和输出层节点数要相同。如果我们。。。
|
|
幻灯片 9
|
如果我们对一个尺寸为256*256（c）的图像进行去噪处理，那么每层网络的节点数就不能少于65536个节点（c），
|
|
（否则将造成数据损失。）
|
|
这样，每两层网络中权值的数量（c）就不能少于65536*65536个权值，接近43亿，太庞大了。所以我们看卷积网络
|
|
幻灯片 10
|
卷积网络有三个特征：
|
|
（c）局部连接（c）权值共享（c）下连接
|
|
这三个特征，使网络中的参数数量大大减少，并且可以更加高效得提取特征信息
|
|
其实我前期所做的工作和之前刚刚答辩的王悦同学基本上是一样，后面确定了题目才开始不一样
|
|
|
|
备注：位置关系：图像的特点，每一个像素与四周临 近像素会拥有较大的关联，而对于距离较远的像素，往往没有关联较 为紧密的关系。
|
|
幻灯片 11
|
接下来是第二部分，（c….直到翻页）网络模型，我们看到的是一个经典的卷积神经网络……
|
|
幻灯片 12
|
我们看到的是一个经典的卷积神经网络，对于我们的图像去噪任务，删去（c）所有池化层 和 全连接层。全部使用卷积层（c）。我们的网络只有下面三种结构……
|
|
幻灯片 13
|
我们的网络只有下面三种结构：
|
|
首先，第一层，输入层，使用ReLU激活
|
|
（卷积核尺寸为5*5*c，一共有24个，c为通道数。灰度图c就是1,rgb的话，c=3。）
|
|
第二层到（c）第n-1层，即中间层，加入Batch Normalize 处理
|
|
第三层（c）最后一层，输出层，这一层输出仅有卷积处理。
|
|
其中，c是通道数，单通道灰度图即为1,彩色rgb图像，c=3
|
|
需要注意的是，在每层网络进行处理前，首先对边缘填充0，来保证卷积处理后尺寸不变。
|
|
由于我们有对性能的要求，所以在保证效果的情况下，尽量简化网络结构。
|
|
（所以这里使用一个（c）结构较为简单的层网络。）
|
|
（理论上，网络层越多，提取的特征信息就会越多，训练速度、运行速度也会变慢。）
|
|
（批量归一化：通过对输入值的分布进行调整来加快深度网络的训练）
|
|
幻灯片 14
|
损失函数的计算采用最小二乘法则
|
|
（损失函数值为真实噪声与输出噪声的差值的平方的平均值）
|
|
幻灯片 15
|
那么接下来，就是训练数据……
|
|
幻灯片 16
|
首先，训练使用的图像是从互联网上下载到以及使用爬虫爬到的图虫网的摄影作品。
|
|
幻灯片 17
|
我们将它处理成训练数据
|
|
对于原图（c），叠加一个高斯噪声后的图像作为（c）输入数据data
|
|
噪声信息作为训练的目标
|
|
（c）保存为mat数据格式
|
|
（c）以下所有的训练以及测试，均使用相同的平台进行
|
|
（mat文件在使用过程中会全部加载到ram，提高读取速度）
|
|
幻灯片 18
|
我们用，1 峰值信噪比或者信噪比，2 细节保留程度，3 算法运行时间 来衡量算法
|
|
幻灯片 19
|
接下来，是第四章。我们去噪测试分为三个部分……
|
|
幻灯片 20
|
测试分为三个部分
|
|
1.高斯噪声水平固定的灰度图去噪
|
|
2.不同尺寸、多通道去噪
|
|
3.对于不固定高斯噪声水平的图像去噪
|
|
幻灯片 21
|
首先是高斯噪声水平固定的灰度图，我们用图形学经典的12个图去测试去噪效果。
|
|
固定高斯噪声（c）的标准差为16，制作数据集，
|
|
（c）经过9个多小时的训练。最终我们得到这样的结果……
|
|
幻灯片 22
|
首先我们看一组对比图。左边是包含噪声的图像，中间是去噪后图像，右边是原图。
|
|
我们放大（c）看一下细节。
|
|
能看到，裤子上的细节保留的还算较为完整
|
|
幻灯片 23
|
看一下更多的对比
|
|
从左到右：分别是纯净的图像原图、卷积网络去噪、平均滤波去噪以及BM3D算法去噪
|
|
（c）看一下数据
|
|
首先，我们能看到，即使是这样结构简单的卷积网络，仍然拥有BM3D接近的去噪效果。
|
|
看一下运行时间，（c）我们发现无论是CPU还是GPU，卷积网络均有比BM3D算法高出几十倍的性能。
|
|
接下来，我们看一下彩色图像去噪…
|
|
幻灯片 24
|
接下来，我们看一下彩色图像去噪。能够看出，去噪效果明显。
|
|
（这里同样使用结构比较简单的网络，理论上来说，去噪效果仍然可以有较大上升空间…（配置原因））
|
|
对于未知高斯噪声水平，我们（c）使用标准差为6到26的随机的噪声，对网络（c）进行了十几个小时的训练
|
|
我们只使用lena进行展示
|
|
幻灯片 25
|
这里，从左到右，分别是噪声图、卷积网络去噪的结果，还有BM3D算法参数针对标准差分别为10和20的情况下的去噪效果
|
|
这里分别是标准差为6和12的情况下的结果
|
|
幻灯片 26
|
我们继续加大噪声水平
|
|
这里分别是标准差为18和26的情况下的结果
|
|
（我们可以看到，当BM3D算法中设置参数与噪声水平较为匹配时，去噪效果很优秀，参数过大，会造成细节丢失的问题（比如，上一页），过小则会出现噪声残留的情况。）
|
|
看一下数据。
|
|
幻灯片 27
|
（我们可以通过数据来看到这一现象），这里（c）还有一张图表。
|
|
可以看到，无论噪声水平高还是低，卷积网络都可以达到一个较为稳定的去噪效果。而且拥有很高的性能。
|
|
我们来回顾一下……
|
|
幻灯片 28
|
我们来回顾一下，卷积网络去噪的适应性强、并行化较高、而且无需过多调参。因为它拥有较高的性能，则更加适用于任务繁重的服务器以及运算性能有限的移动终端。
|
|
幻灯片 29
|
以上即是我做过的工作，谢谢老师。
|
