数字图像处理——知识点
啥也先不说，Lena镇个楼。
* 数字图像 ：能够在计算机行显示和处理的图像。
* 数字图像处理 ：利用计算机对图像进行分析、加工等处理，使其能够满足各种目的。
* 数字图像的特点：
1、图像中信息量大
2、图像处理数据量大
3、处理过程重复运算量大
4、处理技术综合性强
* 人类视觉构造：
* 锥状细胞： 感受光、色。对颜色敏感。
* 杆状细胞： 只感受光，不能感受颜色。（缺乏得夜盲症）
* 亮度 ：光线的明暗程度
* 色调 ：色彩模式下，原色的明暗程度，如RGB下为红绿蓝三原色的明暗程度。
* 饱和度 ：色彩的浓度。
* 亮度对比效应 ：
1、 同时对比效应 ：按对比度感觉物体量度对比。
2、 马赫带效应 ：视觉的主管感受在亮度有变化的地方出现需要的明亮或黑暗的条纹。
* 图像数字化 ：将连续的模拟信号转为离散的数字信号。
* Nyquist采样定理 ：
离散信号替代连续信号的条件：
1、原始信号为有限带宽信号。
2、采样频率不小于信号最高频率的2倍。
* 空间分辨率：
单位：像素/英寸，像素/厘米，像素*像素
数字图像的量化：将灰度转为整数代表。
eg 8位可以表示2^8个灰度级（ 0 - 256）
幅度分辨率：灰度级越多，该分辨率越高
（虚假轮廓：由于灰度级过少，导致颜色区别在离散化的时候被加大，导致出现类似轮廓的东西）
* 计算数字图像的数据量
像素分辨率为M*N，Q bits/像素
数据量为：M*N*Q/8 Bytes
（该量化级数：2^8）
* 数字图像分类：
1、灰度图像：在纯黑到纯白之间量化。
2、二值图像：只有黑白
3、彩色图像：如RGB图像，每个颜色通道都用相应bits表示。
* 像素间的基本关系：
* 位置关系：
* 邻接性：
邻接条件：
1、4相邻或8相邻
2、灰度值相近
* 连通性 ：由邻接性产生的性质
连通集：由连通性产生
4-连通：6个
8-连通：2个
区域 ：R是图像的像素子集，若R为连通集，则R为一个区域。
边界 ：区域R中，有一个或多个领域像素不在该区域中，则该像素为其边界。（上图都是边界）
像素距离：
1、欧式距离
2、街区距离 = |x1-x2| + |y1 - y2|
3、棋盘距离= max（|x1-x2| ，|y1 - y2|）
数字图像 代数运算 ：
应用：
加法 ：去除加性噪声，图像叠加。
减法 ：检测图像变化
乘法 ：抠图，改变灰度
* 点运算 ：对单个像素进行变换
* 空间滤波 ：基于领域进行处理
* 灰度变换 ：
原像素->映射函数->变换后的像素
应用：
1、图像求反（底片效果）
以8bits为例：变换像素灰度 = 255 - 原像素灰度
2、线性变换（1）
扩张 ：将灰度集中的图像（曝光不足或者过曝）灰度动态范围拉大，加大反差，使得图像更清晰。
压缩 ：反之，可以柔和图像。
* 分段线性变换 （2）：
3、非线性变换：
目的对不同灰度范围的像素做不同程度的处理，比如暗部和高光就没必要拉大灰度值动态范围。
* 对数扩展：
指数扩展：
灰度直方图：反映灰度分布
横轴灰度级，纵轴像素数或者百分比
* 计算：
直方图均衡化
eg 练习题
灰度级 0 - 7
分布概率为：0.19， 0.25，0.21，0.16，0.08，0.06，0.03，0.02
求直方图均匀化后的像素分布：
答案：
均匀化后只有5个灰度级，1，3，5，6，7概率如下：
1:0.19，3:0.25，5:0.21，6:0.24，7:0.11
直方图规定化
简而言之，给定一个模版，使得变换后的图像像素灰度分布与模版相似。
比如该题，0灰度的占0.19接近目标模版0.2，那么就变为目标模版的灰度3。中间灰度1，2，3加起来0.62接近目标模版的0.6所以就变为5。
* 空域滤波器/模版 ：一个矩阵
* 滤波过程：
1、在图像中依次将滤波器对齐图像的像素
2、做卷积（相应像素与k乘，最后求和）
3、将结果赋值给滤波器中间位置对应的图像像素
* 边缘问题 ：因为滤波器无法超出图像范围，所以边缘无法滤波。
* 处理方法：
1、忽略
2、假想边缘外有与边缘灰度值一样的像素
空域滤波分类：
1、平滑滤波：平滑图像，去除高频分量，使得图像灰度值变化不那么大，同时降低噪声。
2、锐化滤波：去除低频分量，使得图像反差增大，边缘明显。
1、 领域平均法
可以减少噪声，但图像也模糊了
2、 加权平均法
不同位置的灰度重要性（权重）不一样，中间的最为重要，旁边的重要性降低。
3、 非线性平滑滤波
1、利用差分反映相邻像素的灰度变化大小（连续的变化程度叫微分，离散的叫差分，其实就是差值。是一个概念）
2、通过差分的出梯度。（梯度可用来检测边缘，因为边缘像素灰度变化很大）
3、锐化后的像素灰度值 = 原像素灰度值 + 锐化程度系数*梯度
实际应用 ：
1、
2、二阶差分模版——拉普拉斯算子
算 梯度：
直接锐化：
> 前面我们用的矩阵滤波器是在空域对图像进行处理，现在要转到频率区域。
> 对频域不理解的同学，可以去知乎搜一搜。
> 简单介绍：
> 天才数学家傅立叶发现，任何周期信号都能用正弦函数级数表示，任何非周期信号都可以用正弦信号的加权积分表示。
> 所以这些正弦函数的分布就产生了频域的概念。
将图像二维离散傅立叶变换后：
四个角，为低频部分。中心为频率最高处。
最亮说明低频能量最高（看图片，黑大衣，背景等这些灰度变化小的像素占了大多数，它们就是低频分量）。
由于二维DFT的周期性和共轭对称性，我们可以将频率谱中心化。
频谱图的纵横交错性：
* 频率滤波基础
步骤：
1、图像空域转频域
2、将频谱与频率滤波器相乘
3、进行傅立叶反变换得到图像
* 频域滤波分类：
1、低通滤波
2、高通滤波
3、带通和带阻滤波
4、同态滤波
* 陷波滤波器
思想：噪声和边缘属于高频成分，低通，顾名思义低频通过，滤去高频。
分类：
1、理想低通滤波器
其中D0为人为确定的截止频率
缺点：可能产生 振铃现象
振铃现象产生的原因：
2、Butterworth低通过滤器
缺点：平滑效果不如理想低通
当Butterworth的阶数n升高时，振铃现象加大。但是优于理想低通，因为低频与高频之间是平滑过度的。而阶数越高，平滑程度越低，所以振铃现象增强。
3、高斯低通过滤器（GLPF）
缺点：平滑效果不如前两个
平滑效果与截止频率的关系：
高频通过，滤去低频。实现锐化。
高通滤波模版 = 1 - 低通滤波模版
效果：
同样IHPF有振铃现象。
高通滤波得到的仅仅为边缘信息，非边缘信息全变黑了。为了得到增强的锐化图像，使用高频增强滤波方法。
方法：
k * 高通滤波器 + c
k 为 > 1 的系数，c为常数
对于动态范围很大图像（黑的很黑，白的很白），而且细节在黑或者白的部分。
使用灰度级扩展提高反差，图像动态范围进一步加大。
压缩灰度级，动态范围变小，但是细节更加无法分辨。
此时需要将频率过滤与灰度变换结合起来——同态滤波。
* 理论基础：
图像是根据 照度/反射率 模型组成的。
照度 ：太阳光或者其他光源，一般变化较小，为低频。
反射率 ：由物体表面材质决定，变化大，为高频。
（举个例子，比方你望去窗外，太阳光照射所有物体的光几乎是一致的。但呈现出的不同细节等是由花草房子之类的反射率决定的）
那么，
减弱入射光i（x，y）可以缩小灰度范围。
怎强反射光r（x，y）可以提高图像对比度。
过程：
这样同态滤波器就自动的对低频的入射光进行虚弱，降低动态范围。对高频进行增强，提高对比度。
图像退化 ：图像在产生、存储、传输过程中，由于设备等的不完善使得图像质量损坏。
图像复原 ：在图像退化模型的基础上，根据先验知识建立退化模型，再进行反运算恢复原始图像。
* 图像增强与图像复原的联系与区别
联系 ：都是改善图像的视觉质量
区别 ：增强是主观的，不考虑图像退化原因。复原是客观的，目的是最大程度还原成原图像。
图像 退化模型 ：
使用 概率密度函数 进行描述。
分类：
1、高斯噪声
2、瑞利噪声
3、伽马噪声
4、均匀分布噪声
5、脉冲噪声（椒盐噪声）
6、周期噪声
一些噪声的灰度直方图：
案例 ：
分析：
取一块变化很小的地方，绘制直方图。发现是高斯噪声模型。
处理加性噪声（高斯噪声、均匀分布噪声）——空域滤波
1、算数均值滤波 ，做算术平均
2、几何均值滤波 ，做几何平均
优点：几何均值滤波图像细节保留更多，平滑程度和算术差不多。
3、谐波均值滤波
处理“盐”噪声效果较好，不适用于“椒”噪声。
4、逆谐波均值滤波
Q-滤波器阶数 ：
Q > 0 处理“椒”噪声
Q == 0 为算术均值滤波
Q < 0 处理“盐”噪声（Q == -1，为谐波均值滤波）
5、统计排序滤波器：
中值滤波器 ：相同尺寸下，比均值滤波器引起的模糊小。处理脉冲噪声很有效。但多次使用会模糊图像。
最大值滤波器 ：处理“椒”噪声效果好，但会从黑色物体边缘移走一些黑色色素。
最小值滤波器 ：处理“盐”噪声效果好，但会从白色物体边缘移走一些白色色素。
中点滤波器 ：计算滤波模版内最大值最小值的算术平均，即为中点值。处理高斯和均匀噪声效果 最好 。
6、自适应滤波器 （可根据当前处理的像素信息，自行确定修复强度）
效果：
7、自适应中值滤波
在模版内找中值，中值不是脉冲，则看中心值Zxy是不是脉冲。中心值Zxy是
为什么原图像减去拉普拉斯变换的图像是锐化
1图像锐化1.1图像锐化的概念在图像增强过程中,通常利用各类图像平滑算法消除噪声,图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。一般来说,图像的能量主要集中在其低频部分,噪声所在的频段主要在高频段,同时图像边缘信息也主要集中在其高频部分[1]。这将导致原始图像在平滑处理之后,图像边缘和图像轮廓模糊的情况出现。为了减少这类不利效果的影响,就需要利用图像锐化技术,使图像的边缘变得清晰。图像锐化处理的目的是为了使图像的边缘、轮廓线以及图像的细节变得清晰,经过平滑的图像变得模糊的根本原因是因为图像受到了平均或积分运算,因此可以对其进行逆运算(如微分运算)就可以使图像变得清晰。从频率域来考虑,图像模糊的实质是因为其高频分量被衰减,因此可以用高通滤波器来使图像清晰。1.2拉普拉斯算子拉普拉斯算子是一种在图像锐化处理中很重要的算法。拉普拉斯算子是与一个边缘方向无关的边缘点检测算子。它对孤立像素的响应要比对边缘或线的响应更强烈,因此使用该算子进行图像锐化之前需要对图像作平滑处理[2,3]。拉普拉斯算子是一种二阶微分算子。一个连续的二元函数f(x,y),其拉普拉斯运算定义为2f=2f x2+2f
数字图像处理(一) 绪论
本文主要通俗介绍了数字图像基础概念、图像处理技术划分、技术起源及应用场景、成像技术等 什么是数字图像呢？ 数字图像 ：一幅图像可以定义为一个二维函数 ，其中 和 是空间(平面)坐标，而在任何一对空间坐标( , )处的幅值 称为图像在该点处的 强度 或 灰度 。当 ， 和灰度值 是有限的离散数值时，我们称该图像为数字图像。数字图像由有限数量的元素组成，每个元素都有其特定位置和幅值，这些元素称为 画图元素 、 图像元素 或 像素 。 这是因为：人类的感知仅限于电磁波谱的视觉波段，而成像机器几乎可以覆盖从伽马射线到无线电波的整个电磁波谱。数字图像处理能够对非人类所习惯的那些图像源进行加工。 AI(人工智能)主要分为感知、理解、决策三部分。而其中的理解，在图像处理和计算机视觉中被称作 图像分析 (或者叫做 图像理解 )。国际上做这个方向比较出名的就是斯坦福大学人工智能实验室（SAIL）主管李飞飞教授。而所谓的理解，就是理解图像背后的深层次含义，最终目标是像人一样，看一张老照片，可能会让你留下眼泪(所包含的信息量巨大)。现在李飞飞团队所做的成果能够理解各各物品之间的事物关系。如下图所示： 对图像的处理也分为三个等级： 低级处理 、 中级处理 、 高级处理 。 低级处理 ：主要是对图片进行一些简单的操作，像降低噪声、增强对比度和图像尖锐化。降低噪声可以用滤波。图像增强的原则是处理某个给定的图像，使其结果较源图像更便于后续的操作与应用，主要解决由于图像的灰度级范围较小造成的对比度较低的问题，目的就是将输出图像的灰度级放大到指定的程度，使得图像中的细节看起来增加清晰。锐化图像特征，如：边缘(edges)、边界(boundaries)、对比度(contrast)等，使得图像获得更好的显示效果或更便于图像分析。 中级处理 ：涉及诸多任务，如把一副图像分为不同区域或目标，也就是 图像分割 领域做的事情，以使得其更好被识别，分类，也可以称之为 目标检测 。说到这个就来感受一下成果： 高级处理 ：也就是上文说到的理解图像，为什么理解这么难呢？因为人类都很难做到这件事情，就像一万个读者眼中，就有一万个哈姆雷特。虽然数字图像处理这一领域建立在数学和概率公式表示的基础之上，但人的直觉和分析在选择一种技术而不选择另一种技术时会其核心作用。其实整个科学领域都是这样。 早在20世纪20年代就有数字图像处理这一概念，而到最近才发展迅速的根本原因是因为数字图像要求非常大的存储和计算能力，因此数字图像处理领域的发展必须依靠数字计算机及数据存储、显示和传输等相关支撑技术的发展。而计算机计算能力的提升也是现在AI发展起来的根本原因。很多技术在二十年前就有人提出来，而当代这些学者添砖加瓦将其效果做地更加惊艳。 如上图这张月球的图片，所有信息都隐藏在像素点里面，但是你怎么提取有效信息呢？举个更加易懂的例子： 通过墙壁漫反射的光影，重建原始画面。 左边的是原图，中间的是漫反射图，右边的是通过漫反射图重建的图片。 文章名称：Computational periscopy with an ordinary digital camera 文章链接： https://www.nature.com/articles/s41586-018-0868-6 计算机方法用于增强对比度，或将灰度编码为彩色，以便于解释工业、医学及生物科学等领域中的X射线图像和其它图像。图像处理技术也成功应用在天文学、考古学、生物学、核医学、法律实施(难不成是文字识别？不是很懂)、国防及工业领域。 说了这多数字图像处理，那图像从哪里来呢？也就是成像技术。主要有伽马射线成像、X射线成像、血管照相术、紫外波段成像、可见光及红外波段成像、微波波段成像、声波成像等等。设计太多知识，我也整不明白，各位观众老爷想了解的，自行百度关键字吧。 说白了图像就是由一堆数字，那么当然可以由计算机直接凭空产生。这里就设计到计算机图形学，再结合图像处理，得到另外一个领域：三维建模。
