本科课程复习之 数字图像处理

计划做一个本科课程的系列整理，这是第一篇（笑）

幕布源文档链接: https://share.mubu.com/doc/najtcY77Gk 密码: 8ypj

2021.3.1 幕布引用Katex的字符过多导致无法复试html代码进来 公式问题稍后解决

2021.3.7 latex公式已经全部替换为图片了 可以放心看咯

•  
  数字图像处理 digital image processing
  •  
    digital: imformation in the observed scene is recorded by digit.观察到的场景中的信息由数字记录
  •  
    each pixel is measured by a number between 0 and 255 像素值0-255 0黑 255白
  •  
    the number is stored by 8 bits 数字图像数据类型Uint8
  •  
    数字图像的获取：景物（模拟）、成像系统（采样：对xy坐标值离散化 | 量化：对幅度值也就是灰度级离散化）、数字图像（计算机处理）
  •  
    数字图像类型：
    •  
      灰度图 一个波段或通道 band或channel
    •  
      彩色图像 三个波段或通道 RGB红绿蓝三原色光
    •  
      索引图像 数据矩阵x （每个数字都是对map的索引） 颜色映像矩阵Map (RGB值)
    •  
      二值图像 0黑 1白
•  
  computer vision: help computer understand images
•  
  修复 image inpainting
•  
  恢复 image restoration
  •  
    image degradation图像退化
  •  
    image denoising 图像去噪
    •  
      Image is corrupted during transmission or acquisition by someundesired noises.图像在传输或采集过程中由于一些不希望的噪音而损坏
    •  
      noise model噪声模型/ blure model模糊模型/downsampling model 下采样模型
    •  
      gussian noise高斯噪声、加性噪声 additive noise
      •  
        正态分布normal deistribution
      •  
        均值滤波 mean filitering (average filitering): 会造成模糊（窗口大）3*3的窗口 每个像素值的权重都是九分之一 边缘处镜像对称或补0 用重建前像素值
    •  
      salt and pepper noise椒盐噪声（impulse noise脉冲噪声）、乘性噪声 multiplicative
      •  
        均匀分布uniform distribution
      •  
        中值滤波 median filitering 用中位数代替中心像素 窗口太大也会模糊 中值滤波最适合椒盐噪声
        • 
      •  
        权重滤波weighted average filtering .More similar pixel should be assigned a larger weight.类似的像素分配大权重
        •  
          How to find a proper weightcalculation solution?如何找到合适权重？
        •  
          The pixels within a local window are very similar. 靠近中心像素的 距离 相似 高斯核Gaussiankernel就是基于距离的
        •  
          PSNR峰值信噪比 MSE小 PSNR大 去噪效果好
          • 
        •  
          SSIM结构相似度
  •  
    image deblurring去模糊
    •  
      bluring model:
      •  
         
        • 
      •  
        b ——blur kernel
      •  
        n ——additive noise
  •  
    image superresolution超分辨
    •  
       
      • 
    •  
      D——downsampling operation
    •  
      从x得到y
•  
  分割 Image segmentation
  •  
    Extract interesting regions in image according to some specific rules根据一些特定规则提取图像中有趣的区域
  •  
    根据目标和背景先验知识 将图像分为构成它的子区域或物体
  •  
    Combine properties of objects;考虑目标的属性
  •  
    Considerthe basic structures in images.考虑图像基本结构
  •  
    相似性分割（基于区域相关的分割技术）：相似灰度级的像素聚集在一起
  •  
    非连续性分割（基于点相关的分割技术）：检测局部的不连续性，连起来形成边界
  •  
    ↑两种方法互补 有时可以结合起来
  •  
    点检测：孤立点检测：某点处二阶导数响应的绝对值超过了设定的阈值 则检测到该点 拉普拉斯算子
  •  
    线检测 ：水平 垂直 正负四十五度
  •  
    边缘检测：台阶型 斜坡型 屋顶型 基于梯度的边缘检测（算子：prewitt sobel roberts）
  •  
    图像关于x,y轴的导数：
    •  
      一阶导：产生较粗的边缘
    •  
      二阶导：对精细细节（如细线 孤立点 噪声 ）有较强响应 灰度斜坡和台阶产生双边缘效应 符号可以确定从亮到暗还是从暗到亮过渡
  •  
    基于全局阈值的分割：平均灰度值为初始阈值T 大于T的算平均值u1 小于T算平均值u2 ​$T=\genfrac{}{}{0ex}{}{u^1+u^2}{2}$​ 直到两次T之间的差值小于预先给定的T1
•  
  特征检测 saliency detection / feature detection
•  
  小波变换 wavelet tramsform
  •  
    （这块不整理了 实在是不会）
  •  
    Use multiresolution analysis tools to model and anslyze images in frequency domain .使用多分辨率分析工具在频域中的模型和围网图像。
•  
  彩色图像处理color image processing
  •  
    人眼可分辨几千种颜色 但是只能区分几十种灰度级
  •  
    人眼成像过程: 视细胞受到光刺激产生电脉冲-----视神经中枢----大脑成像.
  •  
    颜色模型：RGB/CMYK/IHS/YUV/YCbCr
  •  
    IHS: 与人眼对颜色的描述很相似
    •  
      H：Hue 色调
    •  
      S：Saturation饱和度
    •  
      I：Intensity强度/亮度/灰度
  •  
    彩色图像处理思路
    •  
      看作三幅分量图像的组合体，先分别单独处理，再将结果合成
    •  
      每个像素看作具有三个属性值，即属性现在为一个矢量，利用对矢量的表达方法进行处理
  •  
    彩色图像的中值滤波
    •  
      将RGB值转为HSI值
    •  
      根据HSI值的I分量进行排序
    •  
      将排序后的中值所对应的HSI值转为RGB值
  •  
    彩色图像的直方图处理方法：
    •  
      RGB空间转到HSI空间
    •  
      针对HSI模型中的I分量(对应一幅灰度图)进行直方图处理，H分量和S分量保持不变
    •  
      将处理后的HSI值转为RGB值
    •  
      由于仅修改了I分量，即亮度分量，色调和饱和度未改变，图像的色彩能得到保持。
•  
  分类image classification
  •  
    Taking image features into consideration,machine learning based methods are adopted to classify the images into several categories. 将图像特征加以考虑 机器学习的方法经常用于将图像分成不同的种类
  •  
    分类是根据训练数据集中的数据所表现出来的类特征，给每一类确定一种准确的描述方式，由此生成类描述或模型，并运用这种描述方式对新的数据集进行分类。
  •  
    Natural image classification
  •  
    Remote sensing classification遥感图像分类
  •  
    监督supervised分类（训练数据均有标签）
    •  
      决策树、支持向量机（SVM）、神经网络算法 、KNN
  •  
    半监督Semi-supervised分类(部分数据有标签 部分数据无标签 获取标签信息较困难时使用）
    •  
      监督类的方法经过改进可以变成半监督
  •  
    无监督unsupervised分类（都没标签）
    •  
      K-Means
  •  
    高光谱图像分类
    •  
      主要特点在于：
      •  
        1）光谱分辨率高，波段众多，且可以挑选特定的波段来突出特征，进行分类。
      •  
        2）数量冗余程度增加，波段相关性高。
      •  
        3）hughs现象的存在，样本数目要求高，且随着波段增加分类精度反而下降。
    •  
      降维+传统分类算法
      •  
        要用到PCA降维
    •  
      智能化的新分类算法
      •  
        神经网络分类
    •  
      光谱匹配分类
      •  
        光谱角分类SAM
      •  
        相关光谱匹配CCSM
•  
  图像压缩image compression
  •  
    为了保存存储空间并降低传输负担，采用图像压缩来探索图像中的冗余。To save storage space and reduce transmission burden,image compression is employed to explore the redundancy in images.
  •  
    为了使表示一幅图像的数据位数最小
  •  
    三种冗余：
    •  
      编码冗余 ：一个图像的编码使用了多于实际需要的编码符号 就称包含了编码冗余（如黑白二值图像编码）
    •  
      像素间冗余 ：因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较少。
      • 
    •  
      心理视觉冗余：对于眼睛和心理来说去除这些信息不会降低图像质量——用量化来去除 会导致有损压缩 不可恢复
  •  
    保真度准则：信息损失程度 解码图像相对于原图像的偏离程度
    •  
      客观保真度准则：损失量可以用原图像与解压缩后图像的函数表示
      •  
        均方根误差RMSE
      •  
        均方根信噪比
    •  
      主观保真度准则
  •  
    图像压缩模型
    •  
       
      • 
      •  
        信源编码：完成源数据的压缩，图像编码属于信源编码的范畴。
      •  
        信道编码：为了抗干扰，增加一些容错、校验位、版权保护，实际上是增加冗余。
      •  
        信道：如Internet、广播、通讯、可移动介质。
      •  
         
        • 
      •  
         
        • 
  •  
    lossy compression有损：心理视觉冗余
  •  
    lossless compression无损：编码冗余 像素间冗余 无损压缩的压缩比很少有能超过3:1的
  •  
    信息公理
    •  
      信息由不确定性程度进行度量； 确定事件的信息量为零。
    •  
      不确定性程度越高信息量越大；
    •  
      相互独立性与信息量可加性； 独立事件的联合信息等于两个独立事件的信息总和
    •  
       
      • 
      • 
    •  
      图像熵指该图像的平均信息量，即表示图像中各个灰度级比特数的统计平均值，等概率事件的熵最大。
    •  
      静态图像压缩编码标准-JPEG
      •  
        JPEG 是有损压缩算法
      •  
        JPEG 核心是离散余弦变换(DCT)
      •  
        静止图像(包括8bit/像素的灰度图像与24bit/像素的彩色图像)的编码标准。
      •  
        JPEG标准在较低的计算复杂度下，能提供较高的压缩比与保真度。在视觉效果不受到严重损失的前提下，算法可以达到15到20的压缩比。如果在图像质量上稍微牺牲一点的话，可以达到40:1或更高的压缩比。
      •  
        JPFG编码时，对原始图像的每一个分量首先分割成互不重叠的8×8像素块，然后对每个像素块的编码过程可分为二维DCT变换。
      •  
        根据图像信号的特点，对图像块进行二维DCT变换可以消除像素间的相关性。自然图像的像素块经DCT变换后，图像信号的能量主要集中到块的左上角，即图像的低频成分中。DCT变换后得到的系数矩阵中包括左上角的一个直流(DC)系数与63个交流(AC)系数，从左到右。水平频率增高，从上到下坚直频率增高。
•  
  图像描述(识别）image description
  •  
    设计强大的特征描述符来描述图像中的基本元素。Design robust feature descriptor to describe the fundamental elements in images.
  •  
    Some basic descriptors: SIFT HOG LBP
  •  
    SIGT for image registration方向梯度直方图
    •  
      检测和描述图像局部特征，在尺度空间中寻找极值点，并提取出其位置，尺度，和旋转不变量
    •  
       
      • 
  •  
    HOG for person detection尺度不变特征变换
    •  
      进行物体检测的特征描述子
    •  
      结合SVM（Support Vector Machine，支撑向量机）分类器
    •  
      HOG+SVM：行人检测
    •  
       
      • 
  •  
    图像特征是指某一幅或一类图像区别于其他图像的本质特点或特性。——自然特征、人为特征
    •  
      将多种特征看做特征向量来表示图像
  •  
    颜色特征
    •  
      灰度特征 灰度直方图
    •  
      均值 方差 能量 熵
  •  
    纹理特征
    •  
      重复性结构
    •  
      对图像的像素灰度级在空间上的分布模式的描述，反映物品的质地
    •  
      自相关函数描述（AutocorrelationFunction） 纹理粗糙性应与自相关函数的扩展成正比。
    •  
      灰度差分统计（Statisticsof Intensity Difference）
    •  
      均值 能量 熵
    •  
      灰度共生矩阵（Gray-LevelCo-occurrence Matrix）纹理粗糙程度和重复方向
    •  
      频谱特征
  •  
    边界特征
    •  
      链码
  •  
    区域特征
    •  
      面积 位置 孔 连接部分 欧拉数 偏心度
•  
  目标检测 obgect detection
  •  
    Tell the information about the objects in image: what, where, how.
  •  
    Objection detection is a very active research area.
  •  
    采用机器学习方法寻找或定位图像中感兴趣目标的位置
  •  
    框架：特征+分类器
    • 
  •  
    分类：图像中有什么 定位和检测：物体在哪里（矩形框） 分割：物体的精确轮廓
  •  
    人脸检测：人脸在哪里（不关心脸是谁的）
    •  
      预处理：光线补偿 直方图均衡 平滑处理
    •  
      提取特征：用滑动窗口滑动（可以使用不同大小的窗口分别滑动 也可以把图像缩放到不同的大小 用相同大小的窗口扫描）滑动之后每一个目标均被多个窗口包含在内 提取特征（HOG LBP等）
    •  
      分类：使用分类器（SVM 决策树 神经网络）进行分类
    •  
      非极大值抑制算法
      •  
        非极大值抑制的本质是搜索局部极大值，抑制非极大值元素。 每一个框上都有得分，然后把这些得分全部排序。选取得分最 高的那个框，接下来计算其他的框与当前框的重合程度（IOU） ，如果重合程度大于一定阈值（认为是同一张人脸）就删除，
      •  
        1、从最大概率矩形框F开始，分别判断A~E与F的重叠度IOU是否 大于阈值; 2、假设B、D与F的重叠度超过阈值，那么就舍弃B、D；并保留第 一个矩形框F。 3、从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与 A、C的重叠度，重叠度大于一定的阈值，就舍弃；并标记E是第 二个保留下来的矩形框。 4、一直重复这个过程，找到所有曾经被保留下来的矩形框。
  •  
    人脸识别：识别出检测到的脸是谁的（跟提前采集的数据对比）
•  
  图像形态学image morphology
  •  
    Extract edges, points and textures inimage and then achievemorphology filtering. 提取图像中的边缘，点和纹理，然后实现形态过滤。
  •  
    Basic operations: Erode腐蚀 Dilate膨胀 Opening operation开操作 Closing operation闭操作 hit-or-miss transform击中或击不中变换
  •  
    数学形态学——图像代数：以形态为基础 对图像进行分析的数学工具
  •  
    用 具有一定形态的结构元素去度量和提取图像中对应形状以达到对图像的分析和识别的目的
  •  
    数学基础和语言是集合论
  •  
    形态学图像处理：简化图像数据 保持基本的形状特性 除去不相干的结构
  •  
    膨胀
    • 
  •  
    腐蚀
    • 
  •  
    腐蚀
    •  
      消除物体边界点 去除小毛刺 凸起
    •  
      结构元素足够大的时候 腐蚀可以将细小的联通分开
    •  
      消除细节 产生滤波器的作用
  •  
    开操作
    •  
      轮廓变光滑 断开狭窄间断 消除细突出物
  •  
    闭操作
    •  
      轮廓变光滑 消除狭窄间断 消除小孔洞 填补裂隙
  •  
     
    • 
  •  
    击中或击不中变换
    •  
      交集是否为空 那些成分在图像内 那些在图像外
    •  
      可以借助腐蚀和膨胀来完成
•  
  图像融合 image fusion
  •  
    Combine redundancy and complementarity in multisource image and obtain an image containing more accurate information. 在多源图像中结合冗余和互补性，并获得包含更准确信息的图像。
  •  
    Multifocus image fusion多聚焦图像融合
  •  
    医学图像融合
  •  
    多曝光图像融合
  •  
    Remotesensing fusion遥感图像融合
  •  
    多传感器信息经过融合后能够完善地、准确地反映环境的特征
  •  
    图像融合（Image Fusion）是通过对源图像间冗余信息和互补信息进行处理，使得到的融合图像可靠性增强，能更客观地、更精确地和更全面地对某一场景进行图像描述，更加适合人眼和机器视觉感知，更加有利于图像分割、特征提取和目标识别等更深层次的图像处理任务。（复试要用的一段话 背下来）
  •  
    像素级融合
    •  
      原始数据及预处理各阶段上产生的信息分别进行融合处理。尽可能多地保持原始信息，能够提供其它两个层次融合所不具有的细微信息。
    •  
      要求传感器信息来自同质传感器
  •  
    特征级融合
    •  
      特征信息
  •  
    决策级融合
  •  
    基本步骤：图像预处理、图像融合、融合结果评价
  •  
    经典图像融合方法：
    •  
      加权平均法
      •  
         
        • 
      •  
        简单，运算量最少，抗干扰能力较差，平均的平滑效果导致融合图像清晰度不够
    •  
      IHS变换融合法
      •  
        （RGB空间三个分量相关性很强 IHS空间三个分量互不相关）
        • 
      •  
         
        • 
    •  
      PCA变换融合法
      •  
         
        • 
      •  
         
        • 
    •  
      小波变换融合法
      •  
         
        • 
    •  
      多尺度融合法
    •  
      混合方法
  •  
    全色图像与多光谱图像融合方法：
    •  
      一篇blog：https://blog.csdn.net/qq_39630875/article/details/109333550
    •  
      基于成分替代的融合策略（PCA IHS GS（施密特正交变换））
      •  
        直接用全色图像对空间成分进行替代，该类方法能够较好地增强多光谱图像的空间分辨率，空间细节较为清晰。然而，由于全色图像的光谱范围与多光谱图像的光谱覆盖范围无法完全匹配，且存在较大差异，直接用全色图像替换多光谱图像中的空间成分使得融合图像的光谱信息出现了较大的扭曲
      •  
         
        • 
    •  
      基于多尺度分析的融合策略(HPF)
      •  
        首先将多光谱图像进行上采样，然后采用多分辨率分析工具（Multiresolution Analysis，MRA）提取全色图像中的高频成分，再按照某种规则将全色图像中的高频成分注入多光谱图像，最后进行重构得到融合图像
      •  
        仅仅注入了全色图像中的高频成分，该类方法能够较好地保持融合图像中的光谱信息
        • 
    •  
      基于观测模型的融合策略
      •  
        利用两种图像的空谱退化关系 融合问题看做超分辨问题 SpariseFI
    •  
      还有基于深度学习的
      •  
        需要大量高分辨率全色图像作为训练集和验证集，而由于传感器固有物理结构的限制，直接获取该类图像是不可能的
  •  
    图像质量评价
    •  
      主观评价
      •  
        图像配准的精度 整体色彩 整体亮度和色彩反差 图像纹理和色彩丰富程度 清晰度
    •  
      基于统计特性的客观评价
      •  
        均值
      •  
        标准差（大了好）——小，则对比度小 可观察到的信息少
      •  
        平均灰度梯度（大了的清晰）
      •  
        灰度偏差（小了好）融合图像与原始图像间在光谱上的差异 小——较好的保存了原始信息
      •  
        均方误差（重建误差）理想图像与融合图像之间的差异
    •  
      基于信息量的客观评价
      •  
        熵：信息量的丰富程度
      •  
        交叉熵：两幅图像所含信息量的相对差异 交叉熵越小，融合图像从原始图像中得到的信息量越多。（即差异越小）
      •  
        相关熵：衡量图像中信息量的丰富程度
      •  
        互信息：反映两幅图像间的信息联系
    •  
      用过的
      •  
        SAM光谱角映射SpectralAngle Mapper：光谱扭曲度
      •  
        全局图像质量指标UIQI ：Universal Image Quality Index：多光谱图像中对应波段的相似性以及光谱信息的保留程度
      •  
        相对整体合成误差ERGAS：Erreur Relative Globale Adimensionnellede Synthèse 融合结果与参考图像的整体差异。
•  
  photo<picture<image
•  
  MATLAB
  •  
     
    • 
  •  
    读入图像
    •  
      a = imread(‘D:12.bmp’)
    •  
      imwrite(I6,'D:12.bmp')
    •  
      imshow(I,[LOW,HIGH])i是图像矩阵 low到high为显示图像的灰度范围 高于high是白 低于low是黑 high和low之间按比例拉伸
    •  
      figure;创建一个新窗口
    •  
      figure;subplot(m,n,p);imshow(i)打开一个m行n列的窗口并聚焦在第p个窗口上
  •  
    clc 清除命令窗口的显示内容
  •  
    clear 清除Matlab工作空间中保存的变量
  •  
    who或whos 显示Matlab工作空间中的变量信息
  •  
    dir 显示当前工作目录的文件和子目录清单
  •  
    cd 显示或设置当前工作目录
  •  
    type 显示指定m文件的内容
  •  
    help或doc 获取在线帮助
  •  
    quit或exit 关闭/推出MATALB
  •  
    简单纯文本帮助信息：help lookfor
  •  
    窗口式综合帮助信息（文字、公式、图形）:doc helpwin
  •  
    d_g1_3=medfilt2(g1,[3,3]);中值滤波
  •  
    g1=imnoise(rgb2gray(tong),'gaussian',0,0.1);图像去噪
  •  
    function[输出变量们]=函数名称（输入变量）
  •  
    J = imerode(I,SE)腐蚀操作
  •  
    J = imdilate(I,SE)膨胀操作
  •  
    IM2= imopen(IM,SE)开运算
  •  
    IM2= imclose(IM,SE)闭运算
  •  
    BW2= bwhitmiss(BW,SE1,SE2);击中与击不中
  •  
    BW2 = bwmorph(BW,operation)二值图像形态学运算