• GPUImage原理


    GPUImage是一个开元的基于GPU的图片或视频的处理框架,其本身内置了多达120多种常见的滤镜效果,并且支持照相机和摄像机的实时滤镜,并且能够自定义图像滤镜。

    美颜的基本概念

    OpenGL ES:开源嵌入式系统图形的处理框架,一套图形与硬件接口,创造了软件与图形加速间灵活强大的底层交互接口。用于把处理好的图片显示到屏幕上。

    GPU:(图形处理单元)手机或者电脑用于图像处理和渲染的硬件。

    GPU工作原理:CPU指定显示器工作,显示控制器根据CPU的控制到指定的地方去取数据和指令,目前的数据一般是从显存里取,如果显存里存不下,则从内存里取,内存也放不下,则从硬盘里取。

    滤镜处理的原理:就是把静态图片或者视频的每一帧进行图形变化后在显示到屏幕上,其本质就是像素点的坐标和颜色的变化。

    OpenGL ES程序处理图片的步骤:

    1.初始化OpenGL ES 环境,编译、链接顶点着色器和片元着色器。

    2.缓存顶点、纹理坐标数据,传送图像数据到GPU

    3.绘制图元到特定的帧缓存;

    4.在帧缓存去除绘制的图像。

    GPUImage基本概念

    GPUImage是采用链式方法来处理画面,通过addTarget方法添加对象到链中,处理完一个target,就会吧上一个环节处理好的图像数据传递到下一个target处理,成为GPUImage处理链。

    GPUImage的四大输入基础类,都可以作为响应链的起点,这些基础类会把图像作为纹理传给OpenGL ES处理,然后把纹理传递给响应链的下一个target对象。

    GPUImage的处理环节

    source(视频,图片源)->filter(滤镜)->final target(处理后的视频、图片)

    source:

    GPUImageVideoCamera 摄像头-用于实时拍摄视频

    GPUImageStillCamera 摄像头-用于实时拍摄照片

    GPUImagePicture 用于处理已经拍摄好的图片

    GPUImageMovie 用于处理已经拍摄好的视频

    filter

    GPUImageFilter:就是用来接收源图像,通过自定义的顶点,片元着色器来渲染新的图像,并在绘制完成后通知响应链的下一个对象。

    GPUImageFramebuffer:就是用来管理纹理缓存的格式与读写帧缓存的buffer。

    GPUImage的filter:GPUImageFilter类或者子类,这个类继承自GPUImageOutput,遵循GPUImageInput协议,既可以流进数据,又可以流出GPUImage的final target: GPUImageView,GPUImageMovieWriter最终输入目标,显示图片或者视频。

    解析

    GPUImageVideoCamera

    GPUImageVideoCamera是GPUImageOutput的子类,提供来自摄像头的图像数据作为源数据,一般是响应链的源头。

    1.视频图像采集:AVCaptureSession

    GPUImage使用AVFoundation框架来获取视频。AVCaptureSession类从AV输入设备的采集数据到指定的输出。

    具体使用看上一篇。

    2.颜色空间:YUV

    YUV是被欧洲电视系统索采用的一种颜色编码方法。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像,彩色电视采用YUV空间正式为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。

    YUV主要用于优化彩色视频信号的传输,使其向后相容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需占用极少的频宽。

    GPUImage中的YUV

    GLProgram *yuvConversionProgram:将YUV颜色空间转换成RGB颜色空间的GLSL。
    CVPixelBufferGetPlaneCount:返回缓冲区的平面数。

    CVOpenGLESTextureCacheCreateTextureFromImage():
    创建两个纹理luminanceTextureRef(亮度纹理)和chrominanceTextureRef(色度纹理)。
    convertYUVToRGBOutput():把YUV颜色空间的纹理转换成RGB颜色空间的纹理。

    顶点着色器-通用kGPUImageVertexShaderString

    片元着色器:

    1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString
    
    2.kGPUImageYUVVideoRangeConversionForLAFragmentShaderString
    

      纹理绘制

    glActiveTexture(GL_TEXTURE1);
    glGenTextures(1, &_texture);
    glBindTexture(GL_TEXTURE_2D, _texture);
    

      GPUImageView是响应链的终点,用于显示GPUImage图像

    1.填充模式

    GPUImageFillModeType fillMode图像的填充模式。

    sizeInPixels 像素区域的大小

    recalculateViewGeometry 重新计算图像顶点位置数据

    AVMakeRectWithAspectRatioInsideRece 在保证宽高比不变的前提下,得到一个尽可能大的矩形。

    ---未完

    28 #import "GPUImageBrightnessFilter.h"                //亮度
     29 #import "GPUImageExposureFilter.h"                  //曝光
     30 #import "GPUImageContrastFilter.h"                  //对比度
     31 #import "GPUImageSaturationFilter.h"                //饱和度
     32 #import "GPUImageGammaFilter.h"                     //伽马线
     33 #import "GPUImageColorInvertFilter.h"               //反色
     34 #import "GPUImageSepiaFilter.h"                     //褐色(怀旧)
     35 #import "GPUImageLevelsFilter.h"                    //色阶
     36 #import "GPUImageGrayscaleFilter.h"                 //灰度
     37 #import "GPUImageHistogramFilter.h"                 //色彩直方图,显示在图片上
     38 #import "GPUImageHistogramGenerator.h"              //色彩直方图
     39 #import "GPUImageRGBFilter.h"                       //RGB
     40 #import "GPUImageToneCurveFilter.h"                 //色调曲线
     41 #import "GPUImageMonochromeFilter.h"                //单色
     42 #import "GPUImageOpacityFilter.h"                   //不透明度
     43 #import "GPUImageHighlightShadowFilter.h"           //提亮阴影
     44 #import "GPUImageFalseColorFilter.h"                //色彩替换(替换亮部和暗部色彩)
     45 #import "GPUImageHueFilter.h"                       //色度
     46 #import "GPUImageChromaKeyFilter.h"                 //色度键
     47 #import "GPUImageWhiteBalanceFilter.h"              //白平横
     48 #import "GPUImageAverageColor.h"                    //像素平均色值
     49 #import "GPUImageSolidColorGenerator.h"             //纯色
     50 #import "GPUImageLuminosity.h"                      //亮度平均
     51 #import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,图像黑白(有类似漫画效果)
     52 
     53 #import "GPUImageLookupFilter.h"                    //lookup 色彩调整
     54 #import "GPUImageAmatorkaFilter.h"                  //Amatorka lookup
     55 #import "GPUImageMissEtikateFilter.h"               //MissEtikate lookup
     56 #import "GPUImageSoftEleganceFilter.h"              //SoftElegance lookup
    
     61 #pragma mark - 图像处理 Handle Image
     62 
     63 #import "GPUImageCrosshairGenerator.h"              //十字
     64 #import "GPUImageLineGenerator.h"                   //线条
     65 
     66 #import "GPUImageTransformFilter.h"                 //形状变化
     67 #import "GPUImageCropFilter.h"                      //剪裁
     68 #import "GPUImageSharpenFilter.h"                   //锐化
     69 #import "GPUImageUnsharpMaskFilter.h"               //反遮罩锐化
     70 
     71 #import "GPUImageFastBlurFilter.h"                  //模糊
     72 #import "GPUImageGaussianBlurFilter.h"              //高斯模糊
     73 #import "GPUImageGaussianSelectiveBlurFilter.h"     //高斯模糊,选择部分清晰
     74 #import "GPUImageBoxBlurFilter.h"                   //盒状模糊
     75 #import "GPUImageTiltShiftFilter.h"                 //条纹模糊,中间清晰,上下两端模糊
     76 #import "GPUImageMedianFilter.h"                    //中间值,有种稍微模糊边缘的效果
     77 #import "GPUImageBilateralFilter.h"                 //双边模糊
     78 #import "GPUImageErosionFilter.h"                   //侵蚀边缘模糊,变黑白
     79 #import "GPUImageRGBErosionFilter.h"                //RGB侵蚀边缘模糊,有色彩
     80 #import "GPUImageDilationFilter.h"                  //扩展边缘模糊,变黑白
     81 #import "GPUImageRGBDilationFilter.h"               //RGB扩展边缘模糊,有色彩
     82 #import "GPUImageOpeningFilter.h"                   //黑白色调模糊
     83 #import "GPUImageRGBOpeningFilter.h"                //彩色模糊
     84 #import "GPUImageClosingFilter.h"                   //黑白色调模糊,暗色会被提亮
     85 #import "GPUImageRGBClosingFilter.h"                //彩色模糊,暗色会被提亮
     86 #import "GPUImageLanczosResamplingFilter.h"         //Lanczos重取样,模糊效果
     87 #import "GPUImageNonMaximumSuppressionFilter.h"     //非最大抑制,只显示亮度最高的像素,其他为黑
     88 #import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //与上相比,像素丢失更多
     89 
     90 #import "GPUImageSobelEdgeDetectionFilter.h"        //Sobel边缘检测算法(白边,黑内容,有点漫画的反色效果)
     91 #import "GPUImageCannyEdgeDetectionFilter.h"        //Canny边缘检测算法(比上更强烈的黑白对比度)
     92 #import "GPUImageThresholdEdgeDetectionFilter.h"    //阈值边缘检测(效果与上差别不大)
     93 #import "GPUImagePrewittEdgeDetectionFilter.h"      //普瑞维特(Prewitt)边缘检测(效果与Sobel差不多,貌似更平滑)
     94 #import "GPUImageXYDerivativeFilter.h"              //XYDerivative边缘检测,画面以蓝色为主,绿色为边缘,带彩色
     95 #import "GPUImageHarrisCornerDetectionFilter.h"     //Harris角点检测,会有绿色小十字显示在图片角点处
     96 #import "GPUImageNobleCornerDetectionFilter.h"      //Noble角点检测,检测点更多
     97 #import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角点检测,与上差别不大
     98 #import "GPUImageMotionDetector.h"                  //动作检测
     99 #import "GPUImageHoughTransformLineDetector.h"      //线条检测
    100 #import "GPUImageParallelCoordinateLineTransformFilter.h" //平行线检测
    101 
    102 #import "GPUImageLocalBinaryPatternFilter.h"        //图像黑白化,并有大量噪点
    103 
    104 #import "GPUImageLowPassFilter.h"                   //用于图像加亮
    105 #import "GPUImageHighPassFilter.h"                  //图像低于某值时显示为黑
    106 
    107 
    108 #pragma mark - 视觉效果 Visual Effect
    109 
    110 #import "GPUImageSketchFilter.h"                    //素描
    111 #import "GPUImageThresholdSketchFilter.h"           //阀值素描,形成有噪点的素描
    112 #import "GPUImageToonFilter.h"                      //卡通效果(黑色粗线描边)
    113 #import "GPUImageSmoothToonFilter.h"                //相比上面的效果更细腻,上面是粗旷的画风
    114 #import "GPUImageKuwaharaFilter.h"                  //桑原(Kuwahara)滤波,水粉画的模糊效果;处理时间比较长,慎用
    115 
    116 #import "GPUImageMosaicFilter.h"                    //黑白马赛克
    117 #import "GPUImagePixellateFilter.h"                 //像素化
    118 #import "GPUImagePolarPixellateFilter.h"            //同心圆像素化
    119 #import "GPUImageCrosshatchFilter.h"                //交叉线阴影,形成黑白网状画面
    120 #import "GPUImageColorPackingFilter.h"              //色彩丢失,模糊(类似监控摄像效果)
    121 
    122 #import "GPUImageVignetteFilter.h"                  //晕影,形成黑色圆形边缘,突出中间图像的效果
    123 #import "GPUImageSwirlFilter.h"                     //漩涡,中间形成卷曲的画面
    124 #import "GPUImageBulgeDistortionFilter.h"           //凸起失真,鱼眼效果
    125 #import "GPUImagePinchDistortionFilter.h"           //收缩失真,凹面镜
    126 #import "GPUImageStretchDistortionFilter.h"         //伸展失真,哈哈镜
    127 #import "GPUImageGlassSphereFilter.h"               //水晶球效果
    128 #import "GPUImageSphereRefractionFilter.h"          //球形折射,图形倒立
    129     
    130 #import "GPUImagePosterizeFilter.h"                 //色调分离,形成噪点效果
    131 #import "GPUImageCGAColorspaceFilter.h"             //CGA色彩滤镜,形成黑、浅蓝、紫色块的画面
    132 #import "GPUImagePerlinNoiseFilter.h"               //柏林噪点,花边噪点
    133 #import "GPUImage3x3ConvolutionFilter.h"            //3x3卷积,高亮大色块变黑,加亮边缘、线条等
    134 #import "GPUImageEmbossFilter.h"                    //浮雕效果,带有点3d的感觉
    135 #import "GPUImagePolkaDotFilter.h"                  //像素圆点花样
    136 #import "GPUImageHalftoneFilter.h"                  //点染,图像黑白化,由黑点构成原图的大致图形
    137 
    138 
    139 #pragma mark - 混合模式 Blend
    140 
    141 #import "GPUImageMultiplyBlendFilter.h"             //通常用于创建阴影和深度效果
    142 #import "GPUImageNormalBlendFilter.h"               //正常
    143 #import "GPUImageAlphaBlendFilter.h"                //透明混合,通常用于在背景上应用前景的透明度
    144 #import "GPUImageDissolveBlendFilter.h"             //溶解
    145 #import "GPUImageOverlayBlendFilter.h"              //叠加,通常用于创建阴影效果
    146 #import "GPUImageDarkenBlendFilter.h"               //加深混合,通常用于重叠类型
    147 #import "GPUImageLightenBlendFilter.h"              //减淡混合,通常用于重叠类型
    148 #import "GPUImageSourceOverBlendFilter.h"           //源混合
    149 #import "GPUImageColorBurnBlendFilter.h"            //色彩加深混合
    150 #import "GPUImageColorDodgeBlendFilter.h"           //色彩减淡混合
    151 #import "GPUImageScreenBlendFilter.h"               //屏幕包裹,通常用于创建亮点和镜头眩光
    152 #import "GPUImageExclusionBlendFilter.h"            //排除混合
    153 #import "GPUImageDifferenceBlendFilter.h"           //差异混合,通常用于创建更多变动的颜色
    154 #import "GPUImageSubtractBlendFilter.h"             //差值混合,通常用于创建两个图像之间的动画变暗模糊效果
    155 #import "GPUImageHardLightBlendFilter.h"            //强光混合,通常用于创建阴影效果
    156 #import "GPUImageSoftLightBlendFilter.h"            //柔光混合
    157 #import "GPUImageChromaKeyBlendFilter.h"            //色度键混合
    158 #import "GPUImageMaskFilter.h"                      //遮罩混合
    159 #import "GPUImageHazeFilter.h"                      //朦胧加暗
    160 #import "GPUImageLuminanceThresholdFilter.h"        //亮度阈
    161 #import "GPUImageAdaptiveThresholdFilter.h"         //自适应阈值
    162 #import "GPUImageAddBlendFilter.h"                  //通常用于创建两个图像之间的动画变亮模糊效果
    163 #import "GPUImageDivideBlendFilter.h"               //通常用于创建两个图像之间的动画变暗模糊效果
    164 
    165 
    166 #pragma mark - 尚不清楚
    167 #import "GPUImageJFAVoroniFilter.h"
    168 #import "GPUImageVoroniConsumerFilter.h"
    

     好吧,这里加上自己的一个练手app的地址,扫描即可下载:

    
    
  • 相关阅读:
    Jmeter基础元件
    Jmeter性能测试之添加思考时间
    Jmeter断言实例—响应断言
    Jmeter调试脚本之断言
    Jmeter调试脚本之关联
    jmeter调试脚本之变量参数化
    jmeter调试脚本之用户自定义变量
    XAMPP中Apache和Mysql启动失败问题总结
    Jmeter运行badboy录制的脚本
    Bugfree安装与使用
  • 原文地址:https://www.cnblogs.com/chenjiangxiaoyu/p/7298479.html
Copyright © 2020-2023  润新知