并口,LVDS,MIPI,GMSL
1、并口
(1)OV9712和AR0130都是并口的
(2)并口的接口定义:参考AR0130的原理图pdf
(3)并口传输的是CMOS电平信号(重点是非差分)
(4)并口sensor属于较低端老旧的,新型高像素的都是MIPI/LVDS/HISPI等差分信号的
2、LVDS
(1)low voltage differential signal,低电压差分信号
(2)接口由1组差分clock和若干组差分信号线组成,输出串行数据信号
(3)LVDS主要用于视频传输的2个领域:camera和主控、LCD和主控
(4)LVDS利用差分抗干扰能力,提升clock频率从而提升带宽,传输距离也更远
(5)LVDS的数据线组数越多带宽越大、clock频率越高带宽越大(牺牲抗干扰和距离)
(6)并口和LVDS之间可以互转,但是需要专门的电平转换芯片(类似于232和485)
3、MIPI(MIPI-CSI2)
CSI -- 相机串行接口 DSI -- 显示串行接口
(1)MIPI: mobile industry processor interface,移动工业处理器接口
(2)MIPI接口由1组差分clock和1-4组差分信号线组成
(3)MIPI和LVDS虽然都是差分对信号,但是不兼容,不能直接对接
(4)MIPI的架构层次更分明,广泛应用在手机平板等领域中,可以认为MIPI是LVDS的升级版
(5)MIPI的数据线组数越多带宽越大、clock频率越高带宽越大(牺牲抗干扰和距离)
(6)MIPI和LVDS和并口之间均可以互相转换,但是需要专门的电平转换芯片
4、GMSL
GMSL(Gigabit Multimedia Serial Link),是串行器和解串器构成的传输链路。
串行器是为了将ISP处理过的并行信号传输到远端(域控制器)。解串器在接收端(域控制器)。
并行传送要求同一时序输出与接收信号,而过分提升时钟频率会导致时序错乱,信号线间干扰。因此,并行方式难以实现高速化。只有将并行数据串行化,才能够远距离且高速的传输数据。
5、总结
(1)老旧的、低端的、数据量小的就用电平信号;新的、高端的、数据量大的都用差分信号
(2)要通信,物理层、协议层、应用层都得能对接才行。
(3)因为历史原因,很多行业会使用不同的接口标准,必要时需要去互相转换
Sensor接口引脚复用设置
查看引脚定义框图,找到相应设置寄存器,使用himm工具写寄存器
在编译文件系统时,会在加载驱动的脚本中对sensor的寄存器进行设置,使用himm工具直接写寄存器,比如设置管脚复用(MIPI,i2c),时钟频率(sensor,I2c, vi...)等
什么是sensor?
sensor是一个很多功能模块的集合。sensor接收光子,通过光电转换,将光信号转化为模拟量的电信号,然后通过模数转换模块,将模拟信号转换为电信号。如果sensor内置isp模块,会将数字信号做简单的处理。处理过的信号通过sensor的接口(比如,并口,LVDS,MIPI, GMSL)将数据传输到SOC。
ISP
ISP模块:ISP的实现可以在sensor内置,主SOC内置或外接ISP芯片。
ISP的作用:去坏点(去掉sensor中坏点数据),去噪(去除噪声),demosaic(raw数据转为RGB数据),3A(自动白平衡,自动对焦,自动曝光),gamma(亮度映射曲线,优化局部与整体对比度),旋转(角度变化),锐化(调整锐度)等。
ISP的图像质量调节及控制逻辑:
海思的sensor驱动框架
海思平台的sensor驱动主要工作在应用层,特定类型的sensor驱动会以库的形式链接进应用程序中。(好处是灵活,对sensor进行更换或修改时,不需要重新编译内核。当然效率没有内核层驱动高。)
在系统初始化时,使用注册回调的机制,都向 ISP 库和 3A 算法库注册sensor控制函数,这些函数都以回调函数的形式存在。通过接口来初始化sensor,控制sensor,比如调节曝光时间,模拟增益,数字增益等。这些回调函数是底层的i2c驱动读写sensor寄存器来操作硬件的。
海思的体系中把sensor和3A、ISP实现为:指针挂接注册的各自独立模块
海思ISP质量调节
Hi3518 + AR0130
确认硬件,确保sensor电源干净。
这一步非常重要,这一步没有搞好, 后面都是白费力气。因为电压纹波比较大会影响sensor像素点电荷波动,导致噪点变大,出现亮暗横纹竖纹。
原理:sensor的AVDD电压是sensor像素点电荷积累的供给电压,这个电压纹波比较大的话直接影响sensor像素点电荷积累波动,导致图像噪点大,亮暗横纹,竖纹。
测试方法:
1)用示波器测量sensor AVDD输入电压,纹波要在100mv内,电压值等于sensor手册标称值。
2)把曝光值设置到最大,增益设为64倍,把镜头盖在桌上,使图像变黑,此时画面是全黑的,如果上面有闪白点,那么说明sensor电源有问题。
3)慢慢的把镜头翘起一点,让一点点光通过,此时画面变亮,这个过程中仔细观察是否有亮暗横纹闪烁。
硬件没问题了,那么就可以使用PQ工具调软件了。
低照度效果调试:
夜视效果要求:在无城市光源的夜间环境下,在50米开外,能识别出人的轮廓,在通过图像增强后,通过神经网络能识别出人形。
首先布置一个黑环境,由于没有实验室环境,只能等到下班后,将灯光关闭,调试。实际调试在远郊测试。
1、然后把曝光打到最大(一帧最大行-2),提高sensor模拟增益和ISP增益,使亮度比别人亮一点,一般模拟增益在16到32倍之间,然后再考虑ISP增益,总增益一般不超过64倍。增益太高等下后面噪点很难压下去。
2、现在满屏都是噪点
3、调整Sharpen,调整到一个比较高的清晰度,还有噪点没关系,清晰度优先。
4、调整3D NR参数,可以先调节空域滤波相关参数,使静态画面下的雨点噪声安静下来,单数画面出现移动物体就会出现拖影。适当降低空域滤波,增强时域滤波。控制变量,最终能调节到一个无拖影,去噪效果最优的3D参数。
5、选一个通透性好的Gamma曲线,把DCI功能开到最大,
6、如果图像暗的地方有偏色可以调整sensor的黑电平或者ISP的黑电平改善
(当光线很暗时,模拟信号很弱,有可能不会被AD转换出来,因此丢失细节。所以在AD转换前,会给模拟信号一个固定的偏移量(即黑电平),以此来保留更多细节。调节黑电平不影响信号的放大倍数,而仅仅是对信号进行偏移)
7、此时图像一般还有噪点,接下来就是微调各个模块的参数,无限循环上面2到7步,优先保证清晰度无噪点,通透度,亮度可以放低点。
以上参考: Hi3518EV200图像调试经验分享