1. 色彩科学

1.1 光源

（1）光源的度量

Luminance: 描述发射或者反射多少光，单位nit或者cd/m^2

Illuminance: 描述落在一个表面多少光，单位lux

比如 Bright light约为111000lux，sunrise/sunset约为400lux，moonlight小于1lux。

（2）光源的色温CCT

色温与光源不一一对应，光源可以有双色温的光源。

CCT：Correlated Color Temperature Scale

从低色温到高色温，光源从红到黄再到蓝。

（3）光源的光谱spectrum/SPD

光源与光谱一一对应。

CIE标准光源是以光谱确定的，比如CIE D50 D65在光谱上比较均匀。

（4）白点（white point）

光源与白点一一对应。

某个光源下白平衡的坐标值是白点，也是此光源下中性灰的色彩。

1.2 颜色的测量

(1) 原理

反射曲线 * 光源光谱 * 接收响应曲线 = 颜色值

$R = \int E(\lambda )S(\lambda )q_R(\lambda )d\lambda$

$G = \int E(\lambda )S(\lambda )q_G(\lambda )d\lambda$

$B = \int E(\lambda )S(\lambda )q_B(\lambda )d\lambda$

（2）色彩空间

(CIE XYZ) ：符合人眼响应的色彩空间。

(CIE RGB)：利用RGB计算色差，色差值与感知不相匹配。

(CIE LAB) ：

(CIE LCH) ：

(sRGB) ：sRGB的白点为D65色度

(Rec709)

(YUV)

注：在均匀颜色空间中，两种颜色的几何差异应该与其表象差距或者色差成正比，如CIE LAB。

1.3 色彩重建的过程

(1) 过程

(BLC) >> (LSC) >> WB >> DEMOSIC >> CCM >> GAMMA >> CSM

(2) 过程中的色彩空间

(BLC)>> (LSC) /(RAW)>> WB >> DEMOSIC/(RGB) >> CCM /(sRGB)>> GAMMA >> CSM/(YCbCr/YUV)

RAW是格式，可以认为图片此时不具备色彩。

1.4 视觉

视觉恒常性（色适应）：人可以适应环境识别物体的颜色，比如阴天的白色物体在人眼视觉中能保持白色，不会偏蓝。

2. 镜头光学

2.1 反射定律

反射定律：入射角等于反射角。

2.2 折射定律

$\frac{sin\theta_1}{sin\theta_2}=\frac{\nu_1}{\nu_2} = \frac{\lambda_1}{\lambda_2} = \frac{n_2}{n_1}$

2.3 成像公式

$\frac{1}{f} = \frac{1}{\mu } + \frac{1}{\nu }$

$x_0 * x_i = f^2$ 其中，x0是物距减去焦距剩下的距离，xi是像距减去焦距剩下的距离。

2.4 景深Depth of Field(DOF)

$DOF \approx \frac{2Ncf^2s^2}{f^4 - N^2c^2s^2}$

c是弥散圆直径，s是物距

2.5 几何光学名词

Optical zoom：光学变焦

Digital zoom: 数字变焦

Field of View(FOV): 视场

Zoom factor = Wide FOV/ Tele FOV = longest focal length / shortest focal length 变焦系数

Optical Center：光心

Optical Axis: 光轴

Focal Plane: 对焦平面

aperture : 光圈，又可以称为 f-stop，有f/2, f/2.8, f/4, f/11，f/16等，公式 N = f / D。

3. 数字成像系统组成

lens + IRIS + IR + 快门 + sensor + ISP + (显示/存储/机器视觉)

3.1 图像重建——清晰勾画出正确的景物

光学缺陷与局限： MTF，像差，场曲，vignetting/luma shading, glare, geometry distortion ...

半导体缺陷与局限： smear/blooming, defect pixel, sensitivity, dynamic range, green imbalance

噪声：temperal noise, fix pattern noise, color noise, spatial noise ...

3.2 色彩重建——还原出准确丰富的色彩

光学缺陷与局限：Color shading, chromatic aberration, purple fringe ...

半导体缺陷与局限： cross talk, black level, linearity ...

3.3 System latency

Shutter lag

Auto focus latency

Camera start up

Shot to shot

Photo Gallery

4. ISP算法模块

4.1 Black Level and Linearity

黑电平不均匀，可以用直方图统计黑电平的不均匀程度。

4.2 Green Imbalance

Gr和Gb感度不一致，有静态校正和动态校正（动态校正类似一个二维滤波核）。

4.3 Defect Pixel Detection and Correction

坏点（defect pixel）按类型分为静态坏点和动态坏点，按损害情况分为hot pixel, dead pixel, weak pixel，按个数分为单坏点，双坏点，多坏点。

静态坏点的检测和消除：静态坏点的检测在模组生产线上标定，将坏点位置写入OTP中。模组生产线上可能只检测hot pixel。

动态坏点的检测和消除：一般在ISP中完成。

4.4 luma shading and color shading

lens会导致luma shading和color shading，luma shading是由于lens的各个位置的透射率和中心的透射率不同，color shading是由于lens对各个光谱的shift不同。

IR filter（红外滤波片）会导致color shading，是由于IR filter对不同的光谱的shift不同。color shading表现为在中性灰（R=G=B）图的图中间偏绿，边缘偏红。

luma shading: Y_Corner / Y_Center > threshold，门限接近1

color shading: R/G>threshold && B/G > threshold，门限接近1

4.5 SNR and Raw Denoise

（1）Raw Denoise

在Raw Domain的噪声模型：

$Noise = \alpha Pi + ni$

Pi 是泊松噪声，与信号相关；ni是高斯噪声，与信号无关。泊松噪声表现为与亮度相关，亮度升高，噪声升高。所以，噪声模型的作用是指导在不同亮度情况下降噪的强度。

也可以用其他模型拟合噪声模型，比如Noise = sqrt(a*x^2 + b)。

（2）SNR

SNR10 = 10 log( 各像素的平方和 / 各像素的噪声平方和)

式中，各像素的噪声等于各像素的值减去像素的平均值

SNR并不能完整表征人眼对噪声的感受，比如SNR数值相同的图像，人感受的噪声强度不一样。人眼对不同频率的噪声感受不一样，人眼对色彩和亮度的噪声感受也不一样。相比与SNR，visual noise(ISO 15739/CPIQ)能更好的表征人眼感受的噪声强度。

基于SNR降噪，容易导致中低频图像细节模糊，可以利用Dead Leaves作为对中低频去噪的效果进行评价的图卡。

4.5 Dynamic Range and Tone Mapping

(1) Dynamic Range

$DR = \frac{\mu_{max}}{\mu_{min}}$

mu_min一般是SNR20，mu_max是饱和值。

(2) Tone Mapping

Tone Mapping将高比特数据转换为低比特的数据，依据JND理论，既压缩数据又能在视觉上无损失。Tone Mapping根据算法类型分为Global Tone Mapping和Local Tone Mapping, Global Tone Mapping采用单一的映射曲线；Local Tone Mapping将图像按区域划分每个区域采用不同的映射曲线，比如local gamma的方式。

Global Tone Mapping会导致局部对比度缺失和饱和度降低。Local Tone Mapping会导致halo(发光物体周围出现黑影)和Flickering Artifact。Tone Mapping会提高暗区的亮度，就会提高噪声。

4.6 Demosaic

Demosaic是指基于Bayer Pattern的sensor获取的图像，将图像从raw domain转为为RGB domain，给每个像素赋予色彩值。Demosaic的难点是会产生摩尔纹，放大噪声，方向判断不准确，让图像模糊，伪彩色（false color）。Demosaic的一般步骤：（1）判断插值方向；（2）在判定的方向上进行插值；（3）后处理。

涉及基础原理：（1）Green-based demosaic（White-based demosaic）

（2）Edge-based demosaic，比如判断水平和垂直方向的梯度，插值方向是梯度最小的方向。

（3）相关性原理（Hamilton and Adams Thoery色差恒定法）

5. 色彩空间与色彩重建

5.1 色彩空间

(1) color model

color model指用哪几种元素来描述色彩，以有限的基本元素表现出颜色，例如RGB加性色彩系统，CMYK减性色彩系统。

(2) color space色彩空间

color space用准确的量化数据描述坐标系，量化范围和白点数据以及非线性转换关系。例如，设备无关色彩空间CIE XYZ和CIE LAB，设备相关色彩空间sRGB和Adobe RGB。

(3) CIE Chromaticity Diagram and ICC profile and color gamut

ICC profile包括White point，Color model, Color space。

sRGB在CIE Chromaticity Diagram中可以三角形的坐标和白点坐标表示，如下表。

	Red	Green	Blue	White
x	0.64	0.30	0.15	0.3127
y	0.33	0.60	0.06	0.3290

(4) 色彩重建过程

Scene exposure >> Optics, filters and sensor >> Correction for offset and nonlinear response >> color filter array interpolation >> transform to scene adopted white >> transform to standard color space coordinates >> transform reproduction colorimetry

5.2 CCM( Color Correction Matrix) and 3D LUT

(1) CCM

CCM的目标是将Camera RGB色彩空间转换为sRGB色彩空间，但不是完全保证在sRGB色彩空间，一般过程分为两步：（1）Camera RGB转为CIE LAB（2）CIE LAB转换为sRGB。CCM需要注意饱和值处理，一般在gamma之前。

CCM模块的一般步骤：

1)标准24色色卡图像对用的sRGB求逆gamma的结果作为目标

color_target = (color_check_srgb).^(gamma);

2)求得输入图像24色色卡每个patch对应得R G B mean

3)计算CCM

(2) 3D LUT

3D LUT是建立一个三维的查找表进行映射，文献参考Strengths and limitations of a uniform 3D-LUT approach for digital camera characterization.

5.3 Gamma

Gamma是一种数学变换：V_out = V_in ^ gamma，表现为输入亮度和输出亮度的非线性变换关系。

由于人眼对暗区变化更明感，为在存储和传输中保存暗区的更多细节，所以进行gamma变换。显示器端接收到信号后，再根据显示器的性能做反gamma矫正。

动态Gamma步骤：直方图分析 >> 场景判断 >> 对比度增强 >> 生成gamma >> gamma映射

5.4 CSC(color space conversion)/CSM（color space matrix）

CSC目的是将色彩空间格式转换为编码格式，例如由sRGB转为YCbCr。CSM一般由3*3矩阵和3个offset组成。YUV从电视机屏幕显示格式发展而来，概念很宽泛，包括NTSC(YIQ)，SECAM(YDbDr)，PAL（YPbPr）。基于YPbPr，YCbCr形成和发展，比如目前电视的显示标准规范有ITU-R BT.2020，如下表。

Parameter	Values
Pixel count	76804320, 38402160
Frame frequency	120, 100, 60,50,30*,24Hz
Bit depth	12&10 bits
Colorimetry	Wide-gamut RGB
Dynamic Range	Standard-/High-DR

Jpeg标准里的CSM：Y，Cb and Cr are converted from R, G and B as defined in CCIR Recommandating 601 but are normalized so as to occupy the full 256 levels of a 8-bit binary encoding.

Y = 0.299R + 0.587G + 0.114B

Cb = -0.1687R - 0.3313G + 0.5B + 128

Cr = 0.5R -0.4187G -0.0813B + 128

6. Sharpening and Denoise

6.1 Sharpening

锐化概念性的理解通过此公式：sharpened = original + (original -blurred) * lambda，original代表原信号，blurred是原信号进行低通滤波的图像，original - blurred是期待增强的频率图像。

Sharpening会导致overshooting和undershooting，产生ring effect，让图像不自然，可以增加Clipping模块消除。图像的信息可以分为低频，中频，高频和Nyquist频率以上。避免sharpening增强Nyquist频率以上的信息，否则会出现artifact。

6.2 空域去噪和频率去噪

噪声类型：高斯噪声，椒盐噪声（DPC模块中被处理），FPN（CRTN模块中被处理）。De-noise模块主要针对高斯噪声。

空域降噪的核心思想：平均（加权）一些相似的像素，得到噪声更小的像素。由此，空域去噪的难点是怎么计算两个像素的相似性权重。按算法类型，1）局部线性算法，例如高斯降噪；2）局部的非线性算法，例如中值滤波，双边滤波；3）非局部算法，根据图像块的相似性计算像素的像素性权重。

频域降噪的核心思想：利用信号再空间上的连续性，将图像信号变换到频率域，在频率域将信号和噪声分开，进而对信号降噪。例如，傅里叶降噪，小波降噪，DCT降噪。频域降噪一般过程：噪声图像>>频率变换>>降噪>>逆变换>>降噪后的图像。

BM3D算法类似于小波降噪和空域非局部降噪的联合运用。

6.3 时域降噪

（1）时域降噪的一般流程

时域降噪一般采用IIR滤波器设计，单帧计算量较FIR滤波器更小，如一般流程图中采用Ref Frame和Current Frame进行时域降噪。

FIR Filter : y[n] = k1x[n] + k2x[n-1] + k3x[n-2] + ... + ...

IIR Filter: y[n] = k1x[n] + k2y[n-1]

（2）Motion Detection

Motion Detection用于检测像素是否移动，求出motion vector。一般方法有：1）像素值差判断，例如单点/像素块的像素差大于门限；2）光流法

（3）Motion Compsensation

利用motion vector，将ref frame和current frame内的相同运动物体像素进行加权，而不是相同位置的像素进行加权相加，从而减少拖影。

6.4 Chromatic Aberrance Correction and Depurple（去紫边）

纵向色差和横向色差产生原因：镜头对不同波长的光线的折射率不同，不同波长的光不能聚焦到同一个平面。紫边就是Blue和Red的光模糊的情况，实际表现为成像物体边界泛紫色/蓝色/红色。

（1）chromatic aberance calibration

一般流程：拍摄多张点状图（dot chart）>> 获取点状图每个点的圆心 >> 根据RGB的圆心坐标计算R B相对G的偏移 >> 偏移系数采用降采样或曲线表达

（2）chromatic aberance correction

一般流程：获取当前点的像素坐标 >> 查找表获取偏移系数 >> 插值获得当前像素R B相对G的偏移量 >> 根据cubic或其他插值方法获得像素值

7. Geometry Distortion Correction(GDC)

几何失真的来源：Optics Distortion（lens）, Rolling Shutter Distortion(sensor), Capture Angle.

几何失真的分类：1）Radial Distortion, 比如桶形失真和枕形失真；2) Keystone Distortion，比如仰拍形成的图像成梯形；3）skew distortion，比如无人机飞行拍摄图像成平行四平形。

Affine Transformation(仿射变换)：translation, scale, flip, rotation, sheer.

Project Transformation(投影变换)，从(x,y)投影到(X,Y)的公式如下：

$X = \frac{ax + by + c}{gx+hy+1}$ $Y=\frac{dx+ey+f}{gx+hy+1}$

Homogeneous Coordinates齐次坐标系可以实现投影变换（8自由度）和仿射变换（6自由度）。

Barrel Distortion(桶形失真)属于径像失真，可以用 $r_d = f(r_u) = r_u+k_1+r^3_u+k_2r^5_u+...$ 几何失真模型。可以用棋盘格或者dot chart标定distortion model.

8. 3A

8.1 3A统计信息

AWB统计：mean R,G,B 或者 mean R/G, B/G

CDAF统计：统计边缘信息

AE统计：统计直方图，可以是Y luminace直方图，RGB分离的直方图等。

8.2 AE

曝光Exposure主要包括ISO*光圈*曝光时间三部分。

曝光误差 = （log(实际像素值) - log(像素参考值))^(gamma-1)

AE 均值法：基于假设原理——图像的平均亮度等于18%中性灰平均反射亮度。

直方图改进的均值法AE

AE program(AE的曝光表)是shutter快门速度,Aperture光圈,ISO与Exposure Value的对应关系。

Flickering Reduction：室内拍照由于灯光50/60Hz的能量周期变化，使得每个曝光的积分时间内接收的能量不一致，让图像呈现明暗不一的条纹，所以需要Flickering Reduction将曝光时间设置为50/60Hz半周期的整数倍。

8.3 AWB

人眼具有视觉恒常性，人眼看白色物体始终是白色。在不同光源下白色物体成像在sensor上不同（色温越高，白会偏蓝；色温越低，白会偏红），所以需要把sensor的RGB响应各自乘以一个数字使得RGB相等。

白平衡有很多方法，比如灰世界，完美反射，Color gamut Maximization, 白点法，白块法，灰边法等。RGB Gain的标定可以采用18度灰的图卡。

8.4 AF

AF包括CDAF（反差式对焦），PDAF（相差式对焦），Laser assisted AF(激光雷达辅助对焦).

数字成像系统概述