2020年11月28日 | 图像算法对手机拍照的重要性

人类进入智能手机时代后，摄影方式也发生了巨大变化：用来拍照的不再只是镜头和传感器了，背后还加载着一系列的图像算法，它可以用更快的速度处理图像，并获得更好的拍摄效果。

好作品只能依赖专业摄影师的时代过去了，图像算法引入到手机拍照应用后，让人人拍出好照片成为可能。

紫光展锐拥有自主研发的图像算法团队，而且这些算法已普遍应用在展锐的芯片平台里。目前，展锐的图像算法团队已经超过了200人，分布在美国、印度、中国台湾、上海和北京等多个国家和地区。

更好的手机拍照效果需要图像算法的加持，为了让大家有更好的了解，接下来的系列，我们准备了几篇科普、视频和图说，一起来看看吧~~~

这事得从人类对色彩的感知能力说起… 

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力，它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢？它是光线通过眼睛成像到视网膜上，由视网膜上的视细胞感知光信号的强弱，视觉神经对信号的传播，再由大脑处理所产生的视觉感受。颜色的产生极其复杂，人类所获得的色彩感受不但取决于光的物理特性，还受心理等因素影响。

首先，我们先来了解一下颜色的物理特性。肉眼所见到的光线（一般波长范围是380-780nm，见图1），是电磁波谱中人眼可以感知到的部分，不同波长的可见光表现为不同的颜色，对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。

图1：可见光波长及其对应的颜色

人眼中对光敏感的细胞分为两类：视杆细胞和视锥细胞。其中，视杆细胞对弱光线最敏感，光谱响应范围覆盖整个可见光区域，在500nm附近达到相应的峰值，但无法区分不同的波段的光线，因此无法产生色觉。在非常低的光照水平下，这样的视觉叫做暗视觉，暗视觉仅视杆细胞在工作。所以在黑暗的夜晚，人们能看到物体，却分辨不出物体的颜色。

在高光照水平下，主要工作的是视锥细胞，有色觉，这样的视觉叫明视觉。视锥细胞分为三类：感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线，不同的视锥细胞有不同的响应能力（见图2），因此视锥细胞具有颜色的辨别能力。

图2：三种视锥细胞对光的响应能力

光源发射某一光谱分布的电磁波，经过物体的反射或者透射进入人眼，再通过视锥细胞对光线的探测，这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响，某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如，一张白纸不管在红色还是绿色灯光下，人眼看起来都会觉得这是一张白纸，这来源于大脑的经验处理，这种现象叫做颜色恒常性。

可以说，你看到的景色都是经过大脑处理加工过的，眼见并不一定为实哦~

图像算法最大的用途是可以修复照片，使拍摄到的照片获得真实的色彩效果，或者满足用户的某些色彩偏好。

【自动白平衡】

在展锐的ISP（Image Signal Processing）系统里，主要有自动白平衡（AWB）和颜色校正（CCM）模块来处理色彩。

先看自动白平衡，ISP系统需要根据图像的统计信息，计算出图像R、B channel的增益，以实现自动白平衡功能，以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点，对事物的观察可以不受光源的影响，但图像传感器不具有这个特点，因此在不同光线下拍摄的图像，会呈现出不同的颜色。比如，在晴朗的天空下拍摄的图像可能偏蓝，而在烛光下拍摄的物体可能偏红。

自动白平衡功能，就是模拟了人类视觉系统的颜色恒常性特点，来消除光源对图像成像的不良影响。

图3 ：左边是自动白平衡功能关闭，右边是自动白平衡开启

紫光展锐的自动白平衡算法具有以下特点：

效果稳定性好：所谓效果稳定性，指的是拍照场景发生细微改变时，图像色彩效果不会出现明显跳变。

准确度高：展锐的算法在处理绝大部分场景时，都能得到符合预期的结果，尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。

适用范围广、灵活性好：展锐的算法既可以运行在入门级相机设备上（如30万像素的手表项目）上，也可以运行在中高端相机设备上（如3200万像素以上的手机项目），还可以应用到车载记录等物联网领域中。而且，不同产品，展锐的自动白平衡算法可以实现灵活配置，实现算法效果、算法复杂度、内存消耗等多样化的分级需求。

【颜色校正】

相机实际是在模拟人眼的彩色成像来拍图，由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应（见图2）不同，导致其拍摄的图片与人眼看到的有差别，因此需要进行颜色校正（Color Correction Matrix，CCM）。

颜色校正矩阵一般通过标定得到，利用图像传感器拍摄得到的图像与标准图像相比较，计算得到校正矩阵（即CCM矩阵）。利用CCM矩阵对图像的各像素点的进行验收校正，以获得最接近于物体真实颜色的图像。

一般情况下，在颜色校正过程中，都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度，其色彩的纯度越高，图像表现越鲜明；纯度越低，表现就越黯淡。

图4 ：左边是CCM关闭，右边是CCM开启

图5：展锐CCM模块的色彩还原效果评测

（图中18个小圆点和小方点越接近，则表示色彩还原性越好）

随着机器学习等高新技术的发展，以及用户对手机拍照功能的需求日益苛刻，色彩还原技术也会面临一些新的机遇和挑战，例如如何利用AI技术提升色彩还原效果，如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验，进而持续提升公司产品的竞争力。