2018年10月24日 | 技术文章：Global Shutter为AI 点睛

Global Shutter为AI 点睛

前言：

AI（人工智能），是目前科技行业最火的话题。从Alpha Go战胜围棋世界冠军柯洁，到德勤与Kira Systems 联手，将AI引入会计、税务、审计等财务工作领域，可以看出，AI离我们的生活越来越近了。

AI到底能做什么，每个人都有自己的看法，大家对AI有着非常多的期待，期待AI能够解放人类双手，提高人类的工作效率。但不管怎么样，大家都希望AI可以让机器像人一样思考学习，像人一样听懂语音识别，像人一样控制运动，像人一样进行视觉识别，用机器实现目前所有必须借助人类智慧才能实现的任务。

在AI技术里，人工神经网络非常关键。在人工神经网络模型中，其结构分为输入层，隐藏层和输出层。（如下图）

而做为AI的输入，目前主要是通过视觉输入和语音输入。为了让机器像人一样进行视觉识别，目前最重要的器件就是Camera sensor。Camera sensor就像机器的眼睛，为机器感知周围的世界。Camera sensor的拍照效果，跟很多参数有关，曝光时间是图像传感器其中一个重要的参数，而快门速度则会影响到Camera sensor的曝光时间。

那什么是快门呢？

快门主要用来控制摄像头传感器的有效曝光时间。一般而言快门的时间范围越大越好。若想抓到急速移动的物体，就需要快门速度越快越好。而若需要看到夜晚的车水马龙，就需要快门时间越长越好。

目前主要由两种曝光Shutter技术： Rolling Shutter 和 Global Shutter

Rolling Shutter：

Rolling Shutter的sensor 的曝光是按照逐行曝光的方式实现。在曝光开始的时候，Sensor逐行扫描逐行进行曝光，直至所有像素点都被曝光。当然，所有的动作在极短的时间内完成。不同行像元的曝光时间不同。

（图片来源于网络）

Global Shutter：

与RollingShutter不同，是整幅画面同一时间曝光实现。摄像头传感器sensor的所有像素点同一时间感应光线，同时曝光。Sensor读出的是同一时间的同一画面。

（图片来源于网络）

下面有两张图可以介绍这两种技术：

(图片来源于网络）

左边的图是Rolling shutter的曝光方式，逐行扫描。而右面的图则是Global Shutter的曝光方式，所有像素点一起曝光。

在拍照的时候，Rolling Shutter成像过程如下图：

左边，是一个常见的场景（上面风扇，下面小汽车），Rolling Shutter对它进行逐行扫描，成像结果如右图。面对一个运动中的物体，Rolling Shutter是一行一行曝光，采集画面，所以形变非常严重。而Global Shutter是所有像素同时曝光，所以不会产生此形变。

（图片来源于网络）

之所以Global Shutter 能够做到全局曝光，跟Rolling Shutter相比，主要是Global Shutter在每一个像素上都增加了一个存储单元，才使得所有的像素能够同时曝光。

同Rolling shutter相比，Global shutter的sensor可以很好的解决以下问题：

1. 高速物体变形 （左图是采用Global shutter技术的 SmartSens SC132GS拍摄的图片，右图是 Rolling shutter sensor拍摄的图片）。

可以明显看出用Rolling shutter sensor拍摄高速运动的风扇，物体会变形。

（图片来源于SmartSens）

2. 明暗现象 （左图是采用Global shutter技术的 SC132GS拍摄的图片，右图是没有采用HDR技术拍摄的图片）

在光线有明暗变化的时候，左图Global shutter sensor 不会有明暗瑕疵，可以做到单帧HDR。

（图片来源于SmartSens）

成像技术不停的演进，促进了AI的发展。通过AI，大数据和互联网技术，带动了智慧城市的建设。智能安防，智慧交通，智慧工厂，智慧商业，智能家居，都能看到Camera的身影。一般情况下，Rolling shutter技术就足够了，但若要捕捉高速运动物体，或在环境光条件不理想的情况下获取清晰图像的时候，使用Global Shutter技术，无疑会带来更好的效果。

1. 智慧安防

目前来看，AI最容易落地的就是安防领域。通过AI技术，将监控中的人准确无误的抓拍下来，可以最大化的实现监控目的。一般情况下，安防Camera主要抓拍的都是行人，都是慢速运动的物体，Rolling shutter sensor就可以胜任。但若通过Global shutter sensor，则可以在高速移动的拍摄场景中有效降低图像畸变，避免了抓拍时，人物或物体运动带来的斜坡晃动现象，以及人脸模糊的问题，从而提供更清晰的图像。因此在高速违章查处，卡口ETC等需要道路监控的地方，Global Shutter比Rolling Shutter更加胜任。

2. 智慧交通

为了让城市交通更加便利，疏导公共交通，智慧交通系统是解决交通发展瓶颈的有效手段之一。高速违章查处，卡口ETC，十字路口的道路监控，停车场的智能管理，道路流量监测，电子警察等都离不开成像技术。只有准确的成像信息，才能更加准确地判断当前的路况以及车辆的情况，才能更好地实现智慧交通。这个时候，Global shutter可以更好的助力智慧交通。

为了实现智慧交通，从汽车角度来看，新型汽车都在从ADAS辅助驾驶向自动驾驶的方向演进。无论是辅助驾驶还是自动驾驶，汽车的中控芯片对sensor接收下来的图像信息要求越来越高。中控芯片需要sensor在车辆高速运动中，不仅提供没有变形的清晰图片，还需要提供周边物体与车辆的距离。而Global shutter sensor一方面可以避免车辆高速运动时，Rolling shutter sensor 拍摄变形的问题，另外一方面，结合结构光技术（接收sensor是Global shutter的）或者双目摄像头（两个摄像头若都是Global shutter最好）技术，就可以提供更清晰的图像，以便于中控更加精准的计算出周边物体与车体的距离，判断当前的路况，判断交通灯的状况，才能使车辆行驶更加安全。

（图片来源于网络）

3. 智慧工厂

由于Global shutter sensor可以清楚的还原高速运动中的物体的形态，有效避免Rolling shutter sensor 担心图像质量而降低自动流水线的速度问题。所以大型工厂在检测，质量管控，机械臂操作，物流，测量等自动化生产时，使用Global shutter可以提高生产效率。

4. 智慧商业

随着支付宝，微信支付的发展，国内二维码支付变得非常流行。而对于店家来讲，扫码设备的需求也在增长。对于扫码设备来讲，若用Global shutter sensor可以使扫码设备的可识别区域变长，使用户拥有更优的体验感。

（图片来源于SmartSens）

5. 智能家居

家用设备若要智能化，也需要Camera的帮忙。比如，扫地机器人。扫地机器人若想将屋内的空间测量出来或者识别前方是否有障碍物，都离不开Camera这只眼睛。同样，Global shutter则可以帮助扫地机器人更加精准的获得距离信息，使得扫地机器人更加智能化。

虽然说Global Shutter 有很多优势，但是也无法完全替代Rolling Shutter。Global shutter sensor适用于拍摄高速运动物体，或AI应用中基于机器视觉算法的智能感知技术（vSLAM/手势跟踪识别/光流等算法），Rolling Shutter sensor则适用于拍摄运动速度相对较慢的物体或场景，可获得更高的成像信噪比。而且由于Global shutter 需要对每个像素都要增加一个存储单元，这样增加了sensor的生产难度以及成本。

考虑到BSI在低照条件下的成像亮度和清晰度都比FSI有更大的优势，可以有效增加Global shutter sensor在应用场景上的拓展，适应性更广，SmartSens首创将BSI技术和Global shutter技术相结合，发布了多款基于BSI(背照式)的Global Shutter sensor产品。

AI和IoT的发展，影响着人们的生活，甚至在改变人们的生活。而做为AI和IoT的眼睛，Camera sensor的技术发展也间接影响着AI和IoT的发展。SmartSens的理念是服务于应用技术的发展趋势，根据市场和应用技术的需求，将看清万物的“眼”做到极致。通过不断完善提升CMOS成像传感器的设计和制造能力，为AI和IoT点睛。