针对手机的Milbeaut图像信号处理LSI芯片

　　过去几年里，随着高像素数、高分辨率和全高清录像和播放功能在智能手机中的迅速普及，手机的相机功能取得了长足进展。虽然手机的应用处理器可以实现相机功能，比如快速摄像和在个人电脑和移动终端上浏览照片，但许多客户更喜欢专用图像信号处理器（ISP），因为它们能提供与高端紧凑型数码相机相当的图像质量和效果。本文主要讲述富士通针对手机开发的Milbeaut Mobile图像信号处理LSI芯片的开发和性能。

　　1. 引言

　　凭借多样化的应用和功能，智能手机市场一直在不断扩大。而相机功能自从2000年被引入手机中以来，更是一路稳步发展，到如今已成为能够进行高像素数、高分辨率和全高清录像和播放的一项主要手机功能。

　　Milbeaut Mobile是适用于手机相机功能的一个图像信号处理器系列。它由富士通开发，从2003年开始畅销市场。接下来，我们将对Milbeaut Mobile系列做简要介绍，重点讲述最新Milbeaut Mobile处理器MBG046的系统架构、配置、功能和处理性能。

　　2. Milbeaut Mobile功能的演变

　　相机功能是通过使用一个安装在手机上既小又薄的专用镜头和图像传感器实现的。最初这些限制阻碍了手机提供像数码相机那样的图像质量。因此，ISP必须能够在这些严峻的制约条件下将镜头和图像传感器捕获到的图像质量提升到用户满意的水平。

　　2008年，第三代Milbeaut Mobile ISP集成了这样的数码相机功能，如静止图像连续自动对焦（CAF）、人脸检测和电子运动补偿等等（图1）。最新一代ISP（MBG046）几乎集成了所有相机功能。它还具有市场所要求的全高清（1920×1080像素）视频、视频CAF拍摄能力。

　　最近，随着成像装置的像素尺寸进一步缩小，像素越来越高，成像速度越来越快，图像质量问题逐步显现，ISP功能也在增強。

　　3. ISP架构

　　图像处理器模块是Milbeaut Mobile ISP的主要功能组件（图2）。它可顺次处理原始影像信号中从图像传感器接收的图像数据，包括去噪和其他校正功能，从而产生美丽的图像，并将图像转换成可以在移动终端或个人电脑屏幕上显示的格式。

　　该模块还可以利用硬件图像过滤器和CPU对存储在SDRAM（图像数据存储装置）中的图像数据进行额外处理（旋转和畸变校正、软件图像处理等）。这有助于实现灵活的高级图像处理，如人脸检测、高动态范围（HDR）复合处理、静止图像运动补偿、对象跟踪、全景图像生成与场景检测。

　　图1 Milbeaut Mobile ISP功能的演变。

　　注：AE：自动曝光；AF：自动对焦；ARM：利用ARM有限公司构建的平台进行高速处理；AWB：自动白平衡；CSC：色彩空间转换；CSI：相机串行接口；DMAC：直接存储访问控制器；EXT：外部；GPIO：通用输入/输出；I2C：内部集成电路；INT：内部；MIPI：移动行业处理器接口；PWM：脉宽调制；SIO：串行输入/输出；SPI：串行外设接口；UDC：USB设备控制器；YUV：由亮度和色差组成的信号格式。

　　图2 MBG046框图

　　4. MBG046 ISP的功能

　　MBG046是最新一代Milbeaut Mobile ISP处理器。其基本操作包括实时转换和校正从传感器输出到与外部输出模块连接的应用处理器（图2未显示）的原始影像信号。因此，该ISP针对手机摄像系统进行了优化，它使得应用处理器可以在屏幕上显示接收到的图像数据，并将数据存储在存储装置中，而无需进行修改。

　　1）高速图像处理

　　如第3部分所述，该图像处理器可完成基本的图像处理功能。它能以最多24帧/秒（fps）的速度处理8MB的??图像，以60fps以上的速度处理高清图像。

　　作为图像处理器一部分的预处理器可接收来自图像传感器的原始影像信号，并对其进行顺次转换和校正处理。它还能收集有关图像数据的统计数据。这些统计数据被用在软件运算中，可帮助获取合适的白平衡和曝光时间。计算结果被用于重置硬件，使其能够完成基本的摄像操作。因此，几乎所有基本的图像处理功能都是在硬件中完成的，这有利于实现高速处理和低功耗。

　　2）强降噪

　　由于Milbeaut Mobile ISP针对的是内置于手机中的相机，所以与之配套使用的镜头和图像传感器通常比数码相机中所用的便宜，这就给图像质量造成了问题。在这种情况下，应对图像噪声显得尤为重要。

　　为此，我们给图像处理器配备了强于数码相机中所用的降低亮度噪声和色彩噪声的机构。为了在不损失分辨率的情况下消除噪声，我们在MBG046中融入了最新技术，使其能够同时运用与图像特征匹配的不同去噪方法。

　　3）快速图像处理

　　面向手机的产品必须被配置为能与下一处理阶段中的应用处理器连接。除非来自传感器的原始影像信号被转换和校正后，结果尽快被发送到应用处理器，否则对响应敏感的项目（比如视频）就会延时。如图2所示，Milbeaut Mobile ISP之所以能达到这种速度，是因为它用直接发送经过图像处理单元处理的图像数据到图像输出单元的功能，替代了通过SDRAM完成各种插值处理的常见方法。这几乎完全消除了因转换和校正原始影像信号导致的延时——延时被减至一张图像传输时间的1%以下。

　　4）软件配置

　　MBG046的软件栈如图3所示。摄像系统必备的软件处理包括硬件顺序控制和与“3A模块”（自动白平衡调整、自动曝光调整和自动对焦）有关的运算。硬件控制器对不同的独立图像处理硬件装置进行定时控制，使它们执行图像处理流程的一个序列。3A模块通过从装置驱动器获取的亮度、色彩平衡和空间频率信息计算出合适的曝光、白平衡和焦点。通过将那些涉及到的处理复杂但运算量小的部分交给软件，而把那些涉及到大运算量图像数据处理的部分归于专用硬件，我们可以让软件的运算负荷维持在低水平，同时维持图像处理性能。这使得CPU资源可被用于进行其它的软件图像处理（运动补偿、人脸检测等），它有助于打造一套灵活而具有先进处理能力的系统。

　　图3 MBG046软件栈

　　5. 结论

　　了解富士通针对手机的最新Milbeaut Mobile图像信号处理器的演变、体系结构和功能之后，我们可以预期随着移动终端性能的继续稳步提升，要想让相机功能继续向着更低功耗、更快静态成像、更小相机模块外形、以及更高视频数据容量和帧速率——伴随更快的网络信道——的目标迈进，市场对图像信号处理器的要求定会不断提高。富士通会继续开发拥有最佳性能和功能的图像信号处理器，为我们打造符合这些趋势的可靠产品线创造条件。