2018年11月02日 | 解读Lattice SensAI技术

自从Lattice SensAI推出后，广受市场好评。

今天，我们就来系统地了解一下SensAI。

Lattice sensAI包括模块化硬件平台、神经网络IP核、软件工具、参考设计和来自生态系统合作伙伴的定制设计服务。

灵活的推理解决方案经过优化具有低功耗（1mW-1W）、封装尺寸小（最小5.5mm2）、低价适合大批量生产（约1-10美元）等优势。

将实时在线的终端AI加快部署至一系列网络边缘应用，包括移动设备、智能家居、智慧城市、智能工厂和智能汽车产品。

如图所示，SensAI涵盖五大部分，分别是硬件平台、IP核、软件工具、参考设计以及客户设计服务。



如图所示，针对人工智能，Lattice可以支持两种模式，一种是使用Caffe或TensorFlow输出模型文件，之后导入至FPGA中，或者直接采用CNN/BNN的加速IP，导入FPGA中，均可以实现边缘人工智能。

关于硬件平台

适用于网络边缘应用超低功耗机器学习推理应用快速原型设计的模块化硬件平台，具体包括：

视频接口平台——基于ECP5 FPGA的模块化开发平台包括屡获殊荣的嵌入式视觉开发套件，用于功耗要求低于1W的AI设计。灵活的接口互连开发板支持MIPI CSI-2、嵌入式DisplayPort（eDP）、HDMI、GigE Vision、USB 3.0等接口。

移动开发平台——基于iCE40 UltraPlus FPGA的毫瓦级AI设计平台，提供一系列板载图像传感器、麦克风、电子罗盘、压力传感器和陀螺仪等。

Himax HM01B0 UPduino Shield——一款将视觉和声音作为传感器输入，实现人工智能的全面开发套件，采用了基于iCE40 UltraPlus FPGA的UPduino 2.0开发板和Himax图像传感器模块。

DPControl iCEVision开发板——DPControl使用iCE40 UltraPlus FPGA和兼容大多数常用摄像头接口的各类接口连接器设计的一款视觉开发套件。

关于Lattice sensAI IP核

神经网络加速器IP核支持卷积、池化和全连接网络层，具体如下：

卷积神经网络（CNN）加速器——可灵活设置参数的IP核针对ECP5 FPGA进行了优化，包括支持不同量化，从而实现精度和功耗之间的平衡。

轻量化CNN加速器——该加速器针对iCE40 UltraPlus FPGA进行了优化，支持功耗低至数毫瓦的AI设计。

关于软件工具

除Lattice Diamond和Lattice Radiant等FPGA设计软件外，Lattice sensAI还包括了全新的神经网络编译器工具，可将使用Caffe或TensorFlow开发的网络部署到莱迪思FPGA上，而无需RTL设计经验。

神经网络编译器——快速分析、模拟和编译不同类型的网络，从而在莱迪思的CNN/轻量化CNN加速器IP核上实现。

如图所示，Lattice提供了众多Demo及参考设计方案。[page]

近日，Lattice再一次宣布Lattice SensAI进行更新，支持更多特性。

包括了：

适用于iCE40 UltraPlus FPGA的全新轻量化CNN加速器IP支持16位和1位量化，可实现更灵活的性能、精度、功耗的平衡

适用于ECP5 FPGA的CNN加速器IP性能更强，DRAM存储器带宽最多提升至2倍，可在尺寸更小的设备上实现更高性能

全新硬件平台、参考设计和演示示例轻松平衡性能和功耗，助力实时在线的终端AI应用

EEWORLD日前也采访到了Lattice亚太区事业发展总监陈英仁，就SensAI进行一些探讨，尤其是中国客户所关注的一些热点话题给与了解读，以下是详细采访记录：

Lattice亚太区事业发展总监陈英仁

提问：边缘计算这个概念在中国越来越火热，Lattice如何把国外的先进技术引入中国，帮助中国更好的发展边缘计算。

陈英仁：莱迪思主要专注于提供低成本、小尺寸、低功耗的解决方案。我们的FPGA早已广泛应用于各类终端设备，实现控制和桥接功能。尽管FPGA的并行架构非常适合低延迟和高性能的处理，但一直以来，由于实现FPGA内运算的算法充满挑战，在中国市场的应用并不广泛。我们最近发布的sensAI则采用Caffe和Tensorflow等行业标准工具，让客户更容易使用标记过的样本在莱迪思FPGA上实现低成本、低功耗的推理算法。sensAI同时解决了终端设备的计算需求和FPGA算法设计这两大难题。
 
提问：sensAI已经推出了一段时间了，目前市场反响如何？

陈英仁：sensAI越来越受到客户的青睐，尤其是在要求超低功耗（毫瓦级）计算能力的应用上。我们看到日本在运用sensAI方面走在前列，可以在较低功耗下实现实时在线的智能检测，为客户带来便捷和更好的用户体验。
 
提问：在sensAI推出后，主要目标应用在包括人脸检测、关键词检测、面部跟踪、对象计数、速度标志牌等，目前这些应用是否在中国落地？能否举例说明一下。

陈英仁：sensAI工具可以帮助我们的客户在莱迪思FPGA上实现神经网络推理。sensAI技术集合中包括了人脸检测、面部跟踪、对象计数等概念验证演示。这些演示旨在帮助我们的客户更好地了解莱迪思的产品和设计流程。这些演示还可以作为客户拓展以及创建其他推理解决方案的基础，如睡意检测、街道停车检测、人员靠近检测等。
 
提问：sensAI在全球拥有了一些设计服务合作伙伴，有没有中国合作厂商，莱迪思将来是否会和更多中国厂商合作，来推广sensAI？

陈英仁：当然。我们目前正在与中国的一些潜在的合作伙伴接洽，合作的领域为莱迪思尚不提供的样本采集和模块化服务。这些服务对于国内外从事机器学习设计的客户具有极高的价值。
 
提问：您预计，未来中国哪些AI项目可以火热？

陈英仁：这个话题就很宽泛了。AI或者更具体来说，基于神经网络的机器学习是一种可适用于诸多应用的全新设计方法。像监控、机器视觉和汽车的ADAS系统等这些在中国增长迅猛的领域无疑将受益于AI。sensAI中使用的FPGA不仅功耗低，还提供灵活的IO和处理能力，能让客户使用智能传感器和开关升级现有产品，而无需花费过多精力重新设计。这些特性在需要低延迟推理的IoT应用中非常重要。
 
提问：为什么要增加人员侦测和手势感测

陈英仁：这些处于概念验证阶段的演示通常源自我们客户提出的常用案例。具体来说，目前市场上带有视频录制功能的智能猫眼或智能垃圾桶等产品通常使用被动红外（PIR）作为检测机制，但是会经常导致误触发。而基于神经网络推理的检测不仅能带来更高精度和更低功耗，避免了因为误触发而导致垃圾桶内的气味散发出来。
 
提问：轻量化CNN是什么意思？代表着什么？

陈英仁：轻量化CNN是在我们的超低功耗、低成本、小尺寸的iCE40 UltraPlus上运行的、经过优化的CNN IP。在UltraPlus上运行的两个全新演示，即手势检测和人员侦测，就是基于轻量化CNN。尽管轻量化CNN比之前推出的二值神经网络（BNN）功耗稍高，但是其精度和性能也更优秀。此外，CNN在业界的应用也比BNN更为广泛。
 
提问：Lattice的FPGA作为AI协处理器，未来随着ASSP/ASIC甚至MCU增加了CNN功能之后，Lattice如何在人工智能领域找到属于自己的位置？

陈英仁：只要客户寻求的价值定位是创新、快速上市、低延迟、灵活的IO以及可编程性，FPGA就能继续保持优势，无论是作为协处理器、独立的处理单元亦或是简单的桥接。随着AI不断火热，IoT和智能传感器市场将持续增长。物联网世界的多样性也将是FPGA灵活架构大放异彩的机会。尤其是AI目前还在初步阶段，我们预计神经网络引擎将持续演进和优化。功能固化的加速器可能在未来几年内还是会受到限制。另外应用如基于AI的传感器融合需要与多个传感器交互，我们相信FPGA的架构将与之完美契合。
 
提问：以前小型化的FPGA作为协处理器，是否被市场广泛接受？能否举几个例子。

陈英仁：iCE40系列已广泛应用于智能手机、智能耳机、智能音箱和VR追踪系统等终端产品中，实现接口桥接、IO互连、多输入处理、低延迟控制和计算等功能。

提问：最近公司更换了CEO和研发总负责人，Lattice今后的发展蓝图有无变化？未来重点会放在哪些产品和应用中？

陈英仁：我们很高兴三位新任高管为公司带来了新的活力、专业才能和远见卓识。新任CEO Jim Anderson在业务转型和驱动盈利增长方面业绩卓著；而研发副总裁 Steve Douglas和CMO Esam Elashmawi都是可编程逻辑行业资历深厚的专家，他们将帮助莱迪思实现健康、稳定的增长。

-----------------------------------------------------------------------------

陈英仁先生是莱迪思半导体亚太区事业发展总监，主要负责新兴的消费电子应用，如VR/AR、无人机和消费电子物联网等。

陈英仁先生拥有超过20年的高科技行业背景以及超过18年的FPGA领域从业经验。陈英仁先生曾任职于Altera，负责管理Altera在中国大陆和台湾的网络、计算、工业、消费电子市场的销售业务。在Altera美国和台湾分公司的15年职业生涯中，陈英仁先生也曾担任技术和业务发展等方面的职位。

陈英仁先生拥有美国加州大学伯克利分校电气工程暨计算机科学（EECS）以及材料科学暨工程双学士学位。