嵌入式
返回首页

大模型时代,英特尔NEX如何让AI在边缘起飞?

2024-07-29 来源:EEWORLD

自从AI大模型爆火,让AI无处不在,用AI彻底改变我们的生活已经成为共识。


7月24日,英特尔便在“2024英特尔网络与边缘计算行业大会”上分享了其NEX(网络与边缘)事业部对于边缘AI的理解。


AI前景广阔,行业稳步恢复


“现在有一个热议的新词——新质生产力,它不仅非常契合英特尔,与各位的技术、创新、突破业务模式实践也紧密相关。”会议上,英特尔市场营销集团副总裁兼中国区总经理王稚聪表示,深层次人工智能这两年在中国是热议话题,从去年到今年,英特尔也和国内领先的大模型厂商展开了非常深入的合作,在AIPC领域进行大量合作与推广。


根据王稚聪的分享,英特尔看到今年上半年经济总体稳定,且在发展中有诸多亮点,总体GDP非常稳定,高质量出口占比迅速拉大,如新能源车、光伏、高技术含量机械设备等,同时,上半年中国制造业投资也在稳定恢复。英特尔也对全球半导体业务持乐观态度。



Gartner数据显示,半导体市场规模在2021年首次突破5000亿美元,当下半导体技术正在推动几乎所有行业的转型。随着对算力需求永无止境的增长,预计到2030年,半导体市场规模将翻一番,达到1万亿美元。其背后主要驱动力来自于全球各行业的数字化转型以及人工智能结合的新机会。


而中国生成式人工智能市场的规模在今年会达到33亿美金,未来几年会迅速翻倍发展,市场发展前景广阔。尤其是,边缘计算将在各个行业不断深入,包括零售业、制造业、金融业、医疗健康及基础设施行业等。


“科技向善也非常重要,我们希望把人工智能更用于提升生产力,提高生产质量,提高产品的创新,服务于人,希望英特尔能够跟大家一起走的更稳、走的更好。”王稚聪如是说。


让AI变革发生,需要什么技术


那么,AI如何深远改变边缘?英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti,人工智能将以深远的方式改变全球的业务模式,我们正处在AI协同时代,再进一步我们可能会发现,智能体之间能够相互交互,就像人类和人类在一起合作一样,未来可能会有智能体之间相互之间协作,提供部门级的解决方案。


接下来三年会有什么变化?据IDC数据显示,中国生成式AI投资的复合年增长率预计将达到86.2%。根据Gartner的预测,到2026年,80%的全球企业将使用生成式AI,50%的全球边缘部署将涵盖AI。我们正逐步采用更优化的大语言模型来增强AI,以使所有运维和开发工作更加顺畅。



如何使这一切发生?现在的企业其实有很多复杂问题,英特尔认为,需要的技术应该是灵活、简便以及企业就绪的,即在每个系统层面为用户提供充分的选择,让他们可以灵活地组合CPU、GPU、软件和网络设备,以解决企业的各种问题。


因此,英特尔致力于开放的标准和广泛的生态系统,帮助用户构建和部署他们的AI,以便更好地应对新技术。英特尔一直专注于帮助企业最大化数据价值,并安全地引入AI技术,通过简化和过滤复杂度来确保硬件能够支持灵活、简便和企业就绪的需求。


归根结底,依靠的主要是英特尔全面广泛的芯片基础。从凌动到至强,英特尔推出了Atom x7000RE/x7000C系列、Core和Core Ultra系列、Xeon 6700E系列、面向边缘的Arc GPU以及IPU E2100网络适配器。


除了芯片,更为重要的是平台。英特尔的Tiber边缘平台,把边缘和平台更好地结合在一起,使大家能够更快地部署应用,使得网络更加安全,更加优化。此外,英特尔还有AI套件,可以帮助在边缘端部署更好的应用,而且都是在本地部署的。AI套件涉及到工业、医学、零售等不同领域,适用于很多行业或者垂直领域。这些AI套件既可以进行个性化、定制化的应用及开发,集成到系统中,也可以帮助企业降低上市时间。


让边缘与云相融合


会后,英特尔公司副总裁兼网络与边缘解决方案事业部总经理Dan Rodriguez和英特尔公司市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威和EEWorld就NEX部门面对边缘AI的话题进行了一次分享。


根据英特尔公司副总裁兼网络与边缘解决方案事业部总经理Dan Rodriguez的介绍,在边缘计算环境中,生成式AI的融合部署,可以用在自助结帐、医疗领域、员工培训等场景中。对客户来说, 解决AI部署上的计算和本地部署难题,才能真正更好地创造价值。


为此,英特尔构建了各种AI套件,包括视觉分析AI套件、生命科学AI套件、媒体和娱乐AI套件、制造业AI套件,创新是将AI和边缘相结合的关键一环。



英特尔NEX部门是基于标准化技术的服务器风格解决方案和平台。作为供应商,英特尔致力于创造更广泛、开放的生态系统,使得在硬件系统中有效地使用软件成为可能。这个生态系统建立在边缘系统基础上,支持从单一到多模态的工作方式,能够更好地整合所有资源,例如工业计算机在工厂车间的应用就是一个案例。


Dan强调,“我们的核心价值观是边缘和云的结合,尤其是在媒体和图形应用方面,不仅仅是让AI系统独自运作,而是更深入地与边缘结合,核心目标是提升人们对设施的使用体验。AI使得英特尔信息平台易于使用和高度灵活。”


英特尔公司市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威表示,在英特尔和内部讨论中,经常争论边缘的定义。边缘可以被理解为介于端侧和数据中心之间的节点,有时边缘与端侧合并,有时被视为数据中心一部分,例如SmartNIC位于数据中心的边缘侧。因此,边缘实际上是两者兼具的概念。


这意味着整个行业对算力的需求更为广泛,英特尔认为算力不局限于边缘,而是在每个节点上存在。对英特尔而言,这体现在两个方面:首先,就产品而言,英特尔推出了多款AI产品,如独立显卡和Gaudi AI加速芯片,同时也在追求CPU、GPU和NPU之间的平衡,优化底层软件,帮助用户更有效地利用产品。其次,团队的配合至关重要,这不仅要求英特尔了解行业需求和痛点,还需将其转化为产品的具体要求,确保的硬件和软件能够有效解决问题。



大模型来了,边缘也变了


目前大模型的应用快速发展,给边缘计算的算力提出了很高的要求和一定挑战。英特尔针则针对市场需求,创造广泛的产业应用。举例来说,通过利用CPU增强客户的能力,并整合GPU、NPU等集成式技术。在GPU应用方面,涵盖从数据中心到加速器等多个领域。通过AI和边缘计算等技术,英特尔开发相应的软件包,以此更早介入市场,创建更灵活的平台,从而提升客户使用体验。


在网络互连方面,在AI出现前,SmartNIC前景非常广阔。


郭威表示,过去几年中,英特尔的方案主要是在国内采用FPGA与英特尔至强处理器结合,客户自行进行编程、设计和部署SmartNIC。


而现在则发生了变化,SmartNIC在CSP(云服务提供商)上的实际应用从去年下半年开始快速增长,今年的部署速度也在迅速加快,其中AI技术的推动也起到了加速作用。虽然自行开发SmartNIC可能会带来更高的灵活性,但从400G到800G的需求升级,自主研发可能并不总是最理想的选择。一个完整的SmartNIC解决方案可能更为合适,这也是行业普遍采用的技术路径。


至于硅光技术方面,英特尔过去主要专注于硅光模块。然而,去年英特尔进行了一些产品策略调整,认为像自行制造服务器一样,自主开发光模块并非最佳选择。因此,英特尔更倾向于销售光源、收发器等组件产品。


目前看来,英特尔在中国市场与国内外客户的合作进展顺利,特别是中国市场对光模块的需求最大。在未来,英特尔认为硅光技术在数据中心互联中的重要性将持续增加,公司将继续在这一领域保持领先地位,并致力于在性能和性价比上保持优势。


在软件方面,随着大模型的出现,我们在OpenVINO中不断增加对大模型的支持。


根据郭威的介绍,当前的挑战在于,无论是在国内的百模型战还是千模型战中,特别是行业模型变化迅速,我们必须持续升级和支持OpenVINO,以应对这些挑战。


过去针对传统计算机视觉应用时,OpenVINO就能完成其使命,不会过多介入客户上层应用。然而,在大模型时代,了解行业应用至关重要。通过OpenVINO,客户可以更好地基于这些模型开发软件,最终在英特尔平台上运行。因此,英特尔整个NEX产品线为不同行业如医疗、工业等推出AI套件实现这一功能。


在国内,英特尔密切关注大模型的变化,并持续优化OpenVINO,以提升其支持大模型的效率和速度。这是一个具有挑战性的任务,与传统的计算机视觉应用有所不同。随着变化的速度加快,英特尔不断增加在软件方面的投入,以满足市场需求。这是对该问题的理解和处理方式。


NEX部门,怎么助力中国市场


今年上半年,AI开始大规模在行业中落地,大模型很难落地的观点也因此不攻自破。但问题是,中国市场不仅纷繁复杂,同时存在许多特殊需求和挑战。所以,英特尔NEX部门如何立足中国市场?


根据郭威的解析,共有三个关键点。第一,在产品层面,英特尔在提出“英特尔中国2.0”战略后,通过一些工程资源的整合,更好地支持好、服务好中国客户。英特尔针对国内客户在软件上提供更多的支持和帮助,甚至在国内会有更多的软件工具,从硬件、软件、产品层面全方位支持中国市场。


第二,在生态链扶持层面,英特尔正在和国内更多的大模型厂商做更深入的合作,比如百川、文心一言。怎么样让大模型更好地在硬件上运行,特别是当这种模型在行业落地的时候,怎么去做更多优化,都是英特尔考虑的东西。


第三,在AI落地层面,英特尔和的客户更有针对性的进行合作,针对行业来做一些AI解决方案,能够满足行业需求,包括希沃、科东,这种概念都是在去年下半年才提出来的,但是客户现在一步步摸索,理解需求,然后实现解决方案的落地。


生态系统的建设,不是英特尔一个公司能够完全解决的,而是需要ODM、OEM、ISV软件供应商、最终用户的覆盖、支持和帮助。


“希望大家构成一个比较好的生态圈或者是朋友圈,把这个市场做大,这是英特尔这么多年来,在生态链上的一个标准做法,在后面的AI或者是AI+的时代,我们都会这样做下去。”郭威如是说。

进入嵌入式查看更多内容>>
相关视频
  • PX4固件二次开发课程

  • RISC-V嵌入式系统开发

  • NuttX Workshop 2024

  • 自己动手写操作系统

  • SOC系统级芯片设计实验

  • 自己动手做一台计算机

精选电路图
  • 基于ADC0808的模数转换器电路图

  • 基于IC555和TSOP1738的红外接收器电路

  • 利用发光二极管制作的油面指示电路

  • 用MICRF102与PT2262组成的无线电编码发射电路

  • MX2740构成的GPS射频前端电路

  • 音频遥控开关电路原理分析

    相关电子头条文章