英特尔的企业AI,正在落向千行百业的“云、边、端”
2024-09-05 来源:EEWORLD
最近一段时间,有人提出:“未来3年,只有含AI量高的企业,才能活下来。”之所以有这样的观点,是因为这今年,AI真的不一样了。
虽然行业一直在热捧AI,但实际上,AI这个概念实际已经转动了好几轮,并且历经了三次低潮。而这一次,当行业力大砖飞地用大参数量驱动模型“智能涌现”,使得生成式AI成为现实,AI也愈发具备生产力。
未来AI会无处不在,打个比方,比如进家门后,你顺手就把背包挂在了门口的挂钩上,但你平时从来察觉不到它的存在,有当包掉到地上你才知道有这么一个挂钩。未来的AI,一定会潜移默化地影响你的生活,融入到你的生活和工作中。而这一切,都需要每个企业进行改变。
企业AI,是英特尔最新提出的概念。日前,英特尔对其企业AI进行了一次详细解析,同时其合作伙伴也宣布了其与英特尔合作的最新进展。
企业AI,英特尔三步走
英特尔中国软件技术合作事业部唐炯认为,让AI无处不在,需要加速创新、价值最大化、灵活部署,英特尔企业AI的战略也围绕这三点进行。
首先,在加速创新方面,英特尔的关键词是开放、多样、可靠性和规模化。
开放指的是围绕软件、应用,面向个人和企业开发者提供更加开放的资源平台,比如在工具层面提供PyTorch、TensorFlow、Python等可编程开放环境,帮助更多人实现应用创新。
多样指的是在算力层面提供了oneAPI、OpenVINO等开源工具,支持一次编程,适配XPU异构平台,无需重新编程。
可靠性指的是通过不同的软件模块提高推理的准确性和可靠性。目前AI推理还存在一定问题,对于企业级AI,90%或95%的准确率往往不可接受,尤其在医疗领域,因此这是英特尔重点关注的问题。
规模化指的是为客户提供更多低门槛的POC机会,让创新者能在可靠的平台上进行测试、验证和优化,因为在创新的过程中,测试和POC(概念验证)成本较高,阻碍了很多开发者。
其次,在价值最大化方面,英特尔会将最合适的工作负载放到最合适的平台上。
在AI时代,云计算的传统逻辑被打破,无论是AI加速器还是GPU,都几乎没有空闲时间。因此,为了实现价值最大化,必须在云、边、端等不同场景灵活部署AI解决方案。
例如,医院的数据需要在边缘设备上处理,PC的算力也可以用于分担云端的AI成本,这有助于优化整体部署成本。
最后,在灵活部署与运行方面,英特尔会解构现有解决方案,以便让每个合作伙伴专注于其最擅长的领域,并通过透明、灵活的部署减少手动编码的需求。这种解构将帮助企业提供最合适的AI解决方案,实现真正的能力落地。
根据唐炯的解析,如今整个AI堆栈都非常复杂,涉及不同层次的算力基础、操作系统、大数据和应用等,因此如何灵活部署AI解决方案成为关键。英特尔提出了 OPEA(Open Platform for Enterprise AI)的概念,即通过开放的平台,汇聚各方代码和模块,形成完整的企业级AI应用。
OPEA在今年上半年正式推出,吸引了全球头部ISV和国内厂商的参与。随着未来更多异构计算、创新应用和数据管理解决方案通过开源社区共享与优化,这种开放、透明的配置方式能够减少应用的风险,使其更加灵活和高效。“期待更多中国软件行业合作伙伴加入,共同为开源社区贡献力量。”唐炯如是说。
企业AI来到了云、边、端
战略不能只停留在概念阶段,企业AI目前已经惠及到产业,东方国信、海鑫智圣、星环科技便分享了自己与英特尔的合作。
东方国信副总裁兼CTO查礼表示,AI时代会有三点变革,一是硬件环境的变革,从原来主要集中在通算密集型应用的硬件环境,切换到XPU密集型计算,也就是包含GPU、ASIC等的密集型计算;二是交互体验的变革,从原来的图形界面,点按钮、点菜单,变成自然语言NLP交互;三是开发模式的变革,现在可以利用提示词,让大模型帮忙生成代码,譬如一些代码注释、测试用例,或是相应文档;四是应用构建的变革,就比如英特尔的OPEA项目便是一种应用构建的变革。
东方国信与英特尔的合作已经持续五年,在各种各样前沿计算技术领域都与英特尔开展合作,包括数据库、大数据、判别式AI和生成式AI。举个典型的合作案例,在大数据方面,东方国信一个工作内容是Spark集成英特尔Gluten + Velox + 英特尔QAT/AVX512,即利用现有CPU上向量化的指令集来加速数据处理的性能,它能在不增加用户投资的前提下,提升一倍以上的性能,换句话说,原来需要一个小时的数据加工,现在半小时就可以做完。
另外,目前东方国信和英特尔合作还包括幕僚产品体系的训推一体机,这个一体机应用在企业级层面与OPEA不谋而合,企业级AI平台就是希望有一个自有的、专有的、私有化部署的硬件平台,和这样的一个行业模型,把这些软、硬件打包在一起,开箱即用端到端交付给企业级用户,这是目前正在和英特尔合作的一个重要内容。
海鑫智圣总经理孟凡军表示,与英特尔的合作中,会通过各种各样的算法去处理器数据集,如果把云端的算法放到具体的场景中,其精度会发生很多变化。作为AI厂商不能把所有的理论停留在纸上,而是要给用户解决问题,所以在AI推行过程当中,如何实现云边端的精度统一非常难。解决方案是“向上管理与合作”,只有在云、边、端都和芯片公司有了很好的合作,做了底层拟合,才能实现数据集、精度集云边端的统一,所以这是一个很难的工程。
举个典型案例来说,此前在第三代至强CPU推出时,海鑫智圣有一个课题是云厂商第一次拥抱AI,对云厂商来说,又要提高成本,也没看到收入,所以当时云厂商对AI是犹豫的。所以当初与英特尔合作中,他们认为这其实是一个简单的“二八法则”,即20%的典型场景是需要新的设备加速的方式去解决(如部署GPU),而传统的80%的场景是通过新的软件技术和CPU推出一些新的特性来横向扩展,在原来的基础把根本问题就解决掉。所以在大家都在采用各种各样高大上的GPU去解决问题的时候,海鑫智圣在英特尔新推出的CPU上,用英特尔提供的OpenVINO和oneAPI软件提高了CPU适用的宽度,并提高了AI推理性能。
星环科技生态合作部总经理张雷表示,从成立之初,就与英特尔结缘,这些年中随着英特尔CPU不断发布,其产品也在实时的同步更新。比如,去年推出的Hippo向量数据库产品,对第五代英特尔至强可扩展处理器进行了性能调优,与第三代的产品性能相比有2.07倍的提升。
有了向量数据库之后,也在行业应用场景上进行打磨,并且在去年年底推出了TKH(Transwarp Knowledge Hub),这个产品有两款比较核心的应用,即无涯·问知和无涯·问数。无涯·问知分为云、边、端三面,在端侧,星环科技与英特尔联合打造了无涯·问知AI PC版,它解决了云端算力不足的问题,能够在端侧提供充足的算力。
从云时代到AI时代
唐炯表示,进入AI时代,与云时代相比有了很大变化。云时代底层逻辑更多关注任务的调度,而AI时代不仅仅是调度的问题,更重要的是如何充分发挥有限算力的潜力。在异构环境中,如何协调不同的负载放在合适的平台上至关重要。同时,从底层基础软件到应用软件的匹配也变得更为复杂。
如何在数据安全和可靠性方面设计更高效的接口,实现“热插拔”的灵活性是关键。例如,某些应用可能需要一个大模型,而其他应用则可能需要不同的模型,能否实现灵活插拔,减少部署过程中对代码和应用的修改,是英特尔面临的挑战。在此方面,英特尔将继续加大投入,贡献更多资源来支持开源社区的发展。
当然,为了让AI更好地在企业中有效运作,英特尔也考虑了很多。唐炯认为企业需要通过类似RAG向量数据库等工具来优化,并通过前端应用进行调整。
就像一名新入职的员工,需要在新的工作环境中适应、调整,并使用前人的知识库作为资源。通用大模型虽然强大,但要在企业中落地应用,需要进一步调整、培训和优化,才能为特定行业服务。在应用AI时,企业往往低估了“培训”和“实习”过程中的成本。
通过解构这个过程,可以清楚地识别出哪些环节的成本可以降低。在英特尔的OPEA框架下,可以通过优化不同环节,进一步减少总体拥有成本,这超出了技术成本下降的市场趋势,并为企业提供了具体的成本控制措施。
- 使用 NXP RT1170 的 QDC 外设与增量编码器测量电机转速
- NXP全新i.MX RT700跨界MCU搭载eIQ Neutron NPU, 以高性能、低功耗赋能AI边缘
- AMD 面向嵌入式系统推出高能效 EPYC 嵌入式 8004 系列
- 六个术语(DAC、ADC、DSP、codec、运放、耳放)解析
- 一文解析西门子S7-1200的Modbus RTU通信
- Linux 圈曝出“灾难”级漏洞:已存在 10 多年,影响几乎所有发行版
- 为什么现在的电机都是8级48槽呢?来聊聊极槽配合的那些事儿
- 对标英特尔/AMD!曝联发科首款AI PC芯片准备流片
- 连树莓派,都开始默默发力AI了
- 世平集团基于 NXP LPC845 的 BLDC 高速电机无感方波驱动方案