用友采用第五代英特尔® 至强® 可扩展处理器加速自然语言处理 (NLP) 应用助力企业服务数智化转型
“我们一直致力于推动NLP等技术在企业服务流程的广泛应用，使得企业服务由流程驱动转变为基于AI模型调度的语义驱动。在此过程中，高性能的第五代英特尔 ® 至强 ® 可扩展处理器能帮助我们加速AI应用，进而为企业带来智能化的业务运营、自然化的人机交互、智慧化的知识生成、语义化的应用生成，契合企业基于数智技术实现业务与业务、业务与财务、业务与管理融合创新的时代需求。”
—— 方高林
用友助理总裁
“我们正在迈向以AI广泛应用为突出标志的数智化时代，第五代英特尔 ® 至强 ® 可扩展处理器将为用户的数智化转型战略提供坚实的算力基础。与用友的合作证明，该处理器在向量化操作、AI加速等方面有着卓越的性能优势，且具备出色的灵活性与经济性，可助力打造数智化的企业服务体系。”
—— 唐炯
英特尔（中国）有限公司
软件技术合作事业部总经理
挑 战
自然语言处理 (NLP) 应用常会涉及到向量化处理，这在满足数据匹配、特征检索等应用要求的同时，也给基础设施平台带来了以下挑战：
海量的向量化数据处理会导致吞吐性能出现瓶颈，随着NLP应用规模的扩大，需要进行向量化处理的数据在不断增长，带来了与日俱增的性能压力 。
在如今的NLP应用中，词嵌入 (Word Embedding) 等技术实现了深度应用，这些技术依赖于向量映射等操作，对于向量性能带来了较高要求。
出于经济性考量，用户通常希望能够尽可能提升向量化处理的性能密度，对于基础设施的总体拥有成本 (TCO) 进行更好的控制。
解决方案概述
作为人工智能(AI)技术的一个重要发展方向，自然语言处理(NLP) 在近年来实现了高速发展，并被普遍应用于虚拟个人助理 (VPA)、智能搜索、智能语音助手、知识问答等领域，为用户提供了更加贴近自然语言表达方式的人机交互服务，增强业务的智能化并提升处理效率。随着接入NLP服务的应用、用户数量的快速增长，以及NLP模型复杂度的不断提升，NLP面临着日益沉重的性能挑战，这包括NLP中的向量化处理要求较高的吞吐能力。
为了提升NLP应用的处理性能，用友在全新一代商业创新平台 (BIP) 的支撑底座：iuap中，采用了第五代英特尔 ® 至强 ® 可扩展处理器进行加速。第五代英特尔 ® 至强 ® 可扩展处理器实现了显著的代际性能提升，并可利用英特尔 ® AVX-512 指 令集的支持，大大提升了向量指令的吞吐能力，能够更好地应对庞大的向量数据操作量带来的性能压力，助力构建更加高效的企业智能中台，赋能智友对话机器人、智能大搜等应用。
用友 iuap 通过 NLP 技术 赋能企业数智化 转型
用友商业创新平台YonBIP是用友采用新一代信息技术，按照云原生（含微服务）、元数据驱动、中台化和数用分离的架构设计，涵盖平台服务、应用服务、业务服务与数据服务等形态，集工具、能力和资源服务为一体，服务企业与产业商业创新的平台型、生态化的云服务群。YonBIP具有数字化、智能化、高弹性、 安全可信、平台化、生态化、全球化和社会化八大特性，是企业通过数智化实现商业创新发展的使能平台。
iuap作为全新一代商业创新平台的支撑底座，服务于成长型、大型及巨型企业数智化转型，助力企业提升数字化技术驾驭能力。其基于技术平台、数据中台、智能中台及业务中台，为企业提供了中台化构建能力、多云环境下的混合云开放集成互联互通能力、技术普惠化下的低代码开发和数智能力自助等应用快速构建能力。iuap智能中台是企业数智化大脑，通过AI平台+算法+知识图谱技术，以统一的智能交互方式和智能服务，提升核心竞争力，为客户创造价值，降本增效。其产品主要包含数智员工、RPA、智友、智能搜索、知识图谱、AI工作坊、智能服务等。
图
1. iuap智能中台总体架构
iuap智能中台在智友对话机器人、智能大搜等应用中深度采用了NLP技术：
智友对话机器人
智友对话机器人是AI+互联网时代，人工智能应用的核心入口，通过运用语音识别(ASR)、自然语言处理(NLP)和语音合成(TTS)等技术，将语音等非结构化的数据，转变为机器可处理的结构化数据，与现有的OA，CRM，ERP等应用系统相结合，成为用户的智能虚拟助理，为用户提供问答与任务执行服务。智友对话机器人依托于用友IUAP云平台，结合协同、采购、人力等领域特性，通过意图、知识库、技能、对话标注等的综合运用，构成机器人创建、训练、反馈、优化的闭环使用场景。典型的对话机器人应用有以下几种：
知识问答： 对用户意图进行解析，基于预置业务知识库，进行业务问题进行解答。
业务处理： 对接相关业务系统，将语音指令，转换为机器人能够理解的结构化指令，并结合后台业务系统，完成相应操作。
闲聊： 回答用户的一些问候、情感及娱乐信息等开放性问题。
智能大搜
智能大搜是用友云智能搜索服务的一个核心应用，应用场景包括智能搜索、知识问答、图谱协作、员工赋能等，提供搜文档/图片/视频/课程、AI问答搜、图谱搜索/推理、智能问答、AI导读与推荐等功能（见图2），可以帮助企业快速构建基于领域/行业多模态知识的检索及问询系统，支持海量级结构化/非结构化数据存储，提供智能问答（知识、文档、图片问答等）、资源检索、智能推荐等服务。
图2. 用友智能大搜应用场景
在上述产品中，用友在任务型对话（包括槽位识别、意图理解、 指代消歧、实体识别等）以及搜索、问答（包括检索增强、Query分析、关键词/摘要抽取、关键词召回、向量召回、语义相关性、多级排序、关联推荐等）中采用了NLP技术，并在搜索问答场景中的多类型资源召回，任务型对话中的意图/触发语句识别、以及其他语义相关性计算场景中进行了向量化处理。
采用第五代 英特尔 ® 至强 ® 可扩展处理器加速 NLP 向量化处理
向量化是一种并行计算技术，该技术能够根据一定的规则，将多个数据组合为单一的向量，成为一组属性的集合，有助于提高程序的执行效率，也能够用于描述特定目标的不同特征属性，是AI等应用的重要基础数据。在NLP应用中，有大量的流程都需要进行向量化处理。
向量化在词嵌入等技术中得到广泛应用。词嵌入是NLP中的一种表示技术，它将词语或短语从词汇表映射到向量的实数空间中， 通过训练模型，使其学会预测一个词在给定上下文中的出现概率，从而得到这个词的向量表示，词义的语义信息就能以数值的形式表达出来。在用友NLP业务的向量化处理中，其会根据不同任务进行模型结构优化和策略设计，采用企业内部数据/行业数据进行预训练及监督微调，随后进行模型加速、性能优化。
向量数据是NLP应用重要的基础数据，由于NLP业务规模的快速增长，目前平台的特征向量规模可能会达到亿级别，这对于向量数据的吞吐能力提出了苛刻要求。
第五代英特尔 ® 至强 ® 可扩展处理器有助于改善向量的吞吐性能。第五代英特尔 ® 至强 ® 可扩展处理器拥有更可靠的性能，更出色的能效。它在运行各种工作负载时均可实现显著的每瓦性能增益，在AI、数据中心、网络和科学计算的性能和总体拥有成本(TCO)方面亦有更出色的表现。相较上一代产品，第五代英特尔 ® 至强 ® 可扩展处理器可在相同功耗范围内提供更高的算力和更快的内存。此外，它与上一代产品的软件和平台兼容，因此部署新系统时可大大减少测试和验证工作。
图3. 第五代英特尔 ® 至强 ® 可扩展处理器具备强大性能
用友的测试数据如图4所示，相较于第四代英特尔 ® 至强 ® 可扩展处理器，第五代英特尔 ® 至强 ® 可扩展处理器在NLP (YonMaster Dialogue Bot) 工作负载中实现了1.2 倍的代际吞吐性能提升 6 。
图4. 用友NLP 应用在基于不同代英特尔 ® 至强 ® 可扩展处理器上的
吞吐性能比较
收 益
提升NLP应用的性能，显著化解NLP中频繁的向量化操作所带来的吞吐性能挑战，从而助力上层的智友对话机器人、智能大搜等应用的高效运行。
提升了服务器的单位性能密度，在同等性能的水平下，降低了服务器规模的扩展需求，有助于降低TCO。
该应用实践为用友YonBIP用户的硬件选型提供参考，用户可以根据实际的性能需求，选择更适用的硬件配置。
展 望
在第五代英特尔 ® 至强 ® 可扩展处理器的支撑下，用友iuap智能中台提升了NLP应用的向量吞吐性能，支撑了整体平台的优化升级。面向未来的发展需求，用友还将在任务型对话中进行意图槽位识别算法升级、Query改写模型与大型语言模型(LLM)结合；在搜索问答上持续优化检索增强(RAG)技术，开展垂域微调、多模态问答等。用友还将与英特尔进行进一步合作，推动NLP的性能优化、模型加速。
面向新一轮商业创新的大潮，用友与英特尔将聚合企业服务生态圈，为客户提供基于新一代数智技术、真正云原生技术架构、创新应用架构的平台和应用服务，提供随需而用的企业云服务和无处不在的数智价值，助力企业实现业务运营和管理的数智化升级与转型。
更多与第五代 英特尔 ® 至强 ® 可扩展处理器有关的内容，欢迎点击“ 阅读原文 ”了解
1 与第四代英特尔 ® 至强 ® 处理器相比的平均性能提升，以 SPEC CPU rate 、 STREAM Triad 和 LINPACK 的几何平均值为衡量标准。请参阅 intel.com/processorclaims 上的 [G1] ：第五代英特尔 ® 至强 ® 可扩展处理器。结果可能有所差异。
2 与第四代英特尔 ® 至强 ® 处理器相比，取得 1.19 倍到 1.42 倍的性能提升（ ResNet50v1.5 、 BERT-Large 、 SSD-ResNet34 、 RNN-T （仅 BF16 ）、 Resnext101 32x16d 、 MaskRCNN （仅 BF16 ）、 DistilBERT ）。请参阅 intel.com/processorclaims 上的 [A15-A16] ：第五代英特尔 ® 至强 ® 可扩展处理器。结果可能有所差异。
3 请参阅 intel.com/processorclaims 上的 [G12] ：第五代英特尔 ® 至强 ® 可扩展处理器。结果可能有所差异。
4 请参阅 intel.com/processorclaims 上的 [G11] ：第五代英特尔 ® 至强 ® 可扩展处理器。结果可能有所差异。
5 使用内置加速器在 AI 、数据和网络工作负载上进行测量，取得 1.46 到 10.6 倍的每瓦性能提升。请参阅 intel.com/processorclaims 上的 [A19-A25] 、 [D1] 、 [D2] 、 [D5] 和 [N16] ：第五代英特尔 ® 至强 ® 可扩展处理器。结果可能有所差异。
6 用友截止至 2023 年 11 月的内部测试结果。测试配置：基准配置 — 双路英特尔 ® 至强 ® 铂金 8480+ 处理器 @ 2.0GHz ， 1024GB 总内存 (16x64GB DDR5 4800MT/s) ， Ubuntu 22.04.3 LTS ；新配置 — 双路英特尔 ® 至强 ® 铂金 8592+ 处理器 @ 1.90GHz ， 512GB 总内存 (16x32GB DDR5 5600 MT/s) ， Ubuntu 22.04.3 LTS 。英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。
实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex
性能测试结果基于配置信息中显示的日期进行测试，且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝 对安全的。
具体成本和结果可能不同。
英特尔技术可能需要启用硬件、软件或激活服务。
英特尔未做出任何明示和默示的保证，包括但不限于，关于适销性、适合特定目的及不侵权的默示保证，以及在履约过程、交易过程或贸易惯例中引 起的任何保证。
英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。
© 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。其他的名称和品牌可能是其他所有者的资产。
* 文中涉及的其它名称及商标属于各自所有者资产
想看更多“芯”资讯
用你的
赞
和
在看
告诉我们～
金证采用第五代英特尔® 至强® 可扩展处理器 进一步提升交易速度及稳定性
创新合力：英特尔至强助力网易高性能存储新突破
第五代英特尔® 至强® 可扩展处理器助火山引擎应用性能提升42%
