红帽宣布达成收购Neural Magic的最终协议

●   此次交易体现了红帽致力于帮助客户在混合云环境中实现灵活部署，支持从本地数据中心到公有云，再到边缘计算的应用和工作负载交付，满足包括人工智能（AI）在内的各类需求

●   Neural Magic将为红帽带来在生成式AI性能工程方面的专业技术，以及先进的模型优化算法和高效的GPU与CPU推理服务

全球领先的开源解决方案提供商红帽公司近日宣布，已签署最终协议收购Neural Magic，这是一家在加速生成式AI（gen AI）推理工作负载领域的软件和算法领域的先驱公司。

Neural Magic在推理性能工程方面的专长及其对开源的承诺，与红帽的高性能AI工作负载愿景高度契合。这些AI工作负载能够精准匹配客户特定的使用场景和数据，覆盖混合云环境的各个层面，无论在本地部署、公有云还是边缘计算中。

尽管生成式AI在当前技术领域中占据主导地位，但支撑这些系统的大型语言模型（LLM）仍在不断扩展。因此，构建高效、可靠的LLM服务需要巨大的计算能力、能源资源和专业操作技能。这些挑战使得定制化、部署就绪并注重安全的AI解决方案，对大多数企业来说变得遥不可及。

红帽计划通过开放创新的vLLM项目，简化生成式AI的访问，帮助更多企业应对这些挑战。vLLM由加利福尼亚大学伯克利分校开发，是一个社区驱动的开源项目，旨在提供开放的模型服务（即生成式AI模型如何推理和解决问题）。它支持所有主流模型、先进的推理加速研究，并兼容多种硬件后端，包括AMD GPU、AWS Neuron、Google TPUs、Intel Gaudi、NVIDIA GPU和x86 CPU等。

Neural Magic在vLLM中的领导地位与红帽强大的混合云AI技术平台相结合，将为企业提供一个开放且灵活的解决方案，助力构建满足其独特需求的AI战略，无论数据存储于何处。

红帽 + Neural Magic：引领混合云就绪的生成式AI未来

Neural Magic于2018年从麻省理工学院（MIT）独立出来，致力于为深度学习构建高效的推理软件。凭借Neural Magic在技术和性能工程方面的深厚积淀，红帽将加速其AI未来愿景的实现，依托红帽的AI技术组合，突破大规模企业AI应用的瓶颈。红帽通过开源创新，推动AI变革力的普及，具体体现在以下几个方面：

●   开源许可的模型，参数规模从1B到405B，支持在混合云环境中任何位置运行——包括企业数据中心、多云平台和边缘设备。

●   微调功能，使组织能够轻松定制大型语言模型（LLM），将其调整为满足私有数据和特定场景的需求，提升安全性。

●   推理性能工程专业技术，提升运营效率和基础设施效能，确保更高的性能。

●   强大的合作伙伴和开源生态系统，通过提供从LLM和工具到认证服务器硬件及底层芯片架构的全面支持，扩大客户选择空间。

增强红帽AI在vLLM领域的领导地位

Neural Magic凭借其在vLLM领域的深厚技术积累，构建了企业级推理架构，使客户能够在混合云环境中优化、部署并扩展LLM工作负载，全面掌控基础设施选择、安全策略和模型生命周期。同时，Neural Magic还深入开展模型优化研究，推出LLM Compressor（一个通过最先进的稀疏化和量化算法优化LLM的统一库），并维护一个预优化模型库，客户可直接通过vLLM进行部署。

红帽AI通过强大的技术帮助客户降低AI应用的成本和技能门槛，具体包括：

●   红帽企业Linux AI（RHEL AI）：基础模型平台，旨在更无缝地开发、测试和运行IBM Granite系列的开源LLM，支持Linux服务器上的企业应用。

●   红帽OpenShift AI：一个全面的AI平台，提供工具来快速开发、训练、服务和监控机器学习模型，支持在分布式Kubernetes环境中的部署，无论是在本地、公有云，还是边缘设备。

●   InstructLab：由红帽和IBM共同创建的开源AI社区项目，致力于通过InstructLab的微调技术改进开源许可的Granite LLM，帮助任何人共同塑造生成式AI的未来。

Neural Magic在vLLM技术上的领导地位将进一步增强红帽AI在混合云环境中支持LLM部署的能力，提供一个现成且高度优化的开源推理架构。

此次交易需经过相关监管审查及其他常规完成条件。

支持证言

Matt Hicks，红帽总裁兼CEO

“AI工作负载需要在客户数据所在的任何地方运行，这要求平台和工具具有灵活性、标准化和开放性，帮助企业根据其独特的运营和数据需求选择最合适的环境、资源和架构。我们很高兴通过Neural Magic的创新成果，进一步完善我们的混合云AI产品组合，推动红帽不仅成为开源领域的领导者，也成为AI领域的引领者。”

Brian Stevens，Neural Magic CEO

“事实一再证明，开源可以通过社区协作的力量推动创新。在Neural Magic，我们汇聚了业内顶尖的AI性能工程专家，专注于构建开放、跨平台的高效LLM服务。加入红帽不仅是文化上的契合，也将帮助各类企业，无论大小，满足其AI转型的需求。”

Dario Gil，IBM高级副总裁兼研究总监

“随着客户在混合环境中扩展AI应用，基于开放基础的虚拟化、云原生LLM将成为行业标准。红帽在开源领域的领导地位，加上像IBM Granite和Neural Magic这样的高效开源模型，为企业提供了更多选择，并赋予他们所需的控制和灵活性，助力AI在各个平台的扩展。”