红帽完成收购Neural Magic,加速混合云中生成式AI的优化创新

作者:

CBISMB

责任编辑:

贾西贝

来源:

ISMB

时间:

2025-01-16 15:17

关键字:

红帽 AI模型 生成式AI

中国北京  – 2025年1月14日 – 全球领先的开源解决方案提供商红帽公司近日宣布已完成对Neural Magic的收购。Neural Magic是一家在加速生成式AI(gen AI)推理工作负载的软件与算法领域的先锋企业。

通过此次收购,红帽引入了推理性能优化和模型优化领域的专业能力,进一步推进其愿景,即在混合云的任意位置,根据客户独特需求提供高性能的AI工作负载支持。支撑当前生成式AI应用的大型语言模型(LLM)虽然具有创新性,但往往成本高昂且资源消耗巨大,大多数组织难以有效利用。为应对这些挑战,红帽认为,未来AI战略的成功关键在于开发更小、更优化并采用开源许可的模型,通过在计算架构和部署环境中的开放创新来实现。

Neural Magic致力于将优化且高效的AI模型变为现实,这进一步增强了红帽实现AI愿景的能力。Neural Magic也是vLLM的主要贡献者之一,vLLM是由加州大学伯克利分校开发的一个开源项目,专注于开放模型服务,这将为组织在构建和部署AI工作负载方面提供更多选择和更高的可及性。

面向混合云的生成式AI未来

借助Neural Magic的技术与性能工程专业知识,红帽致力于破解大规模企业AI面临的挑战,通过开源创新进一步推动AI变革的普及。具体路径包括:

·         开源许可模型:提供从10亿到数千亿参数规模的模型,可灵活运行于混合云的任意环境中——包括企业数据中心、多云部署以及边缘场景。

·         模型微调能力:帮助企业更高效地根据私有数据和特定用例定制大型语言模型(LLM),同时增强安全性。

·         推理性能优化专业知识:显著提升运营效率和基础设施利用率。

·         合作伙伴与开源生态系统支持:从LLM和相关工具,到认证服务器硬件及底层芯片架构,为客户提供更丰富的选择,满足多样化需求。

“选择”这一理念对于今天的生成式AI至关重要,就如同几年前的云原生和容器化应用一样。成功的生成式AI战略依赖于合适的环境(如云、服务器、边缘等)、加速计算能力以及推理服务器。红帽始终致力于在混合云环境中为客户提供广泛的选择,尤其是在AI领域。收购Neural Magic进一步巩固了我们对这一承诺的支持。

红帽AI:构建AI的开源基础

Neural Magic的技术和专业能力将融入红帽AI,打造一个专为生成式AI平台设计的产品组合,秉承混合云架构,红帽AI包括:

·         红帽企业Linux AI(RHEL AI):基础模型平台,在Linux服务器上无缝开发、测试和运行IBM Granite开源许可LLM家族,支持企业应用。

·         红帽OpenShift AI:AI平台,提供工具快速开发、训练、部署和监控机器学习模型,涵盖本地、公共云及边缘分布式Kubernetes环境。

·         InstructLab:由红帽与IBM联合创建的开源AI社区项目,通过协作改进开源许可的Granite LLM,利用InstructLab的微调技术,让任何人都能参与塑造生成式AI的未来。

vLLM、LLM Compressor、预优化模型等将被整合到红帽AI,让Neural Magic成为红帽AI平台的关键组成部分。

地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 商务内容合作QQ:2291221 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除
京ICP备:2022009079号-2
京公网安备:11010502051901号
ICP证:京B2-20230255