红帽AI推理服务器正式发布，助力混合云中任意模型和任意加速器上的生成式AI

中国北京  – 2025年5月21日 – 全球领先的开源解决方案提供商红帽公司近日宣布推出红帽AI推理服务器（Red Hat AI Inference Server），这是在混合云中普及生成式AI（gen AI）的重要一步。作为红帽AI中的新产品，该企业级推理服务器源自强大的vLLM社区项目，并通过红帽对Neural Magic技术的集成进一步增强，可以提供更高的速度、加速器效率和成本效益，助力实现红帽“在任意云环境中的任意AI加速器上运行任意生成式AI模型”的愿景。无论是独立部署，还是作为红帽企业Linux AI（RHEL AI）和红帽OpenShift AI的集成组件，这一革新性平台赋能企业，在生产环境中高效部署和扩展生成式AI。

推理是AI的关键执行引擎，预训练模型在此将数据转化为实际影响。它是用户交互的核心环节，要求快速且准确的响应。随着生成式AI模型复杂性激增及生产部署规模扩大，推理可能成为关键瓶颈，消耗大量硬件资源，削弱响应能力，并抬高运营成本。强大的推理服务器不再是一种“奢侈品”，而是大规模释放AI的真正潜力，更加轻松地应对底层复杂性的必要条件。

红帽推出红帽AI推理服务器解决这些挑战。红帽AI推理服务器是一款专为高性能设计的开放推理解决方案，配备先进的模型压缩和优化工具。该创新提供响应速度显著提升的用户体验，以及在AI加速器、模型和IT环境选择上无可比拟的灵活性，赋能企业充分利用生成式AI的变革性力量。

vLLM：拓展推理创新

红帽AI推理服务器基于加州大学伯克利分校于2023年中启动的行业领先vLLM项目。该社区项目提供高吞吐量生成式AI推理，支持大规模输入上下文，可实现多GPU模型加速，并支持连续批处理等功能。

vLLM广泛支持公开可用的模型，并具备与先进前沿模型（包括DeepSeek、谷歌的Gemma、Llama、Llama Nemotron、Mistral、Phi等）以及开放的企业级推理模型（如Llama Nemotron）的零日集成。这使它成为未来AI推理创新的事实标准。先进的前沿模型提供商正越来越多地采用vLLM，进一步加强了其在塑造生成式AI未来中的关键作用。

推出红帽AI推理服务器

红帽AI推理服务器将vLLM的前沿创新整合进自身的企业级能力中。红帽AI推理服务器可以作为独立的容器化产品交付，也可以作为RHEL AI和红帽OpenShift AI的一部分提供。

无论在何种部署环境中，红帽AI推理服务器均向用户提供经过加固且具备支持的vLLM发行版，并包含以下功能：

●    智能LLM压缩工具，可大幅缩减基础AI模型与微调AI模型大小，在保持甚至可能进一步提升模型准确性的同时，最小化计算资源消耗。

●    优化的模型存储库，托管在红帽AI组织的Hugging Face中，提供对经过验证和优化的前沿AI模型集合的即时访问，这些模型已准备好用于推理部署，可助力效率提升2-4倍，同时不影响模型准确性。

●    红帽的企业支持，以及在将社区项目带入生产环境方面数十年的专业经验。

●    第三方支持，实现更大的部署灵活性，支持红帽AI推理服务器在非红帽Linux和Kubernetes平台上部署，具体遵循红帽第三方支持政策。

红帽的愿景：任意模型，任意加速器，任意云，自由部署

AI的未来应当充满无限机遇，而不应受到基础设施孤岛的限制。红帽认为，未来，企业可以在任意云环境中的任意加速器上部署任意模型，提供卓越且更加一致的用户体验，而无需高昂的成本。为了释放生成式AI投资的真正潜力，企业需要一个通用推理平台——一个用以推动当下以及未来数年中，更加无缝、更高性能AI创新的标准。

正如红帽通过将Linux转变为现代IT的基石，开创了开源企业先河，如今红帽正构建AI推理的未来。vLLM拥有成为标准化生成式AI推理核心的潜力，红帽致力于构建一个繁荣的生态系统，不仅围绕vLLM社区，还包括用于大规模分布式推理的llm-d。红帽的愿景非常清晰：无论采用何种AI模型、底层加速器或部署环境，vLLM都能成为新型跨混合云环境推理的开放标准权威。