全球领先的开源解决方案提供商Red Hat（红帽）宣布最新发布Red Hat Enterprise Linux AI（RHEL AI），这是Red Hat的基础模型平台，用于更无缝地开发、测试和运行企业应用程序的生成式人工智能（GenAI）模型。

打开网易新闻 查看精彩图片

RHEL AI 1.3支持Granite大型语言模型（LLM）家族的最新拓展，并结合了数据准备的开源扩展，同时仍然为混合云部署提供了更多选择，包括底层加速计算架构。

根据IDC报告“市场分析视角：开放的GenAI、LLM和不断发展的开源生态系统”，61%的受访者计划在GenAI用例中使用开源基础模型，而部署的基础模型中有56%以上已经是开源的。Red Hat认为这一趋势验证了该公司对企业级人工智能的愿景，该愿景包括：

较小的开源许可模型，可以在混合云的任何地方运行。

微调功能，使组织能够更轻松地将LLM定制为私有数据和特定用例。

由专业知识驱动的推理性能工程优化和更高效的AI模型。

强大的合作伙伴和开源生态系统为更广泛的客户选择提供支持。

RHEL AI是Red Hat人工智能愿景的关键支柱，它基于聊天机器人大规模对齐（LAB）方法，将开源许可的Granite模型系列和InstructLab模型对齐工具结合在一起。然后，这些组件被打包为优化的、可引导的Red Hat Enterprise Linux映像，用于混合云中任何位置的单个服务器部署。

Red Hat人工智能业务部副总裁兼总经理Joe Fernandes表示：“为了利用人工智能的变革力量，我们认为更小、优化的模型是必要的，这些模型需要部署在混合云的任何地方。”“我们对RHEL AI的增强建立在这一信念之上，使用Docling为私有模型训练准备的组织数据变得更加容易，并纳入了Granite开源许可LLM家族的最新进展。”

支持Granite 3.0 LLM

RHEL AI 1.3扩展了Red Hat对Granite LLM的承诺，支持Granite 3.0 8b英语用例。Granite 3.0 8b是一个融合模型，不仅支持英语，还支持十几种其他自然语言、代码生成和函数调用。非英语用例以及代码和函数可作为RHEL AI 1.3中的开发人员预览版提供，预计这些功能将在未来的RHEL AI版本中得到支持。

使用文档简化数据准备

Docling最近由IBM Research开源，是一个上游社区项目，帮助解析常见的文档格式并将其转换为Markdown和JSON等格式，为GenAI应用程序和培训准备这些内容。RHEL AI 1.3现在将这一创新作为受支持的功能，使用户能够将PDF转换为Markdown，以简化数据摄取，从而使用InstructLab进行模型调优。

通过Docling，RHEL AI 1.3现在还包括上下文感知分块，它考虑了用于GenAI训练的文档的结构和语义元素。这有助于生成的人工智能应用程序保持更好的连贯性，并对问题和任务做出符合上下文的响应，否则需要进一步调整和对齐。

未来的RHEL AI版本将继续支持和改进Docling组件，包括其他文档格式以及检索增强生成（RAG）管道的集成，此外还有InstructLab知识调优。

拓宽Gen AI生态系统

可选择性是混合云的一个基本组成部分，随着人工智能作为混合环境的标志性工作负载，这种可选性需要从底层芯片架构开始。RHEL AI已经支持NVIDIA和AMD的领先加速器，1.3版本现在包括Intel Gaudi 3作为技术预览版。

除了芯片架构，RHEL AI还支持主要云提供商，包括AWS、Google cloud和Microsoft Azure控制台，作为“自带订阅”（BYOS）产品。该平台也很快作为Azure Marketplace和AWS Marketplace上经过优化和验证的解决方案选项提供。

RHEL AI可作为Red Hat合作伙伴加速硬件产品的首选基础模型平台，包括戴尔PowerEdge R760xa服务器和联想ThinkSystem SR675 V3服务器。

Red HatOpenShift AI的模型服务改进

随着用户寻求扩展LLM的服务，Red Hat OpenShift AI现在支持通过vLLM运行时跨多个节点的并行服务，提供了实时处理多个请求的能力。Red HatOpenShift AI还允许用户在提供服务时动态更改LLM的参数，例如在多个GPU上分片模型或将模型量化到更小的占用空间。这些改进旨在加快用户的响应时间，提高客户满意度并降低流失率。

支持Red Hat AI

RHEL AI与Red Hat OpenShift AI共同支撑着Red Hat AI，这是Red Hat的AI解决方案组合，可以加快上市时间，降低在混合云上交付AI解决方案的运营成本。RHEL AI支持单个Linux服务器环境，而Red Hat OpenShift AI为分布式Kubernetes平台环境提供支持，并提供集成的机器学习操作（MLOps）功能。这两种解决方案彼此兼容，Red HatOpenShift AI将整合RHEL AI的所有功能，并大规模交付。

可利用性

RHEL AI 1.3现已正式发布。有关其他功能、改进、错误修复以及如何升级到最新版本的更多信息，请点击此处。

Red Hat是世界领先的企业开源软件解决方案提供商，采用社区驱动的方法提供可靠和高性能的Linux、混合云、容器和Kubernetes技术。Red Hat帮助客户整合新的和现有的IT应用程序，开发云原生应用程序，在行业领先的操作系统上实现标准化，并自动化、保护和管理复杂的环境。屡获殊荣的支持、培训和咨询服务使Red Hat成为《财富》500强值得信赖的顾问。作为云提供商、系统集成商、应用程序供应商、客户和开源社区的战略合作伙伴，Red Hat可以帮助组织为数字未来做好准备。