作者:毛烁

“对于已经建有大型数据中心的企业,增加Agent应用时,未必需要迁移核心数据,也不必另建一套数据平台。”Cloudera大中华区技术总监刘隶放在接受至顶网采访时强调,模型和计算资源应尽量部署在数据所在的环境。而企业原有的交易、生产和分析系统可以持续运行,Agent访问这些系统中的数据时,也须遵守原有的管理规则。

Agent与传统批处理任务对计算资源的需求不同。比如,Agent完成经营分析,需要连续查询订单、库存和销售数据;任务结束后,相关查询也随之停止。原有批处理程序则按照固定计划运行。两类任务使用计算资源的时间和规模不同,如果始终共用同一批服务器,企业就难以单独扩展Agent所需的计算能力。

那么,新增Agent任务如果需要灵活调配计算资源,历史数据的持续增长则主要增加存储需求。传统Hadoop集群通常将计算和存储部署在同一批服务器上,企业为扩大存储容量而增加服务器节点时,也会同时增加CPU和内存,但处理新增数据所需的计算量未必同步增长。

打开网易新闻 查看精彩图片

Cloudera大中华区技术总监 刘隶放

Agent使用现有数据,计算资源单独扩展

沿用整机扩容方式,企业每增加一批存储节点,也会同时采购CPU和内存。如果新增节点主要用于保存历史数据,而计算任务没有相应增加,新增CPU和内存的利用率就会下降。

与此同时,原有集群仍要执行日常批处理任务,不能因为增加Agent应用而停止运行。企业因此需要保留现有数据平台,单独为新增任务配置计算资源。

具体做法是,让新增计算服务访问现有数据源,与原有集群分别承担不同任务。已有集群继续执行定期数据加工,新计算服务处理Agent发起的分析请求。查询量增加时扩展计算实例,任务结束后缩减实例规模。

这样,企业就可以根据计算需求增加资源,无需为每项新应用再建设一套存储系统。

Cloudera于2026年8月发布的Cloudera Anywhere Cloud,为这种部署方式提供了平台支持。作为模块化混合数据与AI平台,Anywhere Cloud既能连接现有数据湖,也能在企业自有环境和公有云中运行新增服务。对于已经使用Cloudera数据平台的企业,原有批处理程序可以继续执行,新增Agent应用则由独立的计算服务处理,并按照已有数据平台的权限规则访问数据。

计算服务与存储分开部署之后,还需要解决不同引擎怎样读取数据的问题。

Cloudera Object Store基于Apache Ozone,支持兼容S3的对象存储接口,也可供现有Hadoop分析作业使用。企业可以继续保存历史数据,在需要分析时由相应的计算服务读取。对于需要频繁读取大量数据的任务,部署时仍要考虑网络传输开销,不能只依据存储容量选择架构。

除了改变新增业务的资源配置方式,企业还可以通过改进已有平台提高处理效率。刘隶放在介绍,Cloudera曾为一家车联网客户升级数据平台。随着车辆接入数据增多,客户需要执行的研发分析任务也不断增加。通过改进数据压缩、存储方案和计算引擎,升级后的处理能力达到原来的约两倍,存储成本下降约六至七成。

这项升级针对的是客户已有的数据平台。数据压缩减少了存储开支,计算引擎优化则提高了同一平台的数据处理能力。Agent应用增加后,企业还要处理新的数据加工任务。因为,模型只能分析已经获取和整理的数据,后台的数据准备速度也会影响Agent完成任务所需的时间。

例如,Agent要分析不同地区的销售情况,需要先取得订单、库存和销售数据。如果数据分散在不同表中,后台还要清理重复记录、关联相关表格,再按地区汇总。

数据量较大时,这些工作可以由Apache Spark执行。Apache Spark作为一种分布式数据处理引擎,能够把计算任务分配到多台服务器上完成。数据准备耗时过长时,单独增加模型推理算力无法缩短整个分析过程。企业因而需要检查数据加工任务的执行效率,再决定哪些作业继续使用CPU,哪些适合使用GPU。

ApacheSpark作业的计算特点并不相同。大规模、可并行执行的数据转换和聚合适合发挥GPU的计算能力;频繁在CPU与GPU之间交换数据的任务,则需要把传输耗时计入性能评估。

针对前一类需求,Cloudera与NVIDIA已宣布合作,在Cloudera Data Engineering中引入基于NVIDIA cuDF的Apache Spark GPU加速方案,支持在不改写现有PySpark或SQL代码的情况下加速适用工作负载。

刘隶放也提醒,不能把某一类Spark任务的加速结果推广到所有数据处理任务。

对于GPU优势不明显的任务,企业还可以继续利用已有CPU资源。

关于这方面,刘隶放提到了Apache Comet等原生执行加速技术:Cloudera通过改进Spark的执行方式,适用场景下可在现有CPU上获得约两倍的处理性能。CPU和GPU各有适合的作业类型,企业可根据数据处理环节的实际耗时选择计算资源,避免将所有任务统一配置为GPU作业。

计算资源分开部署,Agent遵守数据规则

计算资源能够独立扩展,只解决了Agent从哪里获得算力的问题。Agent要完成跨部门经营分析,还必须知道应该读取哪些数据。

大型制造集团的销售、生产和财务系统通常分开建设,各系统的数据结构与指标定义也有差异。Cloudera在中国的客户主要来自金融和制造行业,部分头部制造企业已在国内及海外同时部署Cloudera平台。随着集团业务扩大,跨系统数据查询与统一管理成为新增Agent应用必须处理的工作。

对于这些跨地区经营的企业,计算服务运行在不同环境,仍要按照相同的经营指标进行分析。国内自建数据中心和海外AWS、Google Cloud环境可以分别部署相关服务,企业借助跨平台一致的查询方式减少重复开发。

不过,代码能够在多种环境中执行,不代表业务数据可以随意跨境传输。“各地数据的访问和传输仍须遵守适用的管理要求。”刘隶放如是说。

此外,跨环境复用查询程序之后,还要统一指标定义。比如,销售系统按订单创建时间统计销售额,财务系统按实际付款时间统计,两个Agent即使都能正确生成SQL,也会得到不同结果。而要让集团管理层使用这些数字进行经营分析,企业就必须先确定数据来源、统计范围和时间口径,再把规则提供给Agent。

语义层负责整理业务概念、指标定义和数据之间的关系,让不同Agent按照一致的规则生成查询。但理解数据含义,并不等于拥有访问权限。企业还需要通过网关和原有数据库权限系统管理具体请求:负责统计地区销量的Agent,可以取得完成统计所需的数据,却不应因此获得读取完整客户资料的权限。

访问权限明确之后,下一步就是要管理查询对数据库的影响。

具体而言,Agent为了完成一项分析,会按任务需要连续调用工具、查询不同系统;多项任务同时执行时,新增请求会占用数据库的计算资源。如果这些请求与原有批处理作业争用CPU,已有业务的执行时间就会受到影响。因此,企业还需要设置并发限制,记录工具调用过程,并区分模型推理和数据库查询消耗的资源。

这些要求需要在Agent开发和运行环节落实。Cloudera AI Studios中的Agent Studio就可以提供工作流设计、测试和执行过程观测等功能,帮助开发人员检查Agent调用了哪些工具、每一步得到了什么结果。

而Cloudera AI Inference则提供了模型推理服务。工作流编排、模型推理和底层数据权限分别承担不同职责,企业需要把它们接入现有的数据治理体系,才能让Agent在生产系统中执行连续任务。

“企业在新增 Agent 应用的过程中,现有数据管理规范可继续复用,存量业务不受影响,新增算力可根据任务需求灵活扩展。Agent 经由受控接口获取数据,算力扩容与数据权限管控必须一体规划。”刘隶放强调。