导读 随着大语言模型和多模态 AI 技术的快速发展,企业数据平台所面对的需求正在发生结构性变化。传统以结构化数据为中心的分析架构,已难以满足智能驾驶、知识问答、Agent 决策等新兴场景中"标量、向量、全文"融合检索的需求。在此背景下,阿里云 Hologres 团队提出了从"实时数仓"向"AI 时代一站式分析检索平台"的产品定位演进,并在最新发布的 Hologres 4.0 版本中,系统性地落地了多模态融合分析、AI 原生函数、非结构化数据治理和弹性资源管理等核心能力。
本文基于阿里云智能集团/计算平台事业部 Hologres 负责人姜伟华的技术分享,梳理该平台的架构设计思路、关键技术特性及典型业务落地场景。
主要内容包括以下几个部分:
1. 多引擎拼装架构的困境
2. Hologres 4.0 的架构演进与核心定位
3. 多模分析检索能力的技术实现
4. AI 原生能力的平台化集成
5. 非结构化数据的表化治理与湖仓能力增强
6. 面向 AI 负载的资源治理体系
7. 典型业务落地场景
8. 结语
分享嘉宾|姜伟华 阿里云智能集团 计算平台事业部Hologres负责人
内容校对|韩珊珊
出品社区|DataFun
01
多引擎拼装架构的困境
在当前主流的数据架构中,企业通常需要同时维护多种引擎来覆盖不同的数据处理需求:OLAP 分析依赖 ClickHouse或 Doris,KV 点查依赖 Redis 或 HBase,全文检索依赖 Elasticsearch,向量检索则需要接入 Milvus 或 Faiss。这种多引擎并行的架构模式带来了三方面的显著挑战:其一,开发效率受限,N 个引擎意味着 N 条链路的适配、N 份元数据的维护以及复杂的数据对账工作;其二,存储与计算成本高企,同一份数据在多个系统间冗余存储和同步;其三,运维管理困难,各引擎资源独立、无法共享,弹性扩缩能力受限。
以智能驾驶场景为例,该问题尤为突出。一辆智能车辆采集的数据同时涵盖结构化信号(车速、电量、固件版本)、半结构化日志(车机信号 JSON)和非结构化内容(摄像头图片、轨迹视频)。业务侧的需求不仅包含主键点查和多维统计分析,还涉及向量相似度检索与标量条件的融合过滤。在多引擎架构下,标量过滤与向量召回分属不同系统,当两侧结果匹配度较低时,为保证召回率不得不在向量端大幅放大候选集,导致查询性能显著下降。这一矛盾揭示了一个核心命题:AI 时代的数据平台,需要具备在单一引擎内完成多模态融合检索的能力。
02 Hologres 4.0 的架构演进与核心定位
针对上述挑战,Hologres 4.0 采用了"All-in-One"的架构设计思路,在统一内核中原生集成 OLAP 分析、高 QPS 点查、向量检索、全文检索和半结构化数据处理等多种能力,实现"一份数据、一种计算、多模分析"的统一架构目标。
这一架构变革的核心价值在于:将原本分散在多个系统中的数据处理能力收拢至统一平台,消除了数据冗余存储与跨系统同步的开销,同时降低了开发和运维的复杂度。对于 AI 应用开发而言,开发者不再需要分别对接向量数据库、文档解析服务和全文搜索引擎,而是可以在统一的 SQL 接口中完成完整的数据加工与检索链路。
03 多模分析检索能力的技术实现
在 OLAP 与点查层面,Hologres 保持了高水准的基础性能。在 TPC-H 30TB 基准测试中取得性能世界第一的成绩,在 ClickBench 基准测试中,Hologres 内表查询性能表现优异,处于国内领先水平;非主键点查通过全局二级索引实现了 65 倍的性能提升。
在向量检索层面,Hologres 实现了 99% 的高召回率,并支持"写后即查"——数据写入后无需等待索引构建即可立即检索。通过内存与磁盘的混合索引技术(RapidQ 1 比特量化),内存占用降低 80%,性能损耗控制在 5% 以内。
在全文检索层面,Hologres 集成了基于 Tantivy 的高性能全文检索引擎,支持 BM25 算法及 IK、Jieba 等多种中文分词器,查询性能较同类产品提升 151%。该引擎支持"标量+全文+向量"的三路混合检索,可在单次查询中完成条件过滤、文本召回与语义排序的协同。
04 AI 原生能力的平台化集成
Hologres 4.0 将大语言模型能力下沉至数据库层,提供了一套完整的 AI Function 体系。通过标准 SQL 接口,开发者可直接调用百炼平台上的通义千问、DeepSeek等模型,执行 ai_embed(向量化)、ai_parse_document(文档解析)、ai_chunk(文本切片)、ai_summarize(摘要生成)等操作。这一设计使得 RAG(检索增强生成)等复杂 AI 链路的构建,可以在数据库内通过 SQL 完成闭环,无需依赖外部编排系统。
AI Function 与表结构、权限体系及增量调度机制自然衔接,使 AI 加工能力成为数据链路的有机组成部分,而非外挂式的附加模块。
05 非结构化数据的表化治理与湖仓能力增强
Hologres 4.0 引入了 Object Table 机制,将存储在 OSS 上的图片、视频、PDF 等非结构化数据映射为数据库表。用户指定 OSS 路径后,系统自动采集文件元数据,并支持通过 SQL 与 AI Function 进行批量加工——包括特征抽取、描述生成和向量化处理等。结合 Dynamic Tables 的增量计算能力,系统仅对新增文件执行 AI 推理,有效控制了大模型调用带来的 Token 成本,这在生产环境中具有重要的工程价值。
在湖仓能力方面,Hologres 通过 External Database 功能,支持对 Paimon、Iceberg 等开放数据湖格式以及 MaxCompute 等外部数据源的统一元数据管理和高性能直读。数据湖镜像功能可将湖端热数据自动同步至内部 SSD 存储,使湖表的访问性能达到与内表一致的水平。
06 面向 AI 负载的资源治理体系
多模态与 AI 任务在资源消耗模式上具有高度异构性——写入、在线服务、即席分析、批量 AI 推理对计算资源的需求差异显著。Hologres 采用存算分离架构,通过弹性计算组实现不同业务负载的物理隔离,确保各类 workload 互不干扰。
在此基础上,Hologres 进一步引入了单 Query 级别的 Serverless Computing 模式,支持按需分配计算资源、按量付费、用完即释放,可实现"零预留成本"的弹性分析能力。这一特性对于脉冲式的大规模 ETL 作业和探索性 AI 分析尤为适用。
在查询优化方面,系统引入了 HBO(基于历史的优化)和自适应执行(Adaptive Execution)机制,可根据历史执行记录动态调整查询计划和并行度,提升复杂查询在生产环境下的执行稳定性。
07 典型业务落地场景
智能驾驶领域,某知名车企利用 Hologres 统一内核替换了原有的多系统组合架构(开源 StarRocks + 自研向量库 + RocksDB),实现了车辆信号、特征向量与轨迹图片的一站式存储与混合检索。架构升级后,数据实现秒级实时可见,计算资源从 15000 核降至 5000 核。
数字广告领域,某游戏客户基于 Hologres 的 AI Function 能力,结合用户标签自动生成个性化广告分镜脚本与视频素材,将素材制作效率提升 80%,产出量提高 5 倍,广告投放 ROI 提升 20%。
零售运营领域,某大型连锁便利店将数万家门店的货架图片存入 OSS,通过 Object Table 与 AI 函数进行向量化推理,自动检测货物摆放合规性及缺货情况,差异校验准确率达到 90% 以上。该场景标志着数据平台的能力边界正在从"管理数据"延伸到"理解内容"。
08 结语
从产品演进脉络来看,Hologres 经历了从实时数仓到多模态分析检索平台的系统性升级。这一转变的底层逻辑在于:AI 时代的数据处理已不再局限于结构化数据的统计分析,而是需要将结构化、半结构化和非结构化数据纳入统一的存储、计算、检索和 AI 加工框架。Hologres 4.0 通过 All-in-One 架构、AI Function 体系、Object Table 机制和弹性资源治理,构建了一个面向多模态场景的完整技术栈。
姜伟华在分享中提出的一个判断值得关注:未来数据平台的服务对象将不仅是人类分析师,更是自主决策的 AI Agent。平台能否支撑 7×24 小时的自动化决策流——查询、分析、推理、行动——将成为衡量其能力边界的新标准。Hologres 正沿着"Agent-Ready"的方向持续演进,这一方向对整个数据基础设施行业而言,同样具有参考意义。
热门跟贴