一个心理学背景、几乎零技术基础的人,第一天学 Apache Gravitino,该从哪儿下手?我决定不急着装环境、不急着在终端报错里打转,而是先把整体图景看明白。

打开网易新闻 查看精彩图片

心理学里常讲“心智图式”——大脑用来组织零散信息、让我们不至于被淹没的认知地图。翻文档的时候我突然对上号了:元数据系统,本质上就是一家公司数据的共享认知地图。

现代数据和 AI 项目里,资产散落在完全不同的工具中:结构化表放在 MySQL、PostgreSQL 这类数据库里;大规模分析表躺在数据湖里,比如 Hive、Iceberg、Paimon;图片、原始训练数据这类非结构化文件存在 HDFS 或 S3 上;实时数据流则跑在 Kafka 这类系统里。

工具彼此割裂,元数据也跟着碎掉。所谓元数据,就是那些“标签”和描述,告诉你有哪些数据、数据在哪、谁有权动它。碎片化的后果很直接:找数据难,安全使用数据更难,尤其当 AI 项目需要同时从多个来源取数时。

Gravitino 的思路是做一个统一的元数据层,也就是联邦元数据湖。它连接这些不同的数据源,把它们的元数据放在一个屋檐下管理,而不需要复制或搬动真实数据。

为了把一切组织起来,Gravitino 用了一套很干净的四层结构:

  • Metalake:顶层容器,可以理解为一个组织或一套环境的整个工作区。
  • Catalog:把不同类型的数据源归组到一起。
  • Schema:在 Catalog 内部组织资产,类似文件夹。
  • 资产:团队真正打交道的东西——关系表、非结构化文件集、Kafka 主题,以及 AI 模型。

让我眼前一亮的是,它没有停在传统数据库表上。把文件集、消息主题和 AI 模型放进同一套层级里,很贴合今天人们实际搭建数据加 AI 项目的方式。

到目前为止我的理解是:Gravitino 不想当一个吞下所有数据的巨型存储桶。它更像一个统一的目录,让你跨系统查看、组织和管理一切,而不用搬动真实文件。

我还在这段旅程的最开始。下一步,我打算在本地把它跑起来,看看这些概念落到实践里到底长什么样。对一个非计算机科班、刚接触开源数据基础设施的初学者,有什么建议吗?