LakeFormation服务是数智融合的关键基础设施,帮助客户简单高效完成数智融合一体化解决方案搭建,为客户提供多种引擎元数据统一管理、统一权限控制、统一事务的能力,保障云原生数据湖内数据和模型自由流转,湖内数据全触达,实现湖、仓、智融合统一。
LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管 理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
常用功能,加快业务部署
实例类别
LakeFormation提供了共享、独享实例类别,满足不同场景下客户对性能和成本的不同诉求。共享型侧重性价比要求较高的场景。
实例管理
LakeFormation提供实例的创建、总览、删除等基本功能,帮助用户便捷的进行实例管理,加速实现数据湖承载业务的规划和部署。
元数据管理
LakeFormation提供数据湖元数据Catalog、Database、Table的创建、修改、删除、查看等生命周期管理的功能。帮助用户便捷的进行数据湖初始化构建以及持续运营,集中式的统一管理LakeFormation实例下所有的元数据,加速实现数据湖承载的业务规划和部署。
数据权限管理
LakeFormation提供针对Catalog、Database、Table等数据资源的授权、取消、查看等功能。帮助用户对数据湖实现便捷的、统一的数据权限管理。
四大优势,助力数值融合
生态开放
遵循开源事实标准,支撑存量业务平滑演进。
- 提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。
- 提供兼容Ranger的权限接口,一次授权,统一生效。
- 提供迁移工具,支持存量集群相关元数据的平滑演进。
数值融合
打通大数据的数据壁垒,实现数值融合。
- 支持数据库、表、UDF模型、非结构化数据集等统一管理。
- 实现统一的细粒度数据权限管理,支持跨服务/跨集群的数据共享。
大规模高可靠
支撑超大规模大数据业务的高可靠。
- 超大规模元数据管理能力。
- 统一权限管理能力,支持海量细粒度权限管理。
- 支持多AZ的容灾能力。
简单易用
提供元数据的增值管理能力。
- Serverless架构,开箱即用。
- 提供数据湖管理、元数据统计等管理能力。
应用场景
数据湖建设和持续运营
数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。
传统方式的弊端:
- 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对客户有一定的技能要求,缺少提升易用性的可视化界面。
- 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对客户操作带来不便,易用性差。
服务优势:
- 一站式可视化数据湖构建:提供数据湖元数据统一定义和授权的可视化界面,支持客户便捷操作,快速构建。
- 联动授权:支持在元数据授权的同时,自动化完成元数据所映射的文件目录的授权,使客户授权操作更便捷和高效。
- 细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。
多计算引擎共享元数据
多计算引擎共享元数据,是客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的数据拷贝,更大程度释放业务数据价值。
服务优势:
- 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。
- 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。
注:本文素材来自华为云官方
热门跟贴