元数据(Metadata),百度百科对其的解释是,元数据也可以称其为中介数据、中继数据,主要是描述数据属性的信息,用来支持如指示储存位置、历史数据、资源查找、文件记录等功能。

打开网易新闻 查看精彩图片

简而言之,元数据就是描述数据的数据。可能理解起来有点抽象,举几个简单的例子,元数据能帮助理清有哪些数据、这些数据分布在哪里、数据的类型是什么、数据之间的引用关系、如何获取这些数据以及哪些数据经常被使用等等。

总之,元数据是对数据的结构化描述,使得数据更容易理解、查找、管理和使用。

什么是元数据管理

企业的经营运行会产生大量的数据,在创建了众多数据库信息时,需要一个查询功能可以及时高效的让企业用户查询数据库信息,元数据管理就是实现这一目的的管理解决方案。元数据管理可以为企业用户降低时间成本,提高查询效率。

其主要功能有:

描述:描述信息对象的内容、属性等,反应信息对象的全貌并且能区别不同的具体信息对象。

检索:组织信息对象,建立各信息对象之间的关系,为用户提供多层次、多途径的检索体系,更快速、便捷的获取信息资源。

选择:用户可以决定对检出对象的取舍。

定位:提供信息资源本身的位置信息。

元数据管理的重要性

前面介绍了什么是元数据以及什么是元数据管理,相信您已经意识到了元数据管理的重要性。

元数据有重要的应用价值,是数据管理、数据内容、数据应用的基础。在数据管理方面为企业提供治理领域上的数据支持;在数据内容方面为企业提供数据素材;在数据应用方面保障产品数据准确、及时产出。

打开网易新闻 查看精彩图片

搭建元数据管理平台

工欲善其事,必先利其器。元数据管理可借助管理工具使管理工作变的相对快速和简单一些,如元数据的采集、元数据存储、数据血统、数据地图、元数据整合等都可以通过元数据工具来实现。

打开网易新闻 查看精彩图片

图:元数据管理平台架构

元数据系统整体分为接入层、存储层、功能层和应用层。

  • 接入层:适配不同元数据生产方,转换成标准定义,输出全种类实体、关系变更消息。

  • 存储层:基于元模型的实体、关系的存储与查询,支持统计与分析能力。

  • 功能层:提供元模型管理、元数据分析应用、元数据管理、元数据检核等功能。

  • 应用层:基于定板元数据提供单点、复杂查询服务,基于分析引擎提供面向不同角色的元数据分析服务。

作为企业数据治理的基础,元数据管理平台从功能上主要包括:元数据采集服务,元数据访问服务、元数据管理服务和元数据分析服务。

1、元数据采集服务:能够适应异构环境,支持从传统关系型数据库和大数据平台中采集从数据产生系统到数据加工处理系统到数据应用报表系统的全量元数据,包括过程中的数据实体(系统、库、表、字段的描述)以及数据实体加工处理过程中的逻辑。

打开网易新闻 查看精彩图片

亿信华辰睿治数据治理平台的元数据管理模块内置多种采集适配器,支持多种存储格式的元数据自动获取,如:数据库、报表工具、ETL工具、文件系统等,对于无法完成自动获取的元数据,提供了可自定义的元数据采集模版完成元数据的批量导入。

2、元数据访问服务:元数据访问服务是元数据管理软件提供的元数据访问的接口服务,一般支持REST或Webservice等接口协议。通过元数据访问服务支持企业元数据的共享,是企业数据治理的基础。

3、元数据管理服务:实现元数据的模型定义并存储,在功能层包装成各类元数据功能,最终对外提供应用及展现;提供元数据分类和建模、血缘关系和影响分析,方便数据的跟踪和回溯。

打开网易新闻 查看精彩图片

亿信华辰睿治数据治理平台的元数据管理模块提供各类元数据管理,包括:业务元数据、技术元数据和管理元数据,支持元数据的基本信息、属性、依赖关系、组合关系的增删改查操作。最新元数据和定版元数据隔离,在最新元数据中的改动不影响定版元数据的正常使用,同时每次发布都有版本留痕,支持各版本的对比分析。

4、元数据分析服务:元数据的应用一般包括数据地图,数据的血缘、影响分析,全链分析等;

打开网易新闻 查看精彩图片

而数据的真正价值在于数据能驱动决策,优秀的元数据管理,可以使企业用数据指导工作,实现企业的数据化运营。