数据质量管理：6个维度|元数据|数据仓库

数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。

大数据时代，数据资产及其价值利用能力逐渐成为构成企业核心竞争力的关键要素；然而，大数据应用必须建立在质量可靠的数据之上才有意义，建立在低质量甚至错误数据之上的应用有可能与其初心南辕北辙、背道而驰。因此，数据质量正是企业应用数据的瓶颈，高质量的数据可以决定数据应用的上限，而低质量的数据则必然拉低数据应用的下限。

数据质量问题产生的原因

大数据的建设和管理是一个专业且复杂的工程，涵盖了业务梳理、标准制定、元数据管理、数据模型管理、数据汇聚、清洗加工、中心存储、资源目录编制、共享交换、数据维护、数据失效等等过程，在任何一个环节中出错，都将导致数据的错误。因此数据质量问题产生的原因主要有以下3类：

01. 数据质量定义
数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。
02. 数据质量维度
1、准确性：数据不正确或描述对象过期
2、合规性：数据是否以非标准格式存储
3、完备性：数据不存在
4、及时性：关键数据是否能够及时传递到目标位置
5、一致性：数据冲突
6、重复性：记录了重复数据

03. 数据质量分析
数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是指不符合要求以及不能直接进行相关分析的数据。脏数据包括以下内容：
1、缺省值
2、异常值
3、不一致的值
4、重复数据以及含有特殊符号（如#、￥、*）的数据
我们已经知道了脏数据有4个方面的内容，接下来我们逐一来看这些数据的产生原因，影响以及解决办法。
第一、缺省值分析
产生原因：
1、有些信息暂时无法获取，或者获取信息的代价太大
2、有些信息是被遗漏的，人为或者信息采集机器故障
3、属性值不存在，比如一个未婚者配偶的姓名、一个儿童的固定收入
影响：
1、会丢失大量的有用信息
2、数据额挖掘模型表现出的不确定性更加显著，模型中蕴含的规律更加难以把握
3、包含空值的数据回事建模过程陷入混乱，导致不可靠输出
解决办法：
通过简单的统计分析，可以得到含有缺失值的属性个数，以及每个属性的未缺失数、缺失数和缺失率。删除含有缺失值的记录、对可能值进行插补和不处理三种情况。
第二、异常值分析
产生原因：
业务系统检查不充分，导致异常数据输入数据库
影响：
不对异常值进行处理会导致整个分析过程的结果出现很大偏差
解决办法：
可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用力啊判断这个变量是否超出了合理的范围。如果数据是符合正态分布，在原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值，如果不符合正态分布，也可以用原理平均值的多少倍标准差来描述。
第三、不一致值分析
产生原因：
不一致的数据产生主要发生在数据集成过程中，这可能是由于被挖掘的数据是来自不同的数据源、对于重复性存放的数据未能进行一致性更新造成。例如，两张表中都存储了用户的电话号码，但在用户的号码发生改变时只更新了一张表中的数据，那么两张表中就有了不一致的数据。
影响：
直接对不一致的数据进行数据挖掘，可能会产生与实际相悖的数据挖掘结果。
解决办法：
注意数据抽取的规则，对于业务系统数据变动的控制应该保证数据仓库中数据抽取最新数据
第四、重复数据及特殊数据
产生原因：
业务系统中未进行检查，用户在录入数据时多次保存。或者因为年度数据清理导致。特殊字符主要在输入时携带进入数据库系统。
影响：
统计结果不准确，造成数据仓库中无法统计数据
解决办法：
在ETL过程中过滤这一部分数据，特殊数据进行数据转换。

数据质量管理

大多数企业都没有一个很好的数据质量管理的机制，因为他们不理解其数据的价值，并且他们不认为数据是一个组织的资产，而把数据看作创建它的部门领域内的东西。缺乏数据质量管理将导致脏数据、冗余数据、不一致数据、无法整合、性能底下、可用性差、责任缺失、使用系统用户日益不满意IT的性能。

如何做好数据质量管理

1.从数据的整个生命周期来管理

即在数据生命周期的任何一个阶段，都有严格的数据规划和约束来防止脏数据产生，总的来说将其分为事前预防、事中监控、事后改善三个阶段。

（1）事前预防

①制定质量管理机制：基于数据管理的复杂性和诱因的多重性特点，解决数据质量问题仅仅依靠一个技术工具是不够的，我们需要建立长效工作机制。即根据组织特点，制定符合自身环境的工作制度，制定每个环节的工作流程，规定各个参与方的责任，确定各项数据的权威部门，制定数据质量指标，制定数据质量修复流程等等；

②制定数据质量标准：数据标准成功定义的与否，直接决定了大数据建设的成果和数据质量的高低，需要在融合国家标准、行业标准和地方标准的基础上，融合组织自身的业务特色需求；

③制定质量监测模型：数据质量模型代表的是业务需求，它是从业务需求的角度而描述出来的质量需求；

④制定质量监测规则：数据监测规则代表的具体的质量检测手段，它是从技术角度来描述数据质量要求是如何被满足的，包括规范性、完整性、准确性、致性、时效性、可访问性，等等。

（2）事中监控

①监控原始数据质量：数据采集工作从数据源头获取最原始的数据，在数据采集过程中将数据分为“好数据”“坏数据”，“好数据”入库，“坏数据”则反馈给源头修复，因为数据来源部门最懂这些数据，也最能在源头上把数据问题彻底修复掉。

②监控数据中心质量：经过各种采集、清洗、加工过程，数据被存入数据仓库中，这些数据也将被业务部门使用，所以，对于这些成果数据的质量监控和修复则犹为重要。对于这类数据问题，我们可能使用简单的空值检查、规范性检查、值域检查、逻辑检查、一致性检查、等等规则就可以检查出来，也可能需要诸如多源比较、数据佐证、数据探索、波动检查、离群检查等等方法才可以检查出来。

③反馈数据质量问题：数据质量监控过程中，会发现两类问题，一类是源头的数据质量问题，一类是数据中心的数据质量问题，数据质量团队需要将这些问题及时反馈给源头部门和数据仓库建设团队。

④考核数据质量考核：数据质量的考核是为了能够引起各个参与部门和参与团队对数据质量的重视，需要及时统计分析各种数据质量问题，并制定出相应的应对措施。

（3）事后改善

①修复数据质量问题：发现质量问题不是最终的目标，我们仍要建立相关的流程和工具，通过手工、工单、自动化等等手段将质量问题修复掉，从而为业务创新提供可靠的数据支撑。

②收集数据质量需求：通过数据中心的建设，质量问题的修复，必然能够促进数据的应用，我们仍要建立通畅的数据质量反馈通道，让各个部门参与到数据质量的再次完善中来，从而形成建设、应用和反馈的良性循环。

③完善质量管理制度：制度和流程的建设并不是一蹴而就的，我们要在数据建设和质量完善的过程中，结合自身组织结构和业务特色，不断完善工作制度。

④完善数据质量标准：各行各业不断涌现新的业务形态，原有的业务也在不断的变化，我们要紧跟业务的变化，不断完善符合业务需求的数据标准。

⑤完善质量监测模型：如前所述，监测模型代表的业务需求，业务形态的变化、数据标准的变化和质量新需求的出现，同样要求监测模型能够做出相应的变化。

⑥完善质量监测规则：同样，如今的信息化技术发展日新月异，我们要不断引入各种新技术来更加智能地发现和修复数据质量问题。

2.从数据质量问题解决依赖的知识来管理

（1）数据梳理

数据梳理是明确企业数据现状，知道整体数据质量情况，将具有共同的特征数据提取出来，按照主题域的方式进行划分，方便后续的数据管理。先明确企业数据的种类，根据数据的不同分类，选择不同的提升数据质量的方法。

梳理企业目前的数据情况，知道企业现阶段有什么数据，数据来自什么业务系统，数据用在哪里，数据如何存储，数据安全和数据隐私是什么情况；业务可以采集到什么数据；还缺什么数据以及目前企业数据建设的情况，做好数据评估与分析报告，为数据质量提升提供一个全方位的数据现状参考。

从业务角度出发，梳理出目前企业数据之间的流向关系、数据的分类情况和数据分类之间的关系，明确什么数据是基础数据，什么数据是由基础数据衍生出来的只有先梳理清楚目前企业数据情况，才能认清企业数据的情况，从中找到提升数据质量的关键突破点。

正所谓，工欲善其事，必先利其器。亿信华辰睿治数据治理平台的数据质量管理模块以全面质量管理PDCA循环管理方法为指导，充分结合国内数据质量管理工作的特点，运用元数据管理、数据挖掘、数据分析、工作流、评分卡、可视化等技术最终帮助企业和政府建立数据质量管理体系，全面提升数据的完整性、规范性、及时性、一致性、逻辑性等，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。

（2）数据规范

主要从数据模型和数据标准两个方面定义好数据规范：

①数据模型：是数据特征的抽象，是获取和明确企业数据需求的方法，也是数据需求分析与建模工作的基础，通过对展现客观事物的信息进行抽象、综合、分类，组织为具有某种结构的数据，对这些数据结构、其相互之间逻辑关系、数据操作方式及约束的描述。在实际的建模过程中，数据模型所描述的内容包括数据结构、数据操作、数据约束三个部分。

②数据标准：是对数据模型的另一种延伸，是数据资产管理的核心基础，也是对企业数据资产化进行准确重定义的过程。数据标准可以促进企业数据模型落地，对企业业务系统中关键数据进行标准化起到了关键性作用。但是，真正数据标准并不是规范文档、流程文档、制度文档等，而是通过一套由管理规范、管控流程与技术工具共同组成的体系逐步实现数据信息化标准的过程。