大数据处理分析平台就是整合当前各种具有不同侧重点的大数据处理分析框架和工具,对数据进行挖掘和分析。一个大数据分析平台所涉及的组件众多,如何将其有机结合起来,完成海量数据的挖掘是一项复杂的工作。

在搭建大数据分析平台前需要明确业务需求场景及用户需求,通过大数据分析平台,想要得到哪些有价值的信息,需要接入的数据有哪些,明确基于场景业务需求的大数据平台要具备的基本功能,进而决定平台搭建过程中使用的大数据处理工具和框架。

打开网易新闻 查看精彩图片

大数据分析平台自下而上一般分为三个部分,分别为数据层、大数据采集与存储、数据分析及展示。

(1)数据层,针对不同系统进行分析,确定系统数据采集范围和目标,收集各个业务系统产生的各类数据,将各种结构化和非结构化数据进行整合,为大数据的分析提供支撑。

(2)大数据采集和存储旨在为各类异构数据研制适配接口,与其他各系统实现对接,并为数据提供适配、转换、存储等基本管理功能,基本步骤包括数据预处理和数据存储。

数据预处理:为了使大数据分析平台能更方便对数据进行处理,需要将数据按照相应关联性进行组合,并将数据转化为文本格式,作为文件存储下来。

数据存储:为了提升数据存储的扩展性和容错性,采用主要的大数据框架对各类数据统一进行文本化存储,数据按相应规则进行存储,形成数据仓库

(3)数据分析和展示是主要业务层,利用数据报表工具,根据需求制定多样的、有针对性的数据报表。针对存储的数据进行数据处理、算法运行、结果转换操作,将结果保存为报表文件,每日形成的报表文件集。报表展现系统将生成的报表文件以可视化方式进行展现。

系统架构应该具备高安全性和易扩展性,能够支持多种开发语言,并提供丰富的接口。同时,还要支持结构化和非结构化数据的存储和应用。通过建立物联网应用,实现对物品、人员、安全等各方面管理的强大支撑,提升管理质量的同时积累大量的管理数据和行为数据。