随着物联网、智能设备和人工智能等先进技术在企业生产运营过程中的广泛应用，随之而来的是大量的数据产生。如何采集、存储海量大数据，深入挖掘数据的潜在价值，为企业的生产运营提供可靠保障，进而提升企业经济效益，是越来越多的企业迫切解决的问题。数据如今对企业来说可谓是头等大事。使用欺诈检测来降低财务风险或是建设推荐系统来改善用户体验，都需要数据来为企业解决这些日益复杂的问题提供支撑。近年来，很多企业建设内部统一的大数据平台，利用集群架构去整合资源与服务，从而发挥企业诸如资源共享、数据共享和服务共享等优势。那么，企业级大数据平台应具备什么样的基本能力以及如何进行相关技术选型呢?

行业大数据系统建设难点

数字化运营转型难

企业从生产端到消费端的整个生命周期开始走向互联网化进程，对数字化运营需求巨大，但在数字化转型中遇到的多业态管理混乱、数据同步不及时、系统分散、报告数据不准确、信息零碎、效率低下等行业痛点，使得搭建数字化、云化、一体化的运营平台转型缓慢。

建设门槛高

企业搭建数字化运营体系的突出难点有：数据的质量、维持成本投入、难以寻找大数据人才、处理性能和配置问题、大数据技术选型、缺乏足够的技术资源、大数据运维的稳定性、大数据项目延期比较严重、太多大数据技术和供应商需要管理等。

交付实施效率低

应用从开发到交付的环节中，经历业务系统/集群开发环境多样、应用开发工具的匮乏、开发流程管理难度大、基础架构配置扩容冗繁复杂、需求变更频繁调试压力上线阻碍、应用监控运维难缠等问题，使得交付实施成本较高、运维成本高。

投资回报率低

企业需要先投入大量的人力物力去组建大数据专业技术团队，不能有效快速地帮助企业洞察、分析各方面数据，减轻运营负担，提高投资回报率。

项目选型的4个核心步骤

（1）数据盘点

企业各个部门都有自己的业务系统，数据量到底有多大，有多少个业务系统，我们都需要进行相应的梳理。体量大者需关注产品性能；结构复杂者需考虑方案定制；数据质量差者需酌量考察团队的数据咨询能力。

（2）需求调研

关注业务场景的需求，对业务需求避而不谈的项目都是不行的。平台是为了业务去服务的，所以你得从各个部门去调研好他们的一个项目的需求情况，然后把它明确到这一期的项目当中，这样的话有平台，有实施的一个项目的计划和这个范围，就可以保证这个项目的实施的一个成功。

（3）规划方向与定调

核心问题在于“选择标准产品还是方案定制”。

①采用标准化的产品，在此基础上做少量的个性化定制。该路径适用于数据结构简单，数据基础优良，业务需求清晰的行业，如电商类鞋服企业、互联网类食品品牌、小家电生产商等；

②完全从零起步，一砖一瓦搭建，做高度定制化的体系。该路径适用于数据结构复杂，数据问题繁多，业务需求混乱的情况，如数据质量不佳的汽车主机厂；数据结构复杂的银行机构；业务需求繁多的地产企业等。

（4）项目选型

应该充分考虑服务商的产品性能、产品功能、过往经验（服务案例）、咨询能力、产品价格等。

如何选择最适合的大数据分析软件

分析师的专业知识和技能

数据分析工具的目标受众根据不同级别的用户有不同的工具集，针对初级数据分析师来说，常用的数据分析工具有Excel、SPSS、SAS、PowerBI等，针对中级数据分析师来说，常用的数据分析工具有Matlab、Weka、Tableau、Gephi等，针对专业数据分析师，常用的数据分析工具有基于分析式计算框架Hadoop、Spark、Storm等通过一定的代码实现或者通过自然语言处理（NLP）实现的数据分析。

分析多样性

根据不同的用户案例和应用，企业用户可能需要支持不同类型的分析功能，使用特定类型的建模(例如回归、聚类、分割、行为建模和决策树)。这些功能已经能够广泛支持高水平、不同形式的分析建模，但是还是有一些厂商投入数十年的精力，调整不同版本的算法，增加更加高级的功能。理解哪些模型与企业面临的问题最相关，根据产品如何最好地满足用户的业务需求进行产品评估，这些都非常重要。

数据范围分析

要分析的数据范围涉及很多方面，如结构化和非结构化信息，传统的本地数据库和数据仓库、基于云端的数据源，大数据平台(如Hadoop)上的数据管理等。但是，不同产品对非传统数据湖(在Hadoop内或其他用于提供横向扩展的NoSQL数据管理系统内)上的数据管理提供的支持程度不一。如何选择产品，企业必须考虑获取和处理数据量及数据种类的特定需求。

团队协作

企业规模越大，越有可能需要跨部门、在诸多分析师之间分享分析、模型和应用。企业如果有很多分析师分布在各部门，对结果如何进行解释和分析，可能会需要增加更多的共享模型和协作的方法。

许可证书和维护预算

几乎所有厂商的产品都分不同的版本，购买费用和整个运营成本各不相同。许可证书费用与特性、功能、对分析数据的量或者产品可使用的节点数的限制成正比。

易用性

没有统计背景的商业分析师或数据分析师是否也能够通过数据分析工具轻松地开发分析和应用呢?确定产品是否提供了方便开发和分析的可视化方法。

非结构化数据使用率

确认产品能够使用不同类型的非结构化数据(文档、电子邮件、图像、视频、演示文稿、社交媒体渠道信息等)，并且能够解析和利用收到的信息。

可扩展性和可伸缩性

随着数据量的不断增长和数据管理平台的不断扩展，要评估不同的分析产品如何跟随处理与存储容量的增长而增长。

那么，企业级大数据平台应具备什么样的基本能力以及如何进行相关技术选型呢?企业级大数据平台至少应具备基本以下几种能力?

（1）睿治数据治理平台

睿治一套完善的，通过的数据治理工具，是由亿信华辰自主研发的，融合元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理九大产品模块，打通数据治理各个环节，各产品模块可独立或任意组合使用，快速满足政府、企业各类不同的数据治理场景。

（2）亿信ABI数据分析平台

亿信ABI是亿信华辰历经15年打造的国产化BI工具，覆盖数据接入、数据整合、数据分析、数据挖掘的全流程，打通数据全生命周期各环节，能满足政企用户各类复杂的分析需求，帮助政企用户实现高效的数字化转型。

寻找合适的工具对提高项目成功率及避免落入常见陷阱至关重要。以上二个大数据分析项目工具，将有助改善项目的价值时间，并确保企业已为长远的成功作好准备。