数字化带给我们许多便捷,但产生的数据量呈指数级增长。虽然存储和分析数据的技术已经发生了变化,但企业利用大数据解决业务问题的总体方法基本上没有变化。现在需要的是改变IT领导处理数据的方式,从寻找正确答案来解决业务问题和为客户提供价值开始。如果没有这种目标视角上的改变,企业注定会重复过去数据时代的错误。

数据领域的每一次发展——从数据仓库的引入到大数据的繁荣——都专注于寻找一个足够大的存储库来“倾倒”所有可用数据。从这里开始,企业试图挖掘整个数据堆,希望找到既能揭示尚未定义的业务问题,又能找到解决方案的“针”。

这个过程不仅耗费时间和资源,而且显然效率低下。据Gartner公司估计,采用这种方法的项目中,大约有85%会失败。然而,企业继续以这种方式运作,因为这是他们所知道的,而且他们已经投入了太多(无论是金钱、时间还是人力),以至于到目前为止他们已经采用的技术和流程都无法放弃。

回顾数据简史

事实证明,传统的数据仓库并不适合当今的大数据挑战

要理解为什么大数据倡议在过去几年并非一帆风顺,只需要看看数据仓库1.0的结果。一般的方法是将每一个数据碎片放入数据仓库,然后确定以后要如何处理它。数据专业人士只是认为,数据堆越大、越全面,他们最终就越有可能神奇地找到正确的针。如果您试图通过应用程序掌握您的客户,难道您不想将与该客户相关的每一个数据都转储到一个地方吗?事实证明,可能不会。

在早期的数据仓库,基础建设最重要。够大、够快的把数据装进来是关键。但随着时间推移和应用深入,它并没有交付其预期的价值。问题不在于数据仓库的概念。以Snowflake为例,它成功地将3500多家公司的关键企业数据存储在云上。真正的问题是,组织过于专注于数据管理,而忽略了数据真正能带来的价值,这造成了与终端用户的脱节。他们更感兴趣的应该是如何从数据中了解到比他们已知的更多的东西,并回答他们没有发现的问题,而不是简单地把一堆数据放在一个地方。

大数据继续重复同样的错误,只是使用了更多的数据和不同的技术。例如,一架747飞机在每次着陆时从起落架产生大约4TB的传感器数据。虽然像Hadoop这样的平台可以比传统数据仓库平台更优雅地处理这样的数据量,但这仍然不足以保证数据分析将改善乘客的体验、飞机的维护或运营的效率。令人惊讶的是,到目前为止,数据行业还没有学到更多东西。需要将重点转移到明确定义的业务挑战,然后利用正确的数据来找到答案。

把问题放在第一位

今天IT部门被寄以厚望,但如果公司真的要把数据价值放在前沿和中心,IT领导首先需要确保他们的方法与业务部门对成功的定义一致。在开始每个项目时,都要询问需要什么产出,才能让项目的时间和资源有所值,这样才能为项目指明方向。对于IT领导来说,在他们控制成本的工作中,优先考虑这一责任尤其重要,因为大多数外部软件供应商肯定不会在接受资金之前确定业务需求。

知识图谱强调个体数据点的关联性

用数据来定义要解决的问题有时会被我们自己的想象所阻碍。这是从数据量到数据价值的观点转变的一部分。团队有时会避免问某些业务问题,因为他们认为,也许是根据以往的经验,他们的传统数据平台无法找到答案。相反,需要习惯围绕想要解决的问题构思,而不被当前技术的已知限制所束缚。

定义业务问题的另一个障碍可能是团队不知道他们不知道什么,有时会有问题隐藏在盲点。揭示数据点之间关系的技术,如知识图谱,可以帮助发现未知的业务问题,并成为寻找数据驱动解决方案的一部分。数据之间的关系总是存在的,但传统的平台并没有能力在完成所有其他任务的同时找到它们。知识图谱还可以更好的引入人工智能,将数据利用和业务问题解决真正的紧密联系起来。

只有当数据洞察被用于进一步的商业目标和公司运作时,数据才能产生价值。有了正确的团队、正确的问题和正确的数据,企业最终可以在他们的大数据项目中取得成功。而这一成功并不需要对他们的技术预算有任何重大的改变——只需要改变他们处理数据的方式。随着数据资产的快速增长,企业再也负担不起花费如此多的时间和人力来盲目地筛选答案。明确定义要解决的业务挑战,然后有目的地将数据映射到解决方案的准备工作,利用人工智能去检查巨大的数据堆,而不是手工筛选。