情报分析利器：EventRegistry事件引擎的构成与核心部件剖析|元数据|情报|文章|聚类

情报决策，是当前舆情分析的终极目标，如何利用好当前大量的实时新闻文本数据，并进行结构化挖掘，形成具有分析意义的数据，具有重要的应用场景。

实际上，将文本进行事件化，形成以事件为主体的事件分析引擎，可以将事件、实体进行关联，并支撑演化分析、事件层次聚类、事件统计可视化分析等应用。

本文主要围绕情报分析中的事件分析引擎，以具有典型代表性的EvebtRegistry系统进行解读性介绍。

一、EventRegistry介绍

利用AI的力量将新闻内容转化为解释性的分析报告。

1、EventRegistry简介

EventRegistry是面向情报领域的一个商业事件分析系统，通过收集全球发布的新闻内容的系统，从新闻文章中自动识别世界事件，提取核心事件信息，并提供广泛的搜索选项和丰富的可视化选项，风险分析师、政策制定者、股票交易员、智囊团、金融机构等提供服务。

作为一个可以分析新闻文章并识别其中提到的世界事件的系统。该系统能够识别描述同一事件的文章集合。

它可以识别出不同语言的描述同一事件的文章组，并将它们表示为一个单一的事件。

从每个事件中的文章中，它可以提取事件的核心信息，如事件地点、日期、参与人员和事件内容。提取的信息被存储在数据库中。

此外，作为应用端，提供了一个用户界面，使用户能够使用广泛的搜索选项搜索事件，对搜索结果进行可视化和汇总，检查单个事件并确定相关事件。

2、关于事件的定义

关于什么是事件，EventRegistry团队认为，在讨论事件的定义时，我们需要回答一个更为实际的问题，即如何使得计算的方式变得可行，一个事件是指从其他事件中 "突出 "出来的事物，即某种（高维）数据空间中的信息，可以解释为 “异常”，体现在数据点的密集化（如许多类似的文件）以及显著的分布变化（如Twitter上的趋势）上。

那么，在事件的表示上，可以分为三个层级：

首先是基于特征向量的事件表示，可以通过制定一系列事件的特征属性来对事件进行说明，并且这些特征需要与外部的本体进行映射和统一。

其次是结构化的表示，这种表示使用开放模式或事件分类法的信息框进行事件表示。

第三层，深度事件表示方法，该方法类似于世界模型（如CycKB常识）相联系的语义表示，适合推理和诊断。

3、关于事件的表示

EventRegistry选择了第一种事件表示方法，该系统认为，事件是世界上发生的任何重大事件，如果一件事情很重要，那么就会被各个新闻出版商报道出来，且可以通过收集报道同一事件的新闻报道来确定事件。

每天产生大量的新闻信息，而新闻包含决策的关键信息，但人类能够处理的信息量是有限的，那么，电脑能帮忙吗？回答是肯定的。但计算机对非结构化文本的理解有问题，因此需要使用各种人工智能方法，我们以结构化的形式提取知识，从时间、地点、主题等不同的侧面出发，来分离出感兴趣的特定内容。

例如：

·通过提取文本关键词，可以获取事件的主题属性，标记资讯在正在谈论什么；

·识别命名实体，可以挖掘文本中提及的实体，用来揭示事件的社会属性。

·识别事件的时间、地点，用于标记事件于何时、何地发生；

·识别出事件的发布者，可以记录事件信息来源的可靠性；

·对事件进行情感计算以及偏见计算，可以得出该事件产生的影响是好是坏。

值得注意的是，以上提到的几个属性都是可以基于当前技术进行提取的。

二、EventRegistry系统构成

EventRegistry系统所由四个组件组成，分别是数据收集、预处理步骤、事件构建、事件存储与管理。

在技术实现上，EventRegistry使用数据收集服务 News Feed作为输入，该数据流监测了大约10万条主流新闻RSS订阅消息，每天可以输入约30万篇文章，这些文章涵盖了15种不同语言。

为了对文章进行理解，系统进行了文章的语义标注。由于同一个词在不同的文本，不同的上下文中存在着歧义的问题，如歧义–同音不同义、差异性-差异词，同义词（Mac，Macintosh）等，为了解决这个问题，eventregistry采用实体链接的方式进行处理。

对于每一种语言,EventRegitry试图找出描述单一事件的文章组别，采用基于文章标题+内容和检测到的命名实体的在线聚类。

此外，文章是跨语言的，为了使得最终聚类的结果只包含相同语言的文章，进行聚类。

1、数据收集

数据收集模块负责收集新闻文章，使用News Feed服务来收集数据，该服务从大约75000个新闻来源收集新闻文章，每天收集的文章数量在10万到20万之间。

范围上涵盖15万个主流出版商(RSS订阅+特别订阅)，以及约25万个最具影响力的博客（RSS订阅）–免费的Twitter订阅。

采集到的文章使用多种语言，其中最具代表性的语言是英语(占所有文章的50%)、德语(10%)、西班牙语(8%)和中文(5%)。

这些语言也是我们在接下来的流水线步骤中唯一进行语法和语义处理的语言。

2、数据预处理

数据预处理从单个文章中注释和提取信息，然后用一套语言工具对上述语言的文章进行处理。针对如何理解文本，EventRegistry任务，可以从词汇级别、语法级别、语义级别三种层次进行处理。

其中：

在词汇层上，可以通过文档中提取标记（单词、分隔符…等）对句子进行拆分；

在语法级别上，进行词性标注（名词、动词、形容词…）、从句子中构建解析树、在句子中进行(主语-谓语-宾语)三元组提取以及命名实体识别（人名、地名、组织名）。

在语义级别上，可以进行指代消解，用相应的名称替换代词，将不同表面形式的名称合并为单一实体，也可以为文档指定主题类别(如DMoz)，也可以使用摘要和事实提取的方式进行内容精简。

命名实体识别是其中的一个重要步骤，它可以检测文章中提到的命名实体，并对它们进行歧义化处理。

由于事件与日期紧密关联，在针对不同语言以及不同形式下的日期识别上，该系统也尝试使用一组针对不同语言的正则表达式来识别文本中提到的日期。

在这个阶段，系统用到wikiifiler.org、Enrycher、xling等几个工具。

1)wikifiler.org

在进行语义标注的过程中，该系统使用了Wikifier.Org这一工具，目前，wikifier支持至少有1000页的维基百科的所有语言，共计134种语言。

该工具根据输入的文本，对文本中的概念进行识别，并映射到wikipedia中的相关概念当中。

例如，上图中给定一段文本，该系统识别出其中的实体，并在Annotations结果中进行展示，给出了对应的中英文名称以及关联的wikipedia链接，因为链接的结果可能存在消歧的问题。

因此，在给定链接概念的同时，还给出了对应的相关强度值(PR)。

2)Enrycher

Enrycher是一个生成语义图、LOD链接、实体、关键词、类别、文本摘要、情感的网络服务。

该系统通过识别文档中的命名实体，并进行相应的共指消解、隐喻消解和语义实体消解，确定<主语,动词,宾语>三元组，并在此基础上生成语义定向图的形式来构建文档的语义描述，即用图的方式来对文档进行表示，是一种一种有效的、简明的文档内容表达方式。

此外，基于该数据，还可以生成文档摘要。

例如，上图中，给定一个文本，通过处理，得到巴西(Brazil)、意大利(Italy)、希腊(Greece)等实体，并提取出了其中的体育(sport)、足球(soccer)、美国(united states)等关键词，此外，还给出了这篇文章所属的类别。

值得注意的是，EventRegistry的一个重要功能是查找描述同一事件的文章组，无论文章是用哪种语言编写的。

在技术实现上，该系统利用文章的跨语言相似性，来计算出不同语言文，诸如英文、德文、西班牙文和中文文章之间的近似度。

该计算基于使用潜在语义索引和通用版规范相关分析获得的一组对齐的基础向量，计算结果可以提供英文、德文、西班牙文和中文文章之间的近似性。作为输出，该服务可以为每篇文章提供一组最近最相似的其他语言的文章和近似度得分。

3)Xling

Xling是一套关于如何在不同语言间传递信息的功能，其关键是对不同语言的文件进行比较和分类的功能，该模块提供对100种语言的文档进行比较和分类的服务。

例如，给定两个不同语言的文本，系统通过对文本进行主题和关键词抽取、归类，最终得出两个文档之间的相似性。

3、事件构建

该模块将描述同一事件的工件分组并提取事件信息。在事件构建阶段，该系统试图找到描述同一事件的文章群，并从文章中提取事件信息。为了识别描述同一事件的文章集合，Event Regigstry实现了在线聚类算法，并为四种语言中的每一种语言使用一个单独的聚类实例。

在技术实现上，每篇文章基于文章标题、正文和检测到的命名实体(实体被赋予比普通词汇高得多的权重)，使用向量空间模型来表示。

基于文档向量，每篇新文章都会被放入最接近的聚类。每增加n篇文章后，系统重新评估聚类，并使用贝叶斯信息与余弦相似度和Lughofer的椭圆体特征检查两个聚类是否足够相似，是否需要合并，从而决定是否有一些聚类需要合并或拆分成两个。

此外，由于关于同一事件的文章通常只报道几天，系统会自动删除包含超过k天的文章的聚类。在完成文档聚类之后，系统得到了使用单一语言描述同一事件的文章簇群。

为了将不同语言中关于同一事件的簇群进行分组，EventRegistry使用了一个SVM模型，提取各种相关特征，包括基于跨语言的文章相似度计算出来的跨语言集群相似度、两个簇中最常被注释的实体的相似性、聚类之间的时间差、聚类内部的时间变化、聚类质量等特征，以决定两个簇是否讨论同一事件，从而给出是否应该合并的结论。

4、事件存储与管理

该模块负责存储事件并提供访问它们的方法。一旦识别出一个或多个被认为属于同一事件的集群，系统就会自动地创建一个事件，并给它分配一个唯一的id。

关于事件的信息，主要包括事件的名称、事件的描述、事件的时间、事件的地点、事件关联的实体、事件的主题几个方面。

其中，为了提取事件信息，系统通过分析事件集群中的文章，并通过找到最接近集群中心的文章，并使用它的标题和第一段作为事件的信息表示；

在事件日期的提取上，系统对文章中所提及的日期进行检测。如果检测到的日期足够频繁，大于所设定的阈值，那么则优先地将其作为事件日期。如果没有日期的频次满足阈值的条件，那么则使用集群中文章的平均日期作为事件日期，这样的好处是平均日期被用来代替最早的文章日期，可以补偿算法上的错误，一个较旧的、错误分配的文章来负责正确分配事件日期带来的偏差更大。

在事件地点的提取上，系统选择在文章中经常检测到的地点类命名实体，而且这些地点常基于GeoNames完成了映射，此外，还考虑到了地点在文章中的位置信息，文章开头出现的位置会被赋予较高的权重，最后权重最高的地点被选为事件地点；在事件关联实体的提取上，作为总结事件内容的一种方式，系统通过分析文章中所有检测到的命名实体，并根据它们在文章中出现的频率来计算它们的权重。

最后，系统还对事件进行了主题归类，并依照DMoz分类法（该网站包含了500万个网页的分类）建立了一个DMoz分类器，可以根据事件中的文章内容将每个事件归入DMoz类别。

三、EventRegistry系统应用

EventRegistry系统可以支撑多项应用，该系统是全球领先的新闻情报平台，使组织能够跟踪世界事件并分析其影响。

1、风险管理情报挖掘

风险管理通常是金融服务公司的首要任务。公司危机往往会导致监管打击、业务损失、诉讼、员工裁员等负面结果，对这些消息进行监测，可以为风险管理提供支撑意见。

例如：

·提供的情绪分析工具可将正面新闻与负面新闻区分开来，对危机事件进行报道；

·跟踪数百名客户的新闻、他们的故事以及他们在社交媒体上的影响，实现客户管理；

·识别主要竞争对手。追踪网络提及率以及对特定公司构成新风险的行业特定变化，通过识别主要的竞争对手，完成对竞争情报的挖掘与监听。

2、地缘政治情报挖掘

专业人士利用Event Registry平台对影响其个人利益和专业目标的全球和区域趋势进行战略评估。获得对各地区、各行业和各问题的地缘政治风险和机遇的独特理解。

例如：