金融界2024年7月5日消息,天眼查知识产权信息显示,启明信息技术股份有限公司申请一项名为“一种汽车舆情相似文章快速准确归并同一话题的方法“,公开号CN202410358460.5,申请日期为2024年3月。

专利摘要显示,本发明公开了一种汽车舆情相似文章快速准确归并同一话题的方法,从分布式的流处理平台Kafka中获取新文章数据,根据预处理结果生成固定的MD5函数将新文章数据的MD5函数与查询前缀组成查询关键词key,发送到内存缓存中间件中查询是否有相同的关键词key,若有则认为当前新文章与历史文章主题内容一致,为同一话题;如果查找到同一话题,则在数据库中把当前新文章添加到此话题中,将话题ID和新文章ID保存为话题关联表中的一条新记录。本发明技术方案通过缓存技术,使至少20%的数据不必访问ES或者数据库,即可归并到所在话题,加快了处理流程,而且减轻了全文检索引擎ES的压力。

本文源自:金融界

作者:情报员