【峰会聚焦】杨海军：微众银行生成式AI解决方案助力银行业务变革|ai|人脸识别|微众银行|知识库|科技金融

原标题：【峰会聚焦】杨海军：智慧金融进化论——微众银行生成式AI解决方案助力银行业务变革

8月8日，以“服务数字化升级与大模型驱动下的服务革新”为主题的2024中国数字服务产业华东峰会在杭州成功举办。近500位数字服务产业专家、学者、企业代表、服务商代表齐聚，立足智能化与数字技术发展，聚焦服务革新路径，深入探讨行业热门议题，寻求服务转型升级的新模式、新方向，解构行业未来。

微众银行数字金融发展部AI应用研发室资深经理杨海军先生带来了“智慧金融进化论：微众银行生成式AI解决方案助力银行业务变革”的主题分享。

图 | 微众银行数字金融发展部AI应用研发室资深经理杨海军

微众银行在大模型领域的规划和实践，一方面关注大模型AI Agent面向应用端的研究和落地；一方面进行相关技术的产品化。

01AIAgent是大模型面向应用端发展的下一阶段

AI Agent是一个概念，它主要有三个部分内容：一是要感知周围的世界，二是要对感知的内容做出预测和规划，最后要能根据预测和规划来行动。

在大模型时代，AI Agent又产生了一些变化，它的三个阶段可以有大模型的参与，特别是在第二个阶段（预测和规划阶段），大模型有短时记忆和长时记忆，短时记忆即它了解当前对话的上下文内容，长时记忆即它可以从知识库或者从其他地方检索出来一些更久的内容。

大模型和AI Agent有什么关系？AI Agent是基于大模型的通用能力，它会结合某个领域的知识，适用于不同的业务场景的需求。简单地说，AI Agent其实就是大模型跟业务场景的定制结合，可以对自己想创建的Agent设计一些角色、一些prompt，从而创建一个轻量级的Agent。

　　通用大模型在银行的各类场景中可以运用吗？其实是不可以的，主要原因如下：

1.银行的数据比较敏感，需要保密，监管方对银行的数据有严格要求——私有化部署、数据不能出域、可解释、无幻想，甚至对模型也有要求，包括隐私性、保护等；

2.银行购买大模型，但购买大模型会涉及高昂费用，一个是模型的授权费用，二是GPU机器等费用，这些费用每年可能需要几百万到几千万甚至上亿；

3.大模型的能力比较局限，厂家开放的通用的能力比较有限，并不能满足银行的定制化需求，准确来讲，银行需要的是有更多调优定制能力的大模型。

基于以上原因，微众银行提出了“We大模型”的概念。首先在最底层，基于众多的开源大模型（GLM、LLAMA、SD、Qwen等），跟我们的业务数据结合进行调优，形成了We大模型，它是一个MOE的混合专家。同时，加上联邦学习，在不同的业务场景（客服、营销、消保等）应用，形成了很多的Agent。

这些可以总结为三句话：

1.We大模型是基于众多的头部开源的大模型调优的MOE（混合专家模型），可以灵活插接、适配各种金融场景；

2.支持深入一线业务需求，解决落地过程中“最后一公里”的问题；

3.逐渐完善、快速迭代。

应用大模型有两个挑战和一个难点：

1.大模型有幻觉，信息也比较滞后。比如让它解释“指鹿为马”这个词，它的答案是历史上不存在的它臆想出来的答案；

2.大模型需要一些数据，特别是各行各业的数据，但有些数据是数据孤岛，一般很难拿到，无法真正解决数据稀缺和专业知识不足的问题；

3.关于GPU的问题，除了国外对我们的技术限制之外，怎样用更低的GPU资源训练大模型或者满足推理需求也是一大难点。

　　关于这三个问题，分别有三种不同的解决方法：

1.针对幻觉问题，可以用RAG（检索增强生成）的方法去解决。RAG主要是通过检索，检索出来的内容作为上下文，用大模型去分析和回答问题，它可以很好地降低幻觉，但也不能彻底解决幻觉的问题。除了RAG之外，也可以用更多真实数据对模型调优，从而降低幻觉问题。

2.针对数据稀疏、数据孤岛的问题，可以用联邦学习去解决。除了联邦学习之外，微众银行还提出了联邦迁移大模型，也就是说它基于知识迁移、差分隐私、知识蒸馏、Adapter分层计算等等，将各个不同地方的数据进行联合训练，增强大模型的能力，同时保护数据隐私。

3.针对解决数据算力的问题。微众银行提出了“大小模型”的概念，也就是说把大模型的能力迁移到更小的模型上面，这个模型对GPU资源的要求就没有那么多。

02微众银行Agent

微众银行把技术栈分为几层：基础层有大数据、基础算法以及算力资源；微众银行还有感知层、认知层的语音、图像、视频、NLU等很多模型；同时，还构建了We大模型。依据平台以及业务中各种各样的应用场景，形成了许多不同的Agent的产品和服务。

AI Agent有几个特点：微众银行的Agent在内部都已经投入使用，并且验证了投入产出比，是合理的解决方案。这些方案都提供了API或者是SaaS服务，所以可以实现“开箱即用”，因为微众银行的Agent都是自研，所以都是自主可控、可定制的。

03Agent应用案例：

案例1：客服Agent一键生成

微众银行有不同产品，有贷款、存款、车贷等很多产品，每个产品都需要有一个专属的机器人，而这个机器人，在这个系统里不需要写代码就可以一键训练符合这个业务场景的机器人。

比如，只需要上传历史真实的对话数据以及文档介绍资料，大模型就可以自动拆分出来问答对等，然后再由人工进行简单的审核。审核之后的数据，就可以自动训练学习，生成一个符合业务场景的大模型，这个模型就可以放到业务系统里面进行对客服务。

再列举些更具体的在客服领域的应用案例。比如，自动生成相似问题。虽然大模型可以生成问答对，但一个问题有很多问法，所以可以先用大模型来生成多个问题，如此一来，智能客服机器人的问题覆盖率、准确率都会得到保证。再比如，关于上下文的问题，传统的机器人都是一问一答，也有一些基于传统NLP技术进行上下文关联。但用大模型进行上下文情景关联之后，它的效果就会得到明显的提升。在微众银行内部已经上线的服务里，大模型改写上下文的准确率能达到95%以上。

在客户服务完成后，座席或者机器人的对话记录都需要有一些小结，给它打标签，进行一些客服的摘要，以及对一段内容进行总结。用大模型做这件事情是完全可以的，它的实际表现比真人好，因为真人有疲劳等各种各样的问题，而大模型的表现比较稳定，总体平均准确率比真人好。

案例2：智能营销系统Agent

通过将自有数据及各个媒体平台的数据进行联邦建模寻找到目标客群，相比传统方式效果得到明显提升。通过大模型生成文本、图像类的广告素材，并对素材内容进行自动化的审核、打分等，最终通过媒体、外呼等渠道投放给用户。

素材生成要做几件事情：

1.文生图，就是生成背景图，加上一个蒙版，它就很快就能生成素材并进行投放；

2.风格化，因为广告要求同样一个视频不能重复投放，所以可以把视频进行风格化，转化成动画或者其他风格，这样就可以多次投放，对于企业来说这是一个非常有价值的应用方法；

3.多图视频化，可以多张图剪辑生成视频；

4.文生视频，可以通过输入一段文字，生成几秒钟的视频，这个视频再加上银行的文字介绍等就可以进行投放。

案例3：广告审核Agent

银行对内容的合规要求非常高，而生成的素材内容可能会出现不合规的情况。如何保证这些素材都能合规呢？这就需要对上传的图片或视频通过图像识别出违规物体，通过OCR识别得到其中的文本，通过语音识别ASR得到其中的文本。然后通过广告素材质检系统识别出其中的违规内容，然后进行反馈、快速审核和修复。

案例4：人像核查Agent

通过大模型生成的伪造数据攻击现有的人脸识别、OCR等引擎，通过攻防演练、模型训练，进一步提升模型效果。目前微众银行通过人脸识别以及身份证、OCR等技术，核实是否为本人操作银行业务，相关自研模型技术指标属于头部水平，业务每日使用量非常高。