科技云报到原创。

经历了多年的“答非所问”、“一问三不知”,很多人已经厌倦了所谓的“智能客服”。哪怕是技术已经非常成熟、可以模拟真人发音的外呼机器人,也会因为“机感”重而被用户迅速挂机或转向人工客服。

智能客服似乎遇到了一道坎,在理解用户、和用户对话方面,始终无法实现真正的“智能”。然而大模型技术的出现,让智能客服看到了前所未有的曙光——基于大模型特有的生成式技术和智能的涌现,让智能客服越来越逼近人们想象中的样子。

但问题是,仅有大模型就够了吗?大模型技术要如何引入智能客服才能落地?落地后的大模型究竟如何在智能客服具体场景中发挥作用?又能为客服行业带来了哪些改变?更进一步,对于企业和用户而言,这种改变是否具备真正的价值?

带着这些问题,我们采访了容联七陌的产品负责人刘倩。容联七陌是国内知名的企业智能客服系统服务商,专注智能客服领域已有十年内,其智能客服广泛应用于教育培训、医疗医药、电商直播、新零售、智能制造、汽车、泛互联网等多个领域,服务了包括作业帮、复兴健康、同仁堂、虎牙、多点、广汽能源、红旗、居然之家等等品牌。

作为智能客服领域探索大模型技术的“急先锋”,今年8月,容联七陌推出了行业首创的“新一代大模型智能客服解决方案”,让智能客服在意图理解、答案生成、情绪理解方面,都实现了跨越式的能力提升。

为了让大家更好地理解大模型为智能客服带来的革命性变化,以及技术和应用如何交叠落地,我们整理了与容联七陌产品负责人刘倩的采访内容,以对话的形式精选给大家:

Q:大模型热已经持续一年多了,大模型技术到底为智能客服领域带来了哪些变化?

A:大模型带来的变化和价值,其实大家一直都在探索中。对于智能客服来说,主要是把大模型的理解能力和生成能力,应用到对话产品中。

比如,以前在网上买东西,智能客服给用户的回答是有套路的,所以看起来回复是冷冰冰的,有时候还答非所问。

但是有了大模型之后,智能客服就可以自己生成话术,接得住用户的话头,回答自然流畅,就像和真人聊天一样。在对话的理解上,大模型也可以应对用户多样化的表达方式,比如不同的问法、错别字等等,都能够真正去理解。

所以,新一代智能客服会更多依赖原生大模型,对用户来说就是更自然、更智能的体验,而非上一代产品那种简单的、预制的回答。

打开网易新闻 查看精彩图片

Q:如果和上一代智能客服相比,您会如何评价新一代大模型原生的智能客服?

A:传统的智能客服存在几个痛点:

第一是大家吐槽的“智障”,其实就是机器对语义理解不足,用户提了诉求,但机器答非所问的概率很高。这是因为上一代智能客服,在技术上使用的是关键词、BERT模型等机制,这种机制需要大量的数据标注,标注越多,理解能力就越强,但标注高度依赖人工。一旦人工标注和训练不足,机器的理解能力就会不够,结果就是答非所问。

第二是用户体验不好,缺乏情感表达。用户是有情绪的,但上一代智能客服是预制的,不管用户什么情绪来提问,机器都是标准回复,比较机械。机器能不能打动用户、解决用户问题,完全取决于设计问答的那个人。

第三是复杂的任务类的处理很呆板。比如预定会议室,上一代智能客服一般会使用流程画布,第一步问定会议室的时间、参会人等信息,再调取定会议室的接口,必须一步步按设定好的流程来。当用户的话题超出了设定范围,智能客服就会直接告诉用户,它答不上来,最后转人工客服的比例其实很高。

第四是成本高。上一代智能客服需要设立专门的机器人训练师,因为他需要穷举业务上的问题和标准答案,每个问题还要提供不少于30个的相似句。如果涉及到一些复杂的业务知识和流程,还需要梳理知识图谱。这个训练过程是非常复杂的,通常需要3个月到半年,然后才能达到80%的解决率。专门配置这样一个训练师,企业成本是非常高的。

但是有了大模型之后,新一代智能客服可以很好地解决这些痛点:

首先,大模型可以冷启动,不需要标注数据,只需要把客户的业务知识维护进去,就能达到很好的效果——回复人性化,接得上用户的话题,能够理解用户的情绪等等。比如,一个用户一开口就很生气,新一代大模智能客服会先进行安抚,然后再列出相应的解决方案。因为它能够根据用户的情绪变化生成对应的回复,所以用户对话的流畅度体验就会很好,情绪价值也足够。

再说流程类,就像前面提到的预定会议室的场景,大模型不需要固定的流程设置和穷举话题。因为它有很强的推理能力,当我们给到它对应的提示词工程,告诉它定会议室需要用户提供哪些信息,大模型就可以自己去思考已经拿到了哪些信息,还缺哪些信息,从而引导用户给出完整的所需信息。就算中间用户切换话题,大模型也可以继续聊下去。

最后说成本,因为有了大模型,就不再需要专门的机器训练师了,企业成本降低了,回答的准确率还上升了。

比如,我们测试过一个保险客户,对方提供了一个10万字的测试资料,包括保险条款、规则制度等,整理出来有几千个知识点。按照上一代智能客服的工作方式,光整理资料,最少就要一个星期,只能达到40%的解决率,后面还要不停的标注。

但是新一代大模型智能客服,用大模型自动清理知识点,1天就可以完成工作,测试的解决率高达100%,上线后解决率也高达92%(即没有转接人工的比例)。

Q:容联七陌率先在业内发布了新一代大模型智能客服解决方案,能否介绍一下这个解决方案的产品功能和亮点?

A:融合容联七陌已有的产品,我们推出了4款基于原生大模型的智能客服产品:

LLM文本机器人:接待IM渠道(网站、公众号、APP等)接入的用户需求;

LLM智能外呼 & LLM智能呼入:主要应用在呼叫中心场景中。

LLM座席助手:辅助人工客服,比如生成回应话术、自动生成服务小结、创建智能工单等。

打开网易新闻 查看精彩图片

这个解决方案最大的亮点,就是我们前面谈到的基于原生大模型的理解能力、情绪感知能力。之所以这个方案可以取得很好的效果,关键就在于采用了“多Agent”的产品架构。

Agent就是智能体,它是构建于大模型之上的一个计算机的程序,可以模拟独立思考的过程,灵活调用各类工具。为什么我们要采用多个Agent的产品架构?我从客户业务的角度来谈一下:

例如,我们合作过一个教育行业头部企业,它的客服主要有三类工作内容:第一类是简单的寒暄;第二类是回答业务的通用问题,比如APP头像怎么修改;第三类是VIP业务,比如VIP权益介绍、使用、续费等。

这三类工作是不同类型的任务,但又是多任务混合。要解决每一类任务,对应到产品结构上,就是一个具体的业务场景,匹配一个单一的Agent。通过这个Agent感知、思考、行动,然后来完成对应的单一任务,这样效果更好。所以要完成复杂的任务,就需要多个Agent的架构,通过不同的Agent去解决不同业务场景的问题,这样的架构能够很好地提升准确率。

Q:请进一步谈谈容联七陌是如何提升智能客服回复的准确率?例如,针对大模型幻觉等问题,如何保证智能客服给出的答复一定是准确的?如何判断在什么场景下,是由大模型自动生成回复,还是由人工来回答?

A:第一,多Agent架构,本身就提升了智能客服回复的准确率。第二,提示词工程,我们根据客户的实际业务去抽象了很多提示词,在工程上进一步提升准确率。

那么如何判断在什么场景下,是由机器还是人工来回复?

如果只是简单知识点或者推理,直接由大模型来回复就可以了。这里我主要谈谈复杂推理的场景下,该如何处理?

例如,在保险业务中,对于能否投保的判断是非常复杂的,如果不理解业务,光有知识点,是很难做出这种复杂推理的。所以针对大模型复杂推理场景,我们设计了三个功能模块:

一是知识词典,就是补充保险条款中的细节知识点,让大模型能够去推理。

二是最佳实践,就是给大模型一些示例参考,进一步提升推理的效果。

三是二次复核,就是去复核大模型生成的回答是否准确,是否能解决用户的问题,是否包含违禁词等等,这也是对大模型幻觉的一个检验机制。一旦发现大模型生成的回复有问题,我们也有配套的策略,比如马上转人工或者进入(Ask Human Help)托管模式。

除此之外,我们也有专门的功能模块,让大模型自动对人工客服的服务记录进行学习,这也是提升大模型效果很重要的一点。

Q:容联七陌新一代大模型智能客服,在不同行业和不同场景中的落地效果如何?

A:目前我们已经在多个业务场景中进行了落地测试:

第一,售前的营销套电场景。在某家居家装公司中,使用大模型智能客服替代传统流程式机器人,目前大模型机器人可以自然接住用户的话题,采用先聊天,再委婉请用户留下资料的方式,将留资率从21%提升到了32.91%。

第二,外呼邀约场景。依然以这个家居家装公司为例,通过外呼机器人对留资客户进行回访邀约。传统外呼机器人需要投入大量人力对流程、话术、知识点、意图等进行训练,准确率不高,话术也固定,用户体验一般。但是大模型外呼机器人可以根据上下文语义判断客户意向等级、自动小结标签等,将客户意向度提高了23%,信息抓取准确度也提高了46%。

第三,客服场景。在某大型企业内部的HRSSC服务中,员工提问涉及大量的公司规定、社保、公积金等问题,知识来源形式复杂,并且具有时效性。如果全部使用HR人工答疑,其他工作就忙不过来了。使用大模型智能客服后,可以极大缓解HR的工作压力,HRSSC解决率高达97%。

第四,呼入接待场景。某保险公司使用传统呼入机器人,为用户答疑头部流程、理赔等,但解决率不到30%,转人工接听,无法满足24小时服务,且人手不足。使用大模型智能客服后,实现了24小时接听服务,且解决率提升至92.02%,大大缓解了人工压力。

打开网易新闻 查看精彩图片

Q:容联七陌新一代大模型智能客服方案,是否为标准化产品?如何满足不同客户的个性化需求?

A:我们依然采用SaaS模式的标准化产品,因为一个企业想要私有化部署大模型,成本是难以承受的。所以在产品的功能设计上,我们采用了灵活可配置的SaaS模式,同时也设置了很多低代码模板,方便客户根据自身业务去做搭建。

不同行业和场景的客户在使用容联七陌大模型智能客服时,可以直接采用我们推出的4款新产品,也可以通过灵活配置Agent来满足个性化的业务需求。

Q:市面上有多款大模型智能客服产品,同样是基于大模型技术,为什么体现出来的“智能”效果并不相同?决定“智能”效果的因素有哪些?

A:并不是有了大模型,智能客服就一定“智能”,通用大模型是否用得起来,产品应用层很重要。容联七陌的智能客服之所以“智能”,和我们采用多Agent模型的产品架构,以及客服领域的丰富经验密不可分。这种经验就包括如何让大模型理解客户业务场景,如何设计功能模块去解决问题,如何让大模型越用越智能等等,是一种技术和行业应用的结合。

我们也看到很多同行在探索智能客服的大模型应用,但大模型只是作为某种功能辅助,比如提升会话小结的效率、提升训练师的工作效率等,其实是拿大模型辅助去提升上一代智能客服的效率,没有从根本上改变上一代智能客服的痛点。这也是为什么我们强调原生大模型的智能客服,它和上一代智能客服的体验和效率完全不在一个级别。

Q:目前智能客服领域都在研究大模型Agent的落地路径,它的竞争壁垒在哪里?容联七陌的优势是什么?

A:容联七陌从2023年底就确定了大模型Agent的路径,算是国内智能客服行业最早一批确立落地方向的企业。前面谈到了容联七陌在多Agent、提示词工程、功能设计等多个方面的探索,主要体现了产品和技术的竞争力。

例如,容联七陌独创的Ask Human Help托管模式,就是用大模型机器人全程接待,告别了直接转人工的模式。

在以往的客服人机协同模式中,机器转人工是能明显感知到的,而且人工回答完之后没法再转接给机器,客户体验和人工成本都不好。但是有了Ask Human Help托管模式,用户不再使用点选按钮的交互,而是直接用自然语言就可以交流,所以用户感知不到对面是机器人在服务。当大模型答不上来时,会转给人工客服,但人工只需要回答转进来的这一条消息,就可以立即再转回给大模型。

在这种转变下,人工客服的工作量从“会话级别”下降到“消息级别”,每个客户的会话服务时长可能从平均10分钟下降到1分钟内,那么同等数量下的人工客服就能接待更多的客户。对于客户来说,服务的体验也更好了,解决问题的效率也更高了。无论对于企业还是客户,在这种模式下都是受益的。

除此之外,容联七陌还有很重要的一个竞争优势,就是我们深耕客服领域已经有十年了,在客服解决方案的各个环节做了很多设计和优化,能够充分贴合各行业客户的客服场景应用,比如将客服系统和人力、工单等业务系统做了集成。所以容联七陌的大模型智能客服Agent解决方案,不仅是单一产品,而是一整套解决方案,涵盖售前、售中、售后的全部场景。

同时,容联七陌有多年的行业服务经验,把行业客户的痛点、实施落地踩的坑都摸过一遍,所以我们为客户设计的解决方案能达到比较好的效果,而且客户需求设计、方案设计、实施、培训、服务都跟得上。

Q:围绕智能客服Agent,未来容联七陌还将在哪些方向上进行探索?

A:我们将继续增强产品的智能性和问题解决能力,持续探索大模型准确率的提升。同时,也会关注大模型多模态技术的发展,如ASR、TTS、音色克隆等,将大模型的不同技术应用到智能客服产品中去。

在市场应用上,目前容联七陌智能客服已覆盖了多个行业,未来期待新一代大模型智能客服能够应用到更广泛的行业和场景中,助力更多行业客户降本增效,提升客户服务和营销体验。

【关于科技云报到】

企业级IT领域Top10新媒体。聚焦云计算、人工智能、大模型、网络安全、大数据、区块链等企业级科技领域。原创文章和视频获工信部权威认可,是世界人工智能大会、数博会、国家网安周、可信云大会与全球云计算等大型活动会议的官方指定传播媒体之一。