1、困境与破局
2、抽象建模,流程支持
质检项
质检方案
质检任务
质检配置
设计思路
质检流程
3、质检演变,持续探索
大模型
关键词质检
程序性判断
4、自建模型,针对训练
项目成果
5、使用现状
6、后续规划
细化质检项,提高质检准确性
质检流程优化
李女士在某电商平台下单了一箱牛奶,下单前特意咨询客服:“这箱牛奶的保质期到什么时候?能放多久?”
客服回复:“都是近期生产的,您放心”。
收到货后,李女士发现牛奶的保质期只剩十几天,而她原本计划囤货用两个月。联系客服时,对方却说 “近期生产指的是三个月内,没问题的”,这让她觉得被敷衍,随即发起了投诉。
收到投诉后客服团队进行复盘,才发现当时的客服既没有明确告知牛奶的具体保质期,也没有主动询问用户的囤货需求,这种 “模糊回复” 看似省事,实则埋下了纠纷隐患。更糟的是,这样敷衍的回复在客服行业可能并非个例:有人问售后政策时被含糊带过,有人催发货时遭冷言相对……
如果缺乏对客服服务过程的把控与监督,这些服务中的漏洞就像藏在地毯下的灰尘,越积越多,直到用户带着不满离开......
1、困境与破局
转转始终坚持对客服服务质量的严格把控,每天安排专人对一定量的客服服务进行质检,但面对每日大量的客服服务数据,能覆盖到的仅占很少一部分。这就可能导致不符合标准的服务流程因未被抽中检查而错失了提前干预的机会。
更头疼的是,质检员通常对着屏幕逐字核对,效率有限,还可能因为漏看关键信息放过问题会话。
传统质检像漏水的筛子,既挡不住问题也追不上效率。
AI 的浪潮席卷而来,各个行业都在经历着前所未有的变革,借此机会,转转为客服服务打造了 AI 质检系统 —— 米诺斯(源自希腊神话中克里特之王,负责判决的神)。
真正给客服质量管理装上了 “火眼金睛”!
2、抽象建模,流程支持
米诺斯系统核心是借助系统能力,高效、准确地给客服服务流程做事后检查。
系统依托三大核心概念构建起高效运转的体系,它们分别是质检项、质检方案和质检任务,三者相互配合,共同支撑起全流程的智能质检工作。
质检项
是服务流程质检的最小单位,聚焦客服服务的具体维度,如“是否使用礼貌用语”等。
可设置是否支持AI质检及支持的质检模型,包括:大模型语义理解、程序性逻辑校验或正则匹配关键词等,并可根据需求使用多模型进行同步质检,精准适配诉求。
质检方案
由多个质检项组合成的模板。它依据业务场景与质检的服务流程,整合相关质检项,实现对服务流程的多维度检查。方案中配置有质检合格分值,质检后质检得分低于该标准,系统会自动预警,让问题会话及时显现。
质检任务
推动质检工作落地的执行单元。预设条件定时自动抽取符合要求的客服服务数据,如某时间段内特定业务线会话、用户评分较低的会话等,再指定对应质检方案检测。质检完成后,会触发生成质检结果、推送不合格会话给客服主管等后续操作,形成质检流程闭环。
质检配置
质检任务配置
设计思路
通过抽象以上三个概念,后续可根据不同质检目的设置质检项,再根据质检场景,将不同的质检项组装为场景需要的质检模板(质检方案)。
实现全质检场景可配置化。业务后续自主配置质检流程,抽取相应的服务内容进行质检。
质检流程
质检流程
3、质检演变,持续探索
米诺斯的质检项最初仅支持大模型质检,通过在质检项中配置对应prompt来启动 AI 质检。但实际质检过程中发现,部分质检项仅靠会话语义难以精准判断或者无法实现——如质检服务过程中客服答应客户进行的后续跟进事项,是否有完成等。
因此后续补充了正则匹配、程序判断等能力,与模型质检形成配合,共同提升质检准确性与质检能力的多样性。
大模型
大模型是“语义解读专家”,专攻客服服务中的软性标准:通过深度解析会话语义,判断客服态度是否友好、是否有效安抚用户情绪,以及是否把用户的疑问都讲透讲全 —— 如用户连问两个问题时,是否有漏答;用户表达不满时,有没有及时回应并给出解决方案,让服务是否达标有了精准的语义标尺。
关键词质检
正则匹配是“关键词哨兵”,寻找明确的不合规表述:精准抓取服务过程中客服所回复的 “我没有办法”“我无权干涉”“这个不清楚” 等违规关键词,快速判定客服回复是否违规。它既能独立发力,也能辅助大模型,用高效简单的方式实现特定场景的精准质检。
程序性判断
程序判断是“履约核查员”,如通过大模型和程序判断共同质检客服对用户的承诺是否兑现:通过大模型分析出服务过程中答应为客户创建工单,就核对是否生成对应工单;承诺催促或升级工单,就检查工单状态是否按约定变更。
通过打通会话与业务系统数据,用硬性逻辑规则核验 “承诺 - 履约” 闭环,确保客服说到做到,杜绝空头支票。
4、自建模型,针对训练
在AI质检体系的搭建中,模型是核心支撑。转转客服场景存在大量二手交易特有的质检场景,如 “验机报告解读是否清晰”“保修政策说明是否准确”,外部通用模型难以覆盖这类行业特有标准,自建模型可针对性捕捉业务细节。并且对于后续的成本和调优都有一定优势。
通过训练自研模型完成会话的自动分类。把模型识别出的异常样本,再交由人工检核。目的是在人力可支持的范围内检出更多的异常会话,从而提升复杂质检项的检出率。
模型训练流程
项目成果
针对“缺少安抚与致歉”质检项,在连续四周的线下评估数据集上,自研模型识别精准率每周稳定超越豆包,总体精准率超出豆包8.6pp。基于这个效果,经与业务方讨论正式上线实测,相比通用模型检出率提升26倍。能够稳定提供覆盖线上全量数据的能力。
5、使用现状
米诺斯系统目前已配置 10 种质检场景,每种质检方案对应一类场景,其中包括8 种 AI 质检项。
日均完成对2万+ 客服服务质检。相较无 AI 介入的传统模式,每日质检量提升两个数量级,不仅大幅突破人工质检的产能瓶颈,更精准达成了初期设定的效率提升目标,实现了质检覆盖范围与处理效率的双重突破。
6、后续规划
细化质检项,提高质检准确性
目前部分质检项质检准确率较低,核心原因为质检项对应的规则过于复杂,考虑到结合实际业务场景中的各种问题,将对应质检项细分为多个维度,让模型进行更精细化的质检。进而提高准确率。
质检流程优化
初期为了快速配合业务迭代和方案调整,对于多种质检方式组合质检的方案没有通用设计,存在较多的硬编码。后续将会探索基于流程编排引擎去实现用户可自定义模型组合顺序:
- 如先正则过滤→再大模型分析→最后程序判断;
- 如设置触发条件,如模型 A 结果为“疑似违规”时,才启用模型 B 二次校验;
让不同质检能力的协同方式更灵活,按需适配多样业务场景。
关于作者柴建,转转履约中台研发工程师,主要负责客服业务