☑️Bot现已开源,一键复制创造属于你的24小时口语专家

打开网易新闻 查看精彩图片

扫码体验/复刻雅思口语专家

提到备考雅思

第一反应是不是撸起袖子报个班?

等等打住!

现在流行的“电子专家”不会还有人不知道吧?

全能专家助你雅思保7争8,轻松拿捏!

还能1V1口语陪练,免费的啊!!!

没有语言环境,那就自己创造!

---严肃分割线---下面,让我们带你五步搭建你的 AI 口语产品!

Step 1:明确产品价值

经过与伙伴的深入讨论,我们明确了雅思 AI 口语陪练产品的市场价值:

1. 明确市场价值

用户画像高度重合

  • 雅思考试市场年规模可达数十亿元人民币,包含报名费、培训费等。

用户驱动力强

  • 雅思考生具有强烈的自我驱动力,对新产品接受度高。

用户痛点明显口语是中国考生的主要难点,缺乏语言环境尤为不利;

  • 口语能力对申请出国留学的学生来说是面试成功的关键因素之一。

训练场景高留存率

  • 雅思口语的训练场景有短期高频的需求,题库难度要求考生至少预留一周以上准备时间。

产品迭代增量可控

  • 每年1月、5月、9月更新,新增内容占30%,替换70%;

  • Part 1题库包括30-50道题,Part 2和Part 3的题库涵盖50-60道题。

2. 明确可实现性

基于对大模型的了解,口语陪练产品与大模型能力高度契合。语言训练非常符合Transformer架构的特性,是其最佳实践之一。

打开网易新闻 查看精彩图片

Step 2:明确产品功能框架

为了做一款针对雅思口语训练的AI产品,我们首先需要明确雅思口语的考试结构&备考方式:

考试结构

  • Part1(4-5分钟): 日常口语交流,范围覆盖工作、学习、兴趣爱好、家庭等;

  • Part2(3-4分钟):根据考题准备1 分钟,并进行 2 分钟左右的陈述;

  • Part3(4-5分钟):基于 Part 2 的话题,和考官进行更深入、更抽象和更具思辨性的讨论。

备考方式

  • 题库复习;

  • 教学反馈(实时打分、优化建议、范文梳理);

  • 考试模拟;

  • 口语素材辅助整理,串题辅导;

  • 训练进度管理。

打开网易新闻 查看精彩图片

产品功能框架

来,掌声送给这位全能的专家!

(靴靴大家⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄)

Step 3:功能开发

利用Prompt工程和多Agent机制,我们完成了整个产品的功能设计。整体的功能实现思路如下:

1. 利用COT+Fewshot,让模型能够基本准确执行任务链路。

以Part1的出题Prompt为例:

打开网易新闻 查看精彩图片

2. 通过Prompt结构性的优化,使得模型具备准确召回,并处理特殊情况的能力。

以题库的结构化逻辑为例,我们通过准确定义的Markdown语言逻辑,让模型实现的复杂的题库召回:

下面看看效果实现?
打开网易新闻 查看精彩图片
下面看看效果实现?
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

多 Agent 设计

在多 Agent 的跳转逻辑设定中,在Part1/2的模型中,我们选择了“在当前节点的运行过程中识别”的模式,让Part之间的跳转决策后置,让跳转行为更为可控。但是对于希望用户能够沉浸完成正常考试的“模拟考试”节点,我们选择了“独立于当前节点的模型识别-大语言模型”模式,增加跳转决策受到Prompt影响的权重,对跳转行为做出了更多强制性的限制。下面是我们用于“模拟考试”节点的提示词:

多Agent设计Step 4:能力评测与迭代
打开网易新闻 查看精彩图片
多Agent设计Step 4:能力评测与迭代

通过模拟不同类型的用户行为,来制定Bot功能的评测集,从而衡量Bot表现是否符合预期。下面是制定评测集的思路:

Session 1: 模拟学霸类用户对 Part 1/2/3 进行评测

重点评测方向:

  • 回复的准确性与稳定性;

  • 逐句优化的稳定性;

  • 在引入一定干扰情况下,测试 Bot 的记忆能力至稳定。

Session 2: 模拟口语较差用户对 Part 1/2/3进行评测

重点评测方向:

  • 回复的准确性与稳定性;

  • 逐句优化的稳定性;

  • 在存在较多干扰情况下,测试 Bot 的记忆能力上限。

Session 3: 模拟准备初期用户梳理 Part 2 材料与串题

重点评测方向:

  • 梳理提问思路是否合理;

  • 材料整理的质量;

  • 串题的准确性。

Step 5:数据回收&优化

根据多轮真实用户的反馈,我们针对性地对Prompt和功能逻辑做了优化,从而在语气优化和细节处理方面更有把握。

Bot上线后,已经有大约4500名用户使用,人均对话轮数超过10轮,人均对话时长超过10分钟,更懂同学们的Bot,就更厉害哦~

最最最最后!

欢迎大家打开扣子 Bot 进行雅思口语的练习

给我们真实反馈!

我们也将整体配置在我们的 Bot 商店公开了

一起创造更多 AI + 语言的场景!

  • 考试
  • 评测
  • 产品

1、本文是 芥末堆网原创文章,转载可点击 芥末堆内容合作 了解详情,未经授权拒绝一切形式转载,违者必究;
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。

来源: 芥末堆