9月19日-21日，2024云栖大会在杭州西湖区云栖小镇举行。20日，云栖通道如约开放。
这是一个为广大AI产业从业者、创业者以及大模型开发者提供的专属交流平台。来自教育、智能体应用、智能驾驶、人形机器人等多个AI应用领域的科学家、开发者、技术代表等现场分享最新行业动态，与现场嘉宾进行深入交流，共同见证AI技术的发展与应用。
超拟人一对一AI老师，帮助教育更智能
辅导孩子作业太心累？请家教不仅费用高、效果也难以保证？别担心，这些都不是问题。
云栖通道刚开启，精准学AI科学家张宁就为家长、老师群体带来了“减负神器”——超拟人一对一AI老师。
这位“老师”不仅能像GPT一样讲题目，更关键的是，TA就像你花2、300元一个小时请的一对一私人老师一样，能有规划、有体系地对孩子进行一对一学习辅导，还能运用不同的教学技巧，实时调整教学内容。
那么，靠谱吗？究竟是何原理？
张宁介绍，超拟人一对一AI老师是在通义千问的基础大模型上，利用私有数据，训练出了精准学自己的教育垂直大模型——心流大模型。同时面向学科知识教学优化了语音识别与语音合成技术。“为了做到更好的情绪识别，我们还在通义千问开源大模型上重新训练了语音-语音端到端的大模型，不经过语音-文字的互转，这将成为未来我们的主要模型。”
推向市场方面，目前，超拟人一对一AI老师主要是以学习机为载体，在各大电商平台销售，并且与钉钉教育有深度合作。
为何会想到研究这样一款产品呢？
张宁表示，不论是成人还是儿童，都会遇到被授课、被指导、被答疑的过程，这一过程过去是由真人来完成，而技术没有能力做到。“但是从2023年之后，随着通义千问等大模型的发展，技术逐渐有能力做到这一点，所以我们研发了这一产品，是对市场上教育产品的有益的补充。”
全新智能座舱AI技术，让车生活更聪明
今年的云栖大会，“自动驾驶”无疑是最热门的话题之一，特斯拉、小鹏、零跑等国内外头部车企“组团”参展。而在云栖通道开放现场，斑马智行首席产品官蔡明，则带来了车生活的相关分享。
蔡明介绍，此前斑马智行联合通义发布了全新智能座舱AI技术品牌：元神AI，同时展示了基于英伟达OrinX平台、通义端侧多模态大模型的智舱AI技术能力。
元神AI旨在推动解决触控交互/命令式语音交互和APP服务带来的座舱体验不佳、服务使用低频问题，通过交互变革和服务重塑，加速智能座舱“iPhone时刻”到来。元神AI核心建构是“1+3”技术体系，同时以AliOS和广泛的芯片生态为基础设施底座。1是自然交流，人与车交互如同人与人交流一样自然；3包含，感知场景（Echo AI），实现车内全舱位、车外多视角、时空世界感知，全工况可用；组织服务（Eco AI）：打破APP限制，以用户为中心组织原子化服务，结合场景提供给用户。认知成长（Evo AI）：基于用户画像图谱不断学习实现认知成长，并确保用户隐私安全。
“有人说未来会‘ALL IN大模型’，我反过来希望是‘AI IN ALL’。”蔡明表示，希望在整个座舱的每一个环节，AI都能更好地提升用户体验，并且增加产品竞争力，“在未来，斑马智行会推出全自研自然语言交互方案，来代替Touch交互。同时，我们联合生态伙伴一起，推动智能座舱应用AI化，打造更多端到端的智舱生活服务Agent，来替代APP生态，我们一起期待。 ”
开源大模型灵活运用，给AI机器人注入灵魂
一个指令，人形机器人就能完成唱跳RAP、搬运货物、巡线避障、花式足球等高难度动作。在云栖大会计算馆的通义灵码展位，“素人”都能掌控的小型机器人，吸引了众多观众的眼球。这项技术是由个人开发者、知名技术博主张子豪研发，他也在云栖通道上展示了这一成果。
“这款用Qwen2开发的人形机器人，基于幻尔TonyPi人形机器人，通过开源AI推理框架OpenVINO，在轻薄笔记本上本地部署端侧AI开源大模型通义千问Qwen2-7B-Instruct，使用AI编程助手‘通义灵码’辅助编程开发和文档撰写。”张子豪介绍，人类输入模糊语音指令，智能体Agent就能自主思考，调用23种原子动作Function Call，编排生成依次执行的动作列表及函数参数。
神奇之处在哪？
“其实机器人已经是一个非常成熟的行业，为什么最近几年这么火？因为大模型出现了，能够真正给机器人注入灵活。”张子豪向现场嘉宾解释道，之前的机器人，不管它多么复杂，能打乒乓球也好，能搬东西也好，都是根据固定的指令去完成固定的动作，没法实现泛化性、多样性、通用性操作和对指令的理解。
“而大模型的最大好处就是AGI通用人工智能，它可以把任意指令翻译成机器人的动作，能够让机器人真正理解海量世界的知识。”张子豪说，比如他之前做过一个机器人，让其机械臂把绿色方块搬到印有小猪佩奇照片的指定处。之前，要让机器人认识李小猪佩奇，得专门训练一个模型，让它先认识小猪佩奇。但是现在借助多模态大模型，机器人天生就具备这个能力，它天生就知道小猪佩奇是谁。如此一来，人类可以跟机器人说任意的指令，它都可以理解，所以泛化性能是当前具身智能大模型之后引爆的一个热点。
AI提示词打开大模型无限可能，主流平台广泛采用
多位分享者现场提到了给AI下指令，那么这个指令究竟该怎么下？其实也是有讲究的。AI 提示词——打开大模型的无限可能，云中江树 LangGPT 社区创始人就分享了他和AI提示词的故事：“在过去一年多的时间里，我们一直在研究提示词能够给大模型带来怎样的一些可能性，也做了很多探索。”
据了解，LangGPT 提示词社区成立于2023年，是国内首个专注于提示工程的开源社区，也是目前最大最活跃的提示词工程师交流平台。自主研发了提示词自动化生成优化、模板库、在线编辑器、汉语新解等工具，并构建了系统的学习、分享、沉淀高质量提示词知识库, 在 GitHub 社区获得数万星标，全网数百万浏览量，已成为国内最流行的提示词方法论。
该创始人介绍，LangGPT已与多家头部AI公司合作，如为阿里通义开发官方提示词模板，与月之暗面 kimi 共同推出提示词专家助手，为百度文心一言、书生浦语大模型等分享提示工程进阶知识，为华为大模型落地应用提供咨询，为清华北大等985高校学子授课，为多家上市公司开展AI培训，联合发起中国提示词工程师大会等。
截至2024年9月，LangGPT已服务数十万开发者和AI爱好者，其方法论被百度、字节、华为、智谱等主流大模型平台广泛采用。
“提示词门槛不高、没有壁垒的问题，对我来说这不是劣势，恰恰是优势。”该创始人诚恳地向在场嘉宾发出了邀请：“这意味着在座各位只要有意愿、有能力，都可以参与进来，更好地感受到AI的魅力。这也是我们过去一直在做的事情，希望让更多的人用好AI。”
代表中国站上世界舞台，高中生用AI打国际比赛
更多人参与AI、用好AI，正在成为现实。本场云栖通道最后一位分享者——复旦大学附属中学通用技术教师、复旦附中FRC机器人战队的刘烨老师，现场讲述了他和孩子们到美国参加机器人大赛的故事，鼓舞了现场一众家长培养孩子学习AI的热情。
刘烨介绍，复旦附中FRC机器人战队成立于2017年，队号6907，意思是世界上第6907支FRC战队。FIRST Robotics Competition（FRC）由美国著名非营利性机构FIRST主办，是目前全球青少年机器人赛事中水平最高且最具观赏性与挑战性的赛事，复旦附中FRC机器人战队是一支具有良好建设基础的学生创新团队。
“我们今年机器人视觉用的就是阿里云服务器的平台，通过这个训练之后，我们可以做到在摄像头扫到二维码标识之后，它可以实现自动化的动作，辅助我们比赛的时候得到更好的效果。”刘烨表示。
依托复旦大学和上海交通大学丰富的资源，致力于机器人学习与建造，基于每年的赛事，在三维建模、机械加工、工程搭建、程序控制、人工智能、力学原理、基本运动学、工程材料基础等领域，为学生提供了综合创新素质培育的实践平台。团队多次获得国内外区域赛冠军、区域赛主席奖等奖项，多次代表中国站在世界总决赛舞台上，培养了一大批富有创新潜力的优秀学生。
除了机器人比赛，学校在日常教学中，也已经广泛应用了AI。“我们有一门课就叫‘AI+课程’，基于和通义实验室的合作，比如我们老师出试卷，以前我们是在一个题库里面找题，老师们去改一些数据、改一些题型、题干等。”刘烨说，但现在，老师们可以直接把知识点、考试范围告诉通义大模型，题目就可以自动生成，更加智能和科学，“这就是AI的魅力，相信未来，AI还能带给我们更多改变和惊喜。”
热门跟贴