近日的上海浦东美术馆,人流比往常更为密集。
展厅中,有人举着手机与屏幕里的豆包实时视频,聆听关于卢浮宫馆藏陶瓷的纹样解读;有人对着毕加索的画作拍照发送,几秒后便收到分层讲解的文字回复。
当 DAU突破亿级的 AI 应用,遇上卢浮宫 300 件跨洲馆藏与毕加索 80 幅代表作,一场关于技术壁垒、文化赋能与用户增长的跨界实验正在上海浦东美术馆上演。
1月20日,字节跳动旗下豆包与上海浦东美术馆达成合作,成为该馆两项国际大展——“图案的奇迹:卢浮宫印度、伊朗与奥斯曼的艺术杰作”与“非常毕加索:保罗•史密斯的新视角”的官方AI讲解员。双方通过独家数据合作和定向搜索优化,进一步提升了豆包识别和讲解的准确性。
这是AI产品首次成为美术馆的官方讲解工具。
作为浦美年底两大重磅展览的官方 AI 讲解员,豆包的出现源于一场深刻的行业洞察:长期以来,艺术解释资源始终处于稀缺状态。博物馆和美术馆里,专业讲解员的数量有限,一场讲解往往需要数十人共同聆听,无法满足个性化需求;而艺术史专家的解读更是可遇不可求,普通观众面对跨越时空的艺术珍品,常常只能停留在 "走马观花" 的浅层体验。文化普惠,不仅是让更多人走进展馆,更要让每个人都能以可负担的成本获得高质量的艺术解释。
博物馆讲解场景向来挑战重重,不仅要区分伊朗 15 世纪《牡丹纹盘》与明代永乐青花牡丹纹盘这类高度相似的展品,还要精准识别缺乏公开资料的小众珍品,更要应对观众移动观展时的多角度拍摄、画面抖动、光线变化等复杂情况。
豆包通过与浦美独家数据合作和定向搜索优化,借助 Seed1.8 模型的视觉推理与稳定识别能力,成功实现了 “侦探式” 的精准识别,甚至能在观众轻声提问时准确响应,彻底解决了传统讲解服务的诸多痛点。
相关项目负责人介绍,目前Seed1.8在视频感知、流式、视频理解方面都达到了 SOTA 水平。它不再局限于“拍图、发送、提问,再拍图、再提问”的模式,而是能持续理解观众眼前不断变化的视角和场景,从而实现连续、自然、像人一样的对话交互。
字节跳动副总裁朱骏表示,AI和用户的交互本质上是一种对话体验。在观展过程中,希望豆包通过共情式的提问和启发式的对话,把用户已有的感受和经验调动出来,形成更有参与感的理解过程。
在观展过程中,用户可以让豆包从艺术风格、历史背景、创作技法与文化意义等多个维度,对作品进行解读。例如,当观众在“非常毕加索”展厅面对毕加索的《阅读》时,可以向豆包提问“画面中宁静的氛围是如何营造的”。
豆包会结合画作创作于1932年的特定背景,分析其中柔和曲线与鲜明色块如何共同塑造出私密而宁静的阅读场景,阐述这一时期毕加索以其缪斯玛丽–特蕾兹·瓦尔特为灵感的创作风格特征,如何在具象与变形之间取得平衡。
豆包在艺术领域的探索,并非一蹴而就。
此前,它已与中国国家博物馆、河南博物院等七家国家一级博物馆达成合作,通过独家数据合作和定向搜索优化,不断提升识别和讲解的准确性。
此次针对浦美两大展览,豆包进一步优化了算法模型,不仅能精准识别 80 件毕加索代表作和 300 件卢浮宫馆藏珍品,还能结合展览空间设计和观众参观习惯,提供更具场景化的讲解服务。无论是视频通话时的实时互动,还是拍照识图后的详细文字解析,都力求让艺术解释变得触手可及。
从博物馆到美术馆,从古代文物到现代艺术,豆包的 AI 讲解正在构建一个更加包容、可达的公共文化空间。它不仅解决了艺术解释资源稀缺的痛点,更重新定义了艺术与公众的关系 —— 艺术不再是高悬于殿堂之上的小众追求,而是每个人都能平等享受的文化滋养。
当技术打破理解的壁垒,当艺术解释变得触手可及,文化普惠便有了更具体的实践。
热门跟贴