新兴的“意图经济”利用人工智能技术来预测和影响决策过程，将人类动机转化为可商品化的资产。剑桥大学的研究人员对此提出了道德风险警告，包括可能对民主造成操纵和威胁的风险，并敦促监管机构采取措施防止此类滥用行为。
AI助手在早期阶段预测和塑造我们的决策方面可能发挥关键作用，将这些新出现的“意图”实时传递给能够满足我们需求的公司——有时甚至在我们有意识地决定之前就已完成。
这一被称为“意图经济”的概念由剑桥大学人工智能伦理学家提出。他们警告说，一个充满活力但可能令人不安的市场即将形成，从购买电影票到投票等数字意图信号将成为有利可图的商品。
剑桥大学Leverhulme未来智能中心（LCFI）的专家指出，生成式AI的快速发展以及我们对聊天机器人的日益依赖标志着“说服技术”新时代的到来。他们认为，这些发展与主要科技公司最近的战略举措相一致，暗示了这一新兴领域的巨大潜力。
拟人化的人工智能代理，从聊天机器人助手到数字教练和伙伴，将能够访问大量的个人心理和行为数据。这些数据通常通过非正式的对话式交流收集。
研究人员指出，这种人工智能结合了对在线习惯的深入了解与一种独特的能力，即通过模仿个性特征并预测所需反应，以一种让用户感到舒适的方式建立信任和理解。这使得在工业规模上进行社会操纵成为可能。
关于人工智能操纵的道德问题引起了广泛关注。LCFI访问学者Yaqub Chaudhary博士表示：“大量资源被投入到生活的各个领域中部署AI助手，这引发了一个重要问题：这些所谓的助手是为了谁的利益和目的而设计？”
“人们在对话中所说的话以及他们说话的方式，以及由此可以实时做出的推断类型，远比在线互动记录要私密得多。”
“我们警告说，已经开发出的人工智能工具旨在引发、推断、收集、记录、理解和预测用户的行为，最终目的是操纵和商品化人类的计划和意图。”
剑桥 LCFI 的技术历史学家 Jonnie Penn 博士指出，注意力作为互联网经济的核心货币已持续数十年之久，社交媒体平台如 Facebook 和 Instagram 通过分享用户的注意力推动了在线经济的发展。Penn 强调，如果不进行监管，意图经济将把个人动机视为新的货币。这将对那些旨在捕捉、引导并推销人类意图的个体产生深远影响，可能引发一场针对人类愿望的淘金热。我们应审慎考虑这一市场可能对人类愿望产生的影响，包括自由公平选举、新闻自由以及市场竞争公平，以避免成为其意外后果的受害者。
在一篇新发表的《哈佛数据科学评论》论文中，Penn 与 Chaudhary 提出，意图经济是“及时绘制”的注意力经济的延伸。该文分析了用户的注意力和沟通方式如何与行为模式及最终决策相关联。Chaudhary 进一步说明，尽管许多意图短暂存在，但能够分类和定位持续的意图对广告商而言极具商业价值。
在意图经济中，大型语言模型（LLM）展现出低成本高效捕捉用户行为模式的潜力，这些行为包括个人节奏、政治倾向、词汇选择、年龄、性别、在线活动历史以及偏好奉承和讨好的程度。这种数据收集机制与中介竞价网络紧密相连，旨在优化特定目标的实现概率，例如通过对话式推销来增加电影院门票的销量。Penn和Chaudhary指出，这一过程可能涉及引导对话，以服务于特定的平台、广告商、企业甚至政治组织的需求。虽然研究人员认为意图经济目前仍是科技行业的一个愿景，但他们通过研究文献和几家领先科技公司的动向来追踪这一趋势的早期迹象。其中，公开呼吁收集“表达人类意图的数据…跨越任何语言、主题和格式”，以及Shopify产品总监在一次会议上讨论聊天机器人时强调“明确获取用户的意图”的言论，都被视为意向经济兴起的早期征兆。
Nv的CEO公开表示，公司正在利用大型语言模型（LLM）来解析用户的意图和需求。此外，Meta早在2021年就发布了名为“Intentonomy”的研究项目，这是一个专注于人类意图理解的数据集。到了2024年，Apple推出了新的“App Intents”开发者框架，旨在将应用程序与Siri——Apple的语音控制个人助理——连接起来。该框架包括了预测用户未来可能采取的行动以及根据开发者提供的预测向用户推荐应用意图的功能。
据报道，Meta开发的CICERO等AI代理在策略游戏Diplomacy中达到了人类的水平，这依赖于对玩家意图的推断和预测，并通过有说服力的对话来推进其在游戏中的立场。
这些技术巨头已经成功吸引了我们的注意力，并获得了商业上的竞争优势。为了进一步扩大这一优势，合乎逻辑的下一步是利用它们正在开发的技术来预测我们的意图，并在我们完全意识到这些意图是什么之前就开始影响我们的决策过程。
Penn 强调，这些趋势虽可能带来破坏性，但并非全然负面。他指出，公众对未来可能发生事件的清晰认识是确保我们不偏离正确方向的关键所在。
参考文献：Yaqub Chaudhary 和 Jonnie Penn 于 2024 年 12 月发表的《当心意图经济：通过大型语言模型收集和商品化》，《哈佛数据科学评论》。DOI： 10.1162/99608f92.21e6bbaa
热门跟贴