新京报贝壳财经讯(记者姜樊)“当前,可用于预训练大模型的公开数据几乎已经用尽了。人类生成数据的速度远远没有机器能够消化这些数据的速度快。”12月22日,香港科技大学荣休教授,加拿大皇家学院院士、加拿大工程院院士杨强在中国财富管理50人论坛2024年会“AI浪潮下的金融业应变”主题论坛上表示,预训练将会终结,新的方向还在探索。

杨强预测,2028年将是关键之年。他展示的数据库存规模与数据消耗规模的曲线图显示,两条曲线将于2028年相交。这意味着2028年可用于大模型训练的公域数据将用尽。

公域数据用尽之后,还未用于大模型训练的私域数据则面临隐私安全问题。

“人类在使用大模型的时候,会暴露隐私,尤其是在金融业。”杨强指出,在大模型使用过程中,需要用到企业的内部数据,隐私保护成了大模型应用中的关键问题。

杨强指出,金融界有很多需求,机构的数据远远不够,需要把不同机构的数据合并起来。但是合并的时候,又有这样的顾虑,就是隐私安全。

事实上,科学界对大模型发展路径已有探讨。杨强总结道,一是大模型创造的智能体,要建立大量的垂域专家,做到能学习、沟通。二是该智能体要能推理,根据已经学的知识思考未来。三是该智能体有理解能力、有同理心,能理解人类。四是该智能体应该产生自我意识。

“智能体第一个重要能力是推理和组合,能够使用资源。第二个重要能力是人造数据的产生。”杨强进一步指出,所谓人造数据是指智能机器人等创造出来的数据。人们通过模拟器去训练模型之后,模型再适配到现实的场景产生数据。这样所产生的数据,对机构的训练模型同样非常有用。

此外,杨强指出,如何让大模型落地到私域的机构,在本地建立小模型,能够通过各种新的人工智能技术,包括这里所说的联邦学习和迁移学习,把大型通用能力赋予到小模型,能够让小模型的专业能力教会大模型是当前需要做的事情。这需要强化大模型的迁移学习能力和联邦学习能力。有了这些能力,叠加模拟和生成数据的能力,就可以训练具有智能的机器人。

校对 刘军