Google上周公布可改善现有机器学习过于专注单一任务的问题,能同时处理多样任务、快速学习新任务、具备完整理解力的AI构架Pathways。

打开网易新闻 查看精彩图片

Google资深院士Jeff Dean指出,现今的机器学习模型大都是为单一新问题而从头训练起,训练好也只用于一项任务,结果企业或科学家开发出数千种单一任务的模型。由于模型能力无法累积、概括化(generalize),每次机器学习过程要花更久时间,需要的数据也更多,但人脑学习的运作并非如此,因为人类会在旧技能基础上学习新技能。

因此Google想训练的是不但能处理多种不同任务的模型,而且还能利用及结合它在一项技能学习到的能力(学习从空照图预测地面抬升的能力),来学习另一项新技能(例如预测洪水是否会流经某地形)。

打开网易新闻 查看精彩图片

Google想训练的是,可概括化到数百万种任务的单一AI模型构架,它有多种能力,需要时可以调用,又能整合这些能力来执行更复杂的新任务。Google称之为Pathways。利用Pathways,Google将开发能因应新需求、新问题的次世代AI系统。

Dean解释,今天的机器学习模型是一次处理信息的单一模态(modality),无法同时处理一个以上。但Pathways使用多模态模型,可同时处理视觉、听觉及语言理解。例如当系统不论听到、看到“猎豹”这个字词,或是看到这个动物的图像,都会引发同一种反应。Dean指出,这种多模态能力的模型能看得更全面,避免偏见或错误。

此外,除了这些信息,Pathways还能处理更多类抽象信息,例如帮助科学家从复杂的天气系统中,找出许多难以发现的数据规律(pattern)。

打开网易新闻 查看精彩图片

Google指出Pathways另一个优点是更有效率。Dean解释,现有机器学习模型处理任务都太密集、太“劳师动众”,即不论问题大小、简单或复杂,都会启动整个神经网络。但Pathways更像人脑的运作,处理简单任务只会启动零星资源,即启用神经网络的一小部份路径,而且它还会动态学习什么任务、最适合使用哪些路径,使得系统更有效率。

例如Google建立的2个最大的机器学习模型,包括GShard和Switch Transformer因为已经具有“零星启动”特性,因此和同样大的密集模型系统相比,仅耗费1/10的能源。