继此前在2023年先后发布并开源大模型Llama 1、Llama 2后,日前FacebooK母公司Meta创始人、CEO扎克伯格透露,目前Llama 3已在训练中,并将继续以负责任的方式开源。同时他还指出,Llama 3将具有更强代码生成能力、更高级的推理和规划能力。
扎克伯格强调,“虽然Llama 2不是行业领先的模型,但却是最好的开源模型。对于Llama 3及其之后的模型,我们的目标是打造成为SOTA,并最终成为行业领先的模型”。据悉,除了开源Llama系列外,此前Meta还发布了多个大模型,包括文本生成音乐模型Audiocraft、视觉模型DINOv2等。
日前扎克伯格还表示,“我们认为,为了打造我们想要打造的产品,我们需要打造通用人工智能(AGI)”,“向人们传达这一点非常重要,因为许多最优秀的研究人员都希望致力于更远大的目标”。此外他还指出,“下一代服务需要构建完整的AGI,这一点已经变得越来越清晰。打造最好的人工智能(AI)助手、为创作者服务的人工智能、为企业服务的人工智能等等,它们都需要人工智能各个领域的进步,从推理、规划、编码到记忆和其他认知能力都包含在内”,以及“这项技术非常重要,机会如此之大,我们应该开源并尽可能地广泛使用,这样每个人都可以受益。我们正在建造大量的基础设施来支持这一点”。
而对于AGI的具体定义,扎克伯格认为,“你可以质疑AGI是否可以达到人类水平的智能,或者超越人类智能,再或者成为某些遥远未来的超级智能。但对我来说,重要的部分实际上是智能所能达到的广度,即拥有不同的能力,比如必须能够推理并拥有直觉”。
据扎克伯格透露,预计到2024年底,Meta将拥有庞大的AI算力资源,包括350000块H100,如果将其他GPU也包括在内,该公司的算力总水平将相当于近60万块H100。此前曾有第三方投资机构研究估算,2023年英伟达面向Meta的H100出货量可达到15万块,这个数字其与向微软的出货量持平,并且至少是其他公司的三倍。
值得一提的是,扎克伯格还透露,“我们正在将Meta的两个主要AI研究小组更紧密地联系在一起,并壮大这两个团队,以加速我们的工作”。据悉,他所提及的团队是指成立于2013年的AI基础研究团队Facebook AI Research(FAIR),以及专门为该公司旗下应用产品用户提供生成式人工智能体验的GenAI团队。
在此次调整中,原本独立的FAIR团队将被并入Meta产品部门,“变成产品部门的一部分”。后续FAIR主管Joelle Pineau及首席科学家Yann LeCun,将直接向Meta首席产品官Chris Cox汇报,此前他们向Meta旗下Reality Labs部门的首席技术官Andrew ‘Boz’ Bosworth汇报。对此,Chris Cox在内部信中写到,“通过这一变化,我们提高了AI研究的重要性,将其视为公司和产品长期成功的重要组成部分”。
此外需要注意的是,日前扎克伯格还提及了该公司的元宇宙战略和AI战略的关系。他表示,“Meta的愿景是围绕着AI和元宇宙两个重要部分推进,且两者是相互关联的”,“我不知道如何更明确地表明,但我们将继续关注Reality Labs和元宇宙”。据其透露, 未来Meta每年在元宇宙相关项目上的支出仍将超过150亿美元。
扎克伯格指出,生成式AI能在Meta的硬件研究中发挥关键的作用,比如其雷朋智能眼镜已添加了视觉人工智能助手,可以识别物体和翻译语言。在他看来,智能眼镜将是大多数人同时体验AI和元宇宙的方式。
【本文图片来自网络】
热门跟贴