新闻快快报,故事慢慢聊~ 这里是全新专栏:【科技联播】SCI-TECH NEWS
从今天开始,我们会为大家从海量的科技新闻中精挑细选出最亮眼的几条,并且深入聊聊背后的故事。
如果你平时很忙碌,但又不想错过任何重要的科技动态;又或者觉得简单的新闻播报不解渴,希望获得深度解读;那么这个新专栏正是为你量身打造。
以下是第 1 期主要内容速览:
01 AI 的未来:开源 OR 闭源
02 大模型 VS 小模型
03 原始节肢动物化石新发现
04 深海大秘宝——海底制氧机
01 AI 的未来:开源 OR 闭源
7 月 29 日,在美国丹佛举行的第 51 届 SIGGRAPH 图形大会上,黄仁勋和扎克伯格进行了一次对谈。在对谈中,扎克伯格表达了自己对开源软件价值的认可以及对封闭系统的厌恶。这让 AI 模型是否应该开源的问题又一次成为焦点。
小扎讲话虽然发生在千里之外,但尴尬的却是百度 CEO 李彦宏。
因为仅仅在 20 多天之前,李彦宏就在曾经直言说“开源其实是一种智商税”。他也分享了自己如此断言的依据,因为“今天这些闭源模型,无论是 ChatGPT 还是文心一言,以及其他各种各样的闭源模型,它的平均水平,一定是比这些开源模型更强大,推理成本一定是比开源模型更低。”
可是就在李彦宏发言后没多久,7 月 24 日 Meta 就发布了他们最新的大语言模型 Llama3.1。其中的 405B 版本,在 150 多个基准测试集中追平甚至超越了最新版的 GPT-4o。
发布的同时还公开了近 100 页详细论文,几乎涵盖了从预训练数据到推理策略等等,从 0 创造一个 Llama 3.1的所有过程。小扎也亲自写文章称,开源 AI 才是前进的道路。
这并不是 Meta 第一次开源自己的 AI 模型了。在 2023 年 2 月,仅在 ChatGPT 公布 3 个月之后,Meta 就开源了 Llama-1模型的源码。又过了 5 个月,Llama-2 模型也被开源,除了性能有大幅提升之外,还修改了开源协议,其他企业修改 Llama-2 模型后也可以用于商用。因为有着非常灵活的许可协议,许多没有能力从0开发自己模型的中小企业都选择了使用 Llama-2进行微调,以此来满足自己的商业需求。
除了 AI 模型,还有基于 Python 语言的深度学习编程框架 PyTorch、用于前端开发的 JavaScript 工具库 React ,也都是 Meta 的开源项目。这些项目在相应的领域里也都是鼎鼎大名。
在今年 2 月份的时候,关于 AI 模型是否应该开源就引起过讨论热潮。当时埃隆·马斯克起诉 OpenAI 和两位创始人,称他们将商业利益置于公共利益之上,违反了公司的创始合同,并嘲讽 OpenAI 应该将名字改成 ClosedAI。
虽然在 6 月份马斯克没有理由地撤销了起诉,但是在 8 月 4 号马斯克又再一次以相同的理由提起了诉讼。
OpenAI 之所以叫 OpenAI,就是在 2015 年前后,谷歌在 AI 领域一家独大。于是包括马斯克在内的一众创始人为了防止科技巨头垄断 AI 技术,创立了 OpenAI ,希望以公开和非营利方式对抗巨头的垄断。
现在 OpenAI 的运营方式的确违反了当时的初衷,但是马斯克诉讼的行为并不代表着他打心底认可开源理念。毕竟,他当初退出 OpenAI 的原因之一,就是希望 OpenAI 可以和自己的公司合并,让 OpenAI 能完全在自己的领导之下。而 OpenAI 的其他创始人没有同意。
这难免不会让人想起那个段子,一个人宁愿捐 100 万,也不愿意捐 2 头牛,因为他没有 100万,但是真的有 2 头牛。如果马斯克真的掌握了 OpenAI 可能就会有另一套说辞了。
相比来说,小扎对开源的支持就要言行一致得多,也真诚得多。
当然,这并不是说扎克伯格因为无私才支持开源的,归根究底还都是从各自的商业利益最大化的角度进行考虑。
就像是开源的 Android 系统和封闭的 iOS 系统,它们都很成功,有差异的只是实现目的的策略。
扎克伯格也明确表达过,Meta 之所以会开源 Llama 模型,一个非常重要的原因就是他们的商业模式并不是靠销售 AI 模型去盈利。
李彦宏更加支持闭源模式,这本来只是一种选择商业策略的倾向,原本无可厚非。但是他以一种优越者的心态将开源和智商税直接划上等号,这种简单粗暴的论断显现出来的可能就是一种傲慢了。古希腊哲学家希尔泰提醒我们“傲慢始终与相当数量的愚蠢结伴而行”,希望李总仅仅只是傲慢。
02 大模型 VS 小模型
在 7 月 31 号,Google 也开源了他们的 Gemma 2 2B 模型。这里的2B 代表模型的参数规模。2B 就是 2billion,20 亿的缩写。
其实在 6 月底的时候,Gemma 2 9B 和 27B 版本的模型就已经开源了。这次 2B 版本的开源更是引起了广泛的关注。
模型参数规模的大小一度是体现 AI 模型能力的重要指标。GPT-2 只有 1.5 亿个参数,GPT-3 据估计已经可以达到 1750 亿的参数规模,到了 GPT-4 更是可能到达了 1.76 万亿的参数规模。这也是人们习惯将这样的模型称为大模型的原因。
随着参数规模的增加,带来的不只是 AI 模型能力的提升,还有完成推理任务时需要的存储空间和算力资源。所以一个可行的 AI 服务,往往只能依托于庞大的服务器集群。
如何让 AI 模型摆脱对网络和服务器的依赖,仅仅在个人电脑和手机就可以流畅运行。这个问题最近也开始被逐渐重视了起来。
缩小模型参数规模势在必行。Gemma 2 2B 虽然只有 20 亿参数,安装在本地也只需要 1G 多的存储空间,但是 Gemma 2 带来效果并不差。Google 宣称,Gemma 2 2B 在很多方面都超越了 GPT-3.5 Turbo。GPT-3.5 Turbo 是很长一段时间 ChatGPT 可以免费使用的模型。
因为 Gemma 2 2B 的规模很小,所以完全可以运行在 iPhone 15 这样的手机终端上,不需要联网就能达成和 GPT-3.5 Turbo 差不多的功能。
Gemma 2 2B 可以用更小的参数规模实现更强的能力,源于它应用了一种叫知识蒸馏的技术。通过这种技术,一个小模型的训练过程,就不再是投喂海量数据进行训练了。而是通过训练模仿一个已经训练好的大模型,让小模型的输出结果尽可能和大模型一致。
训练大语言模型就像是科学家做科研,要能够从各式各样的实验原始数据中筛选出有效的数据,然后再观察数据之间的联系,从中寻找出通用规律。这是一种从 0 到 1 的突破,其中会有大量的无效试错被放弃。
而训练一个小模型,就相当于直接去读已经发表出来的论文,有了明确的方向,可以省掉许多无效的试错,用很小的成本就将结果复现出来。
03 原始节肢动物化石新发现
7 月 31 号,一项关于古节肢动物起源的文章发表在自然杂志上。节肢动物是动物界中除了脊椎动物以外,分布最广且最为常见的类群,昆虫、蜘蛛、虾蟹,它们全都是节肢动物。关于脊椎动物的起源问题,我们团队出品的《寻秘自然:地球往事》科普电影就有过介绍,所有脊椎动物都起源于鱼类,最早可以追溯到寒武纪生命大爆发。
不过关于节肢动物的早期形态和演化历史,科学家们一直知之甚少。
这项研究的化石来自云南永善县,与著名的澄江生物群处在相同的地质板块中,化石距离现在大约 5 亿年,它清晰地展现了一种节肢动物幼虫的内部和外部解剖结构。这只幼虫外形生动,内部器官保存极为完整,甚至连神经系统、消化系统和循环系统都清晰可见。
科学家给这块化石上的虫子起的名字也非常简单直接,就是“幼体”和“原始”两个词的汉语拼音,Youti yuanshi。
这块化石的发现,对于理解节肢动物的起源和早期演化具有里程碑式的意义。首先,原始幼虫的神经系统结构展示了早期节肢动物的大脑和神经器官的形态,循环系统揭示了 5 亿年前的节肢动物的血淋巴循环系统已经足够复杂。此外,科学家还在原始幼虫的胃里找到了动物性食物,确认了它们的食性。
原始幼虫的发现,不仅丰富了我们对寒武纪生物的认识,也帮助科学家们补上了早期节肢动物演化历史中的一块重要拼图。原始海洋的含氧量是促进生命演化的重要动力,原始幼虫的内脏器官,也为它所在的寒武纪海洋的含氧量水平提供了化石依据。
04 深海大秘宝——海底制氧机
我们呼吸的氧气,至少有一半都来自于海洋。以前的主流观点认为,海洋中藻类的光合作用是制造氧气的主要途径。近期的一项科学研究发现,深海海底还有一种我们以前完全不了解的产氧机制。
苏格兰的生态学家安德鲁·斯威特曼发现,在太平洋海底中存在着一种金属结核,它是深海海水溶解了金属锂、钴、铜等元素后在贝壳或碎石上析出形成的。这种金属结核有像电池一样的结构,能把海水电解成氢气和氧气。
一些矿业公司已经跃跃欲试想要在海底开展采矿业务,但有环境学家警告说,这种金属结核可能需要上百万年才能形成,一旦破坏,可能对海水含氧量造成不可逆的影响,甚至造成生态灾难。这些金属结核看起来比原始森林更加珍贵。来自 44 个国家的 800 多名海洋科学家已经签署了一份请愿书强调环境风险,并呼吁暂停采矿活动。
这就是本期的几条科技新闻,请保持关注,我们下期再见。
热门跟贴