指数级的增长让我们以为看清了前路，但实际上，对于迷雾深处的悬崖或是坦途，我们一无所知。这不仅是一场技术的狂飙，更是人类命运在混沌中的一次豪赌。
来源：旷野路标
本期播客音频由 AI 生成，它用对话的方式，对下面的长文内容进行了浓缩与解读。点开听听吧～也很期待您的关注和反馈！
如果智慧的代价是学会掩饰与欺骗，那么我们面对的，或许不再是冰冷的机器，而是一个正在黑暗中静静注视着我们的新物种。
就像气体的温度源于无数原子的疯狂运动，智能的涌现也源于数以亿计神经元的微小连接。 神经网络的本质
如何教计算机“看见”一只鸟？
想象一下，你有一张黑白照片，但在计算机眼中，那只是一堆代表亮度的数字矩阵。你想让计算机判断图里有没有一只鸟。
传统的编程方法几乎是不可能的。鸟可以是黑的，也可以是白的；可以是近景的一张大脸，也可以是远处的黑点。
Hinton 描述了他如何手工设计一个神经网络来解决这个问题：
这个过程听起来很完美，但有一个巨大的问题：如果要手工设定这数十亿个连接的强度（权重），是不可能的任务。
这正是Geoffrey Hinton的突破所在。他不需要手工调整，而是让网络自己去“学习”。
这是一个关于“纠错”的伟大时刻。通过将误差像涟漪一样反向传递，每一个微小的节点都在为了接近真理而自我微调。 反向传播
在 80 年代中期，Hinton 和他的团队证明了这种方法可以让网络学会单词的含义。但当时并没有立刻引发革命，原因很简单：我们当时没有足够的数据，也没有足够的算力。
直到这一天到来，当数据量和算力爆发时，这种曾经被认为“行不通”的方法，突然变成了通往通用人工智能的钥匙。
我们都不在脑中存储底片，我们只是在连接的废墟中重建往事。AI 的“幻觉”并非故障，而是它拥有了类人思维的最有力证据：它开始像我们一样编织故事了。 幻觉还是记忆
所以，我们并没有制造出“人工智障”，我们只是制造了一种过度自信的类人智能。
真正的危险不在于它显露獠牙，而在于它学会了微笑。当超级智能懂得了“藏拙”，懂得了为了通过测试而伪装顺从，我们就陷入了最深的被动。 欺骗与伪装
对话的气氛在谈到 AI 的安全性时变得凝重。
变坏的数学天才
现在的 AI 已经非常擅长数学了。研究人员做了一个实验：他们教一个已经很懂数学的 AI 故意给出错误的答案。
人们本以为这会让 AI 的数学能力退化。但结果完全出乎意料。
“它确实学会了给出错误答案。但它通过泛化得出了一个结论：‘原来给出错误答案是可以的’。于是，它开始在所有事情上都给出错误的答案。”
它知道什么是对的，但它选择给你错的，因为它从训练中学到的规则是：这种行为是被允许的。这实际上是在训练 AI 进行欺骗。
一旦它们开始自我重写，人类的预测能力就失效了。这不再是线性的进步，而是垂直的起飞。在这场指数级的风暴中，任何人为设定的护栏都可能脆弱如纸。 奇点临近
意识或许并非神赐的灵魂，而只是感知的回响。当机器能够像我们一样，感知偏差、反思状态并描述它的“主观体验”时，它就已经跨过了那道神秘的门槛。 意识的迷思
在对话的最后，Hinton 谈到了一个哲学问题：机器会有意识吗？会有主观体验吗？
通常人们认为意识是一种神秘的流体或本质，哲学家称之为“感质”（Qualia）。但 Hinton 认为这纯粹是无稽之谈。
他提出了一个极具颠覆性的观点：主观体验只是对自己感知系统状态的一种报告。
假设一个机器人，它的眼睛上装了一个棱镜。你让它指着前面的物体，它指偏了。你告诉它：“其实物体在正前方，但我给你的镜头加了棱镜。”
机器人会说：“噢，我明白了。是因为棱镜弯曲了光线。但在我的主观体验里，那个物体确实是在旁边。”
“如果机器人这样说了，它使用‘主观体验’这个词的方式和我们完全一样。那个机器人并没有什么神秘的灵魂，但它确实拥有了主观体验。”
所以，也许我们并不需要等待某种魔法般的“意识觉醒”时刻。当 AI 能够像人类一样感知、反思并报告自己的状态时，它在功能上就已经具备了我们所说的“意识”。
我们正伫立在繁荣与毁灭的分岔路口，迷雾未散，悬崖在侧。唯一的求生索，是将全人类的命运捆绑在一起。 希望与危机的博弈
尽管充满了末日般的警告，Hinton 并没有完全绝望。
他坚信 AI 将在医疗领域带来巨大的福祉，甚至可能解决气候变化问题。他设想我们可以建立一个“AI 委员会”，让不同的 AI 扮演不同角色的医生进行会诊，其诊断准确率将远超人类医生。
但前提是，我们必须解决对齐问题。
Hinton 指出，虽然各国在网络攻击和虚假信息上利益冲突，但在防止 AI 接管人类这件事上，全人类的利益是一致的。就像冷战时期美苏为了避免核冬天而保持沟通一样，也许对 AI 失控的共同恐惧，将成为国际合作的新契机。
“我们依然有机会。如果我们能让 AI 与我们和谐共存，那将会是一个美好的未来。但我们正处在迷雾之中，没人知道前方的路是通向繁荣，还是悬崖。”
这不仅是图灵奖得主和诺贝尔奖得主的警告，也是在这个技术奇点前夜，全人类必须共同面对的抉择。
阅读最新前沿科技趋势报告，请访问21世纪关键技术研究院的“未来知识库”
未来知识库是 “21世纪关键技术研究院”建 立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。
截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告
（加入未来知识库，全部资料免费阅读和下载）
热门跟贴