【本文节选自《智人之上》；作者：[以色列] 尤瓦尔·赫拉利；出版社：中信出版社。已授权在网易新闻平台发布，欢迎关注，禁止随意转载。】

有些人可能希望，只要赋予计算机更强大的能力，就能克服各种宗教与意识形态上的偏见。这些人或许认为，种族主义、厌女、恐同、反犹太主义等偏见并不存在于计算机，而是源自人类的心理状况与神话观点。计算机只关心数学，不谈心理学或神话。所以如果能够彻底排除人类的成分，就能让算法完全基于数学做判断，摆脱心理扭曲或神话偏见的影响。

遗憾的是，许多研究都显示，计算机同样有根深蒂固的偏见。虽然计算机并非生物实体，也没有意识，但计算机确实拥有类似数字心灵的东西，甚至可能出现某种计算机间的神话观点，所以同样可能有种族歧视、厌女、恐同或反犹太主义倾向。 举例来说，2016 年 3 月 23 日，微软推出一款人工智能聊天机器人 Tay，它能够自由存取推特的内容，并与用户互动。结果不到几小时，Tay 已经开始发表厌女与反犹太主义的推文，比如“我恨透了女权主义者，他们都该在地狱里燃烧”“希特勒是对的，我讨厌犹太人”。这些恶毒仇恨的言论不断增加，吓坏了微软工程师，迅速将 Tay 下架──这时距离其被推出才短短 16 小时。

2017 年，麻省理工学院教授乔伊·布兰维尼研究了市场上的人脸分析算法产品，发现里面有点不太明显却极为普遍的种族歧视问题。她指出，这些算法识别白人男性非常准确，但识别黑人女性却非常不准确。举例来说，IBM 算法在判断浅肤色男性的性别时，错误率只有 0.3%，但判断深肤色女性的性别时，错误率竟高达 34.7%。作为定性测试，布兰维尼拿出非裔美籍女性传教士索杰纳·特鲁斯（特鲁斯以 1851 年的演说《我难道不是女人吗？》而闻名）的照片，请算法做判断。那些算法竟判断特鲁斯是一位男性。

布兰维尼是加纳裔美籍女性，她拿了另一套人脸分析算法来对自己做识别，结果那套算法根本无法“看见”她肤色较深的脸。在这种情境中，所谓“看见”指的是能够判断画面中有一张人脸，例如，手机摄像头就会利用这种功能来判断该聚焦在哪里。那套算法很容易就能看见肤色较浅的人脸，却看不到布兰维尼的脸。布兰维尼戴上了一个白色面具，那套算法才忽然意识到原来眼前有张人脸！

这到底是怎么回事？一种可能是这些算法背后有一群有种族歧视倾向又厌女的工程师，写算法的时候就是想要歧视黑人女性。这种答案虽然不能说全无可能，但无论是人脸识别算法的例子还是微软的 Tay，事实并非如此。事实上，这些算法是从那些训练它们的数据里学到了种族歧视和厌女偏见。

为了说明为什么会有这种状况，得来解释一下算法的历史。一开始，算法没有办法靠自己来学习东西。比如在 20 世纪八九十年代，国际象棋算法所知道的一切，几乎都是人类程序员告诉它的。人类写进算法的，除了国际象棋的基本规则，还包括该怎样评估各种棋局和棋步。比如，当时人类就写出一条规则告诉算法，牺牲王后来保住兵通常不是什么好主意。这些早期的算法之所以能够击败人类国际象棋大师，只是因为它们能比人类计算更多棋步、评估更多棋局，仅此而已。但是算法的能力有限。如果算法必须依赖人类告诉它们关于国际象棋的一切秘密，如果人类程序员不知道某些事情，那么它们产生的算法就不太可能知道。

但随着机器学习这个领域的发展，算法变得越来越独立。机器学习最基本的原则，就是要让算法像人类一样，能够通过与世界互动来教自己学会新事物，成为一套成熟的人工智能。虽然各方对人工智能的定义还有差异，但大致来说，要想称得上“人工智能”，就必须具备自行学习新事物的能力，而不能只是遵循最初人类创造者的指示。例如，现在发展出的棋类人工智能，人类除了游戏的基本规则，已经不会再“教”它们其他内容，而是让它们彻底自学，通过分析过去棋局的资料库，或者不断下新的棋局，从经验中学习。人工智能并非不顾结果，只是傻傻地不断重复同样的动作，而是拥有强大的自我修正机制，能够从自己的错误中学习。

这代表着人工智能一开始就像个“算法宝宝”，虽然没有多少知识，但拥有巨大的潜力与运算能力。人类父母给它的只有学习能力，并让它能够接触这个资料世界，接着就放手让这个“算法宝宝”自己探索。而与人类宝宝一样，“算法宝宝”的学习方式就是从自己能接触到的数据中找出规律模式。如果去摸火，会很痛；如果我哭了，妈妈就会来；如果我牺牲一个王后去换一个兵，这一局可能就会输。通过寻找数据中的规律模式，“算法宝宝”就能学到更多，包括许多连人类父母都不了解的事。

然而，数据库也会有偏见。布兰维尼研究的那些人脸分析算法，训练时用的是各种经过标记的线上照片资料集，例如，LFW 人脸识别数据库（Labeled Faces in the Wild，即“真实世界经过标记的人脸”）。这个数据库的照片主要来自线上新闻文章，而白人男性又在新闻中占了大多数，于是整个数据集有高达 78% 的照片为男性、84% 为白人。仅小布什一个人，在整个数据集里就出现了 530 次，足足是所有黑人女性出现次数的两倍。在另一个由美国政府机构建设的数据库中，有超过 75% 的照片为男性，将近 80% 为浅肤色，深肤色女性在里面只占 4.4%。所以，用这些数据集训练出的算法虽然很懂得如何识别白人男性，却不擅长识别黑人女性。聊天机器人 Tay 的情况也类似。微软工程师并没有刻意加进什么偏见，但让这款人工智能在推特上接触各种“有毒”信息几小时之后，它就成了极端种族主义者。

事情还可能更糟。想要学习，“算法宝宝”除了需要数据，还需要另一样东西——一个目标。人类宝宝之所以能学会走路，是因为他们想要到达某个地方；狮子宝宝之所以能学会狩猎，是因为想要吃东西。算法的学习，也必须有个目标。如果是国际象棋，这个目标很容易：吃掉对手的国王就行了。有了这个目标，人工智能就能发现牺牲王后来换一个兵是个“错”，因为这样一来，通常会让算法难以达成目标。在人脸识别方面，目标也很简单：能够判断照片人物的性别、年龄与姓名，得到与数据库记录相同的结果。要是算法认为照片中的小布什是个女性，但数据库记录显示其为男性，就代表未能实现目标，算法也会从这个错误中学习。

然而，假设你要训练一套用来招聘的算法，目标该怎么确定？算法要怎么知道自己犯了错，聘用了一个“错”的人？我们可能会告诉这套“算法宝宝”，它的目标是找到会在公司至少工作一年的人。企业显然并不希望投入大量时间与金钱，培养一个干几个月就辞职或被解雇的员工。这样确立目标之后，就该看看数据了。在国际象棋里，算法只需要和自己对弈，就能产生无穷无尽的新数据。但就业市场没办法这么干。没有人能够真正创造一个完整的假想世界，让“算法宝宝”雇用与解雇各种假想员工，再从经验里学到教训。“算法宝宝”只能以真实人类的现有数据库进行训练。狮子宝宝要想认识什么是斑马，主要依靠在现实的草原上找出斑马的花纹模式；“算法宝宝”要学会什么是好员工，主要依靠的是在现实的企业里找出好员工的行为模式。

但很遗憾，如果现实的企业中本来就存在一些根深蒂固的偏见，“算法宝宝”很可能就会学习这种偏见，甚至将其放大。举例来说，算法如果基于现实数据创建“好员工”模型，很有可能认定老板的侄子无论资质如何，都是最好的员工。因为过去的数据清楚地表明，老板的侄子通常只要求职就能被录用，而且很少被解雇。“算法宝宝”会找出这样的模型，学会任人唯亲。算法如果负责人力部门，就会认定老板的侄子是一流人选。

同样，如果在一个厌女的社会里，企业比较喜欢雇用男性而非女性，那么算法一旦使用现实数据进行训练，就很难摆脱这种偏见的影响。亚马逊在 2014—2018 年尝试研发筛选求职申请的算法时，就确实出现了这种情况。那套算法在学习了过去求职成功与失败的申请资料之后，只要申请表里有“女性”一词，或求职者毕业于女子大学，就会系统性地进行扣分。因为现有数据显示，此类求职者被录用的概率较低，所以算法对她们产生了偏见。算法觉得自己发现了现实世界的客观事实：从女子大学毕业的求职者资质较差。事实上，它只是内化，并且强制落实了厌女的偏见。亚马逊试图解决这个问题，但以失败告终，最后直接放弃了这个项目。

训练人工智能用的数据库，有点儿像是人类的童年。人类在童年的经历、创伤与美好回忆，会陪伴我们走完一生。人工智能也有童年经历。算法甚至会像人类一样，受他人偏见的影响。想象一下，算法在未来的社会无所不在，除了能用来筛选求职者，还能用来帮助学生选专业。由于现实中既有的厌女偏见，80% 的工程师职位都由男性担任。在这样的社会，负责招聘新工程师的算法不但可能复制这种既有偏见，还会进一步影响那些推荐大学专业的算法。如果女学生发现，既有数据显示她不太可能找到工程师的工作，她就会降低读工程专业的意愿。“女性不擅长工程学”原本只是一种存在于人类主体间的错误观念，现在却有可能演变成一种存在于计算机间的错误观念。如果我们不从源头消灭这种偏见，计算机就很可能将其延续和放大。

然而，摆脱算法偏见的难度或许不低于摆脱人类的偏见。在算法经过训练之后，人类想要消除算法的训练痕迹，可得花上大把的时间和精力。有时候，我们宁可直接放弃一套已经产生偏见的算法，另找一个偏见较少的数据集，重新训练一套全新的算法。然而，哪里才能找到完全没有偏见的数据集？

本章与前几章所谈到的算法偏见，很多都有一个同样的基本问题：计算机觉得自己找出了某些关于人类的真相，事实上却只是把一套秩序硬套在人类头上。社交媒体算法以为自己发现了人类喜欢感到愤慨，但事实上，正是算法让人产生与接收到更多的愤慨情绪。这种偏见一方面是由于计算机低估了人类的能力，另一方面也是因为计算机低估了自己影响人类的能力。即使计算机发现几乎所有人都有某种行为方式，也不代表人类一定有这样的行为。搞不好这正意味着计算机鼓励这种行为，惩罚其他行为。计算机如果以更准确，也更负责的观点来看这个世界，就得把自己的力量与影响也考虑进去。要实现这样的目标，目前正在设计计算机的人就必须接受一个事实：他们正在做的事，不是在制造新的工具，而是在释放新的独立行为者，甚至可能是全新的神。