郭胜男 等丨面向未成年人的AI安全风险：风险澄思、根源透析与治理进路

【刊载信息】郭胜男, 钱雨, 吴慧娜 ,& 吴永和. (2023). 面向未成年人的AI安全风险：风险澄思、根源透析与治理进路. 中国远程教育(07), 39-46.

【摘要】AI技术给社会带来深刻影响，其创新发展对未成年群体的影响引起社会各界的特别关注。AI在给未成年人提供全新成长空间的同时也带来了安全威胁。鉴于此，文章基于未成年人安全视角，省思AI给未成年人带来的安全风险，并从未成年人的脆弱性、AI系统的内生特性和AI治理策略的适切性三个维度进行根源透析。以信息生态系统理论为依据，从顶层设计、风险防范和个体防护三个层面构建面向未成年人的AI安全风险治理生态系统，构筑面向未成年人的AI安全盾牌，确保给未成年人提供合乎规范设计的AI教育产品，以保障未成年人的安全与权益，进而促进未成年人与AI的协调发展。

【关键词】未成年人；人工智能；安全风险；风险治理；核心素养；生态系统

一、

引言

作为引领第四次科技革命和产业变革的战略性技术，AI正深刻改变着人们的生产和生活方式。现在的未成年人是在AI构筑的数字世界里成长起来的，他们通过数字化、智能化产品认识世界，其生活、学习、娱乐等无不与AI系统、产品或服务息息相关。AI正以不同形态影响着未成年人：一方面为其提供了一个广阔的、个性化的、高效的成长与发展空间；另一方面也为其带来前所未有的安全威胁，如身心发展、个人资产、数据与隐私和社会性歧视与公平等安全性问题。如何在AI时代保障未成年人的安全与权益已成为AI风险治理的核心议题。国内外组织已针对这一问题进行深刻省思。联合国儿童基金会（UNICEF, 2022a）在《人工智能为儿童——政策指南》中对以儿童为中心的AI提出九项要求，切实维护儿童权利。《面向儿童的人工智能北京共识》涵盖了“以儿童为中心”“保护儿童权利”“承担责任”“多方治理”四大主题19条细化原则，呼吁社会各界高度重视AI对儿童的影响（北京智源人工智能研究院, 2020）。可见，各界已在“保障未成年人合法权益与安全，发展向善的AI”方面达成共识，却鲜有面向未成年人的AI安全风险治理策略。因此，本研究基于未成年人安全视角，聚焦以下问题：①AI技术给未成年人带来哪些安全风险？②这些安全风险产生的根源是什么？③如何进行有效的AI安全风险治理？本研究采用文献分析和归纳—演绎的研究方法，以未成年学生群体为对象，深度省思AI给未成年人带来的安全风险，从未成年人的脆弱性、AI系统的内生特性和AI治理策略适切性三个维度进行根源剖析，以信息生态理论为依据构建面向未成年人的AI安全风险治理生态系统，为未成年人构筑AI安全盾牌，进而为未成年人与AI技术的协调发展贡献治理良策。

二、

面向未成年人的AI安全风险澄思

（一）AI教育应用与未成年人

智能教育产品与服务是AI技术赋能教育的根本落脚点（王一岩 & 郑永和, 2021）。利益相关者通过围绕教育实际需求完成技术的封装和产品的研发，以智能设备、工具、平台、内容和解决方案等形式，打造覆盖“教、学、管、测、评”的服务链条。现阶段，AI技术已成为未成年学生生活和学习的重要工具，凭借其认知能力、学习能力和决策能力，为学生制定个性化学习课程和内容，增强学习体验并提高学习质量。其应用样态逐渐呈现常态化和多样化，越来越多的智能工具可供未成年人选择（如智能学习终端、智能可穿戴设备、智能机器人、自适应学习平台、智能搜索等）。但AI给未成年人带来的安全威胁也不可忽视。正如尤瓦尔·赫利拉（2017）所说，“我们无法真正预测未来，因为科技并不会带来确定的结果”，AI技术也如此。不同于其他信息产品，AI系统以机器学习算法为核心，具有自主性和不确定性的特征，它们承担了人类的部分决策功能，而这种决策受到诸多不可控因素的直接影响，不可避免地会给未成年人的成长与发展带来风险。

儿童和青少年均属于身体和大脑尚在发育中的未成年人（WEF, 2022）。从生理成长来看，未成年人是指0~17岁的群体，联合国世界卫生组织（WHO, 2010）在“体育活动促进健康的全球建议”中，将5~17岁的人划分在儿童组。从脑发育情况来看，未成年人的年龄可以考虑到26岁，因为人的前额叶皮层在26岁前才会发育完成（Klein, 2013）。从法律视角看，《儿童权利公约》（United Nations, 1989）和《中华人民共和国未成年人保护法》都规定未满18周岁是未成年人。因此，考虑到AI技术在教育领域的应用样态以及未成年人在生理成长、心理认知和道德伦理发展等方面的不足，本研究以儿童和青少年学生群体为研究对象，以他们在使用AI教育产品过程中可能遭受的安全威胁为切入点，系统化梳理安全风险共性，从而构筑AI安全盾牌。

（二）AI给未成年人带来的安全风险

现阶段的未成年人是伴随AI成长起来的Z世代（Generation Z），从出生起便与AI技术无缝对接，并通过数字化、智能化产品认识世界，但还未能对自己的数字权利做出理性而成熟的决定，甚至无法意识到AI产品给其带来的安全威胁。可见，厘清AI技术给未成年人带来的风险是进行有效治理的首要前提。基于安全视角，从未成年人的身心安全、资产安全、数据安全和社会安全等维度阐释AI技术带来的风险，可为提出全面而适切的AI治理举措奠定基础。

首先，在AI构筑的数字世界里复杂性和不确定性并存，可能给未成年人的身心健康与安全造成威胁。具体表现在：其一，诸如教育机器人、智能玩具等由算法控制的AI产品可能存在漏洞，威胁未成年人的健康或生命安全。印度特伦甘纳邦在中学到大学的统考中采用智能分数录入系统，由于系统故障，有些参加考试的学生被标记为缺考状态，导致多位考生自杀。其二，AI产品层出不穷，网络游戏成瘾、虚拟社交成瘾、网络欺凌/暴力等现象层见叠出，这种新型认知和社交模式会对未成年人的世界观产生重大影响，进而诱发未成年人忧郁、焦虑、自杀倾向等心理问题。其三，未成年人容易对AI技术及其衍生产品产生过度依赖，基于AI技术的学习资源推荐系统过度迎合未成年人的个性化需求，形成“过滤气泡”，产生“茧房效应”，助长未成年人的惰性思维和不良习惯，造成认知和意识形态上的封闭和僵化。

其次，AI技术给未成年人的资产安全带来挑战。一方面，AI技术赋能新型诈骗，例如基于“深度伪造”技术的影像诈骗不断涌现（许倩, 2022），但未成年人的心理防范意识较弱，相比成年人更容易上当受骗，其资金安全往往难以保障；另一方面，群智共享的AI时代鼓励未成年学生进行创新实践，但未成年人的知识产权意识薄弱，又缺少相应的产权保护机制，这无疑给了社会教育机构和组织可乘之机，致使未成年人的知识资产受到侵害。

再次，在数据、算法高度集成的AI时代，未成年学生使用AI产品在线学习或交互过程中留下海量痕迹，大大增加了数据泄露和隐私侵犯的风险（赵慧琼 等, 2016）。具体表现在：一是数据存储技术、数据权限划分和数据安全标准尚不明确，导致未成年学生的学习数据存在被泄露、删除和修改的风险；二是随着AI技术的进步，个人隐私的安全边界越发模糊，智能系统和学习分析技术可以从原先杂乱无章的数据中挖掘出学生的学习行为偏好甚至是画像特征等隐私，给学生带来隐私被侵犯的风险；三是数据使用权与归属权一直以来备受争议，在教育市场趋利模式支配下，学生的身份敏感信息和学习数据在不经允许的情况下被传播与贩卖，从而给学生造成精神压力和人格损害，甚至若此信息流向非法机构，则可能造成极为严重的教育安全问题。

最后，社会安全风险是指面向未成年人的AI产品的社会应用造成的风险。其一，AI算法以涵盖教育复杂性的海量异构数据为基本载体，现实境况是难以有足够完备的数据适用于复杂多样的教育场景，诸如“辛普森悖论”和“可用性偏差”等数据偏见给未成年人中的弱势或边缘化群体带来歧视风险，进而放大教育不公平现象，如英国艾伦图灵研究所（Alan Turing Institute, 2019）指出，可能影响儿童群体的首要潜在危害是由AI驱动的歧视和不公平；其二，算法的不透明性和不可解释性增大了未成年人盲目使用AI产品的可能性，他们往往只是“知其然而不知其所以然”，进而造成滥用、误用和错用的风险（郭胜男 & 吴永和, 2022）。

三、

面向未成年人的AI安全风险的根源透析

在了解AI技术给未成年人带来安全风险的基础上剖析其根源，是做好面向未成年人的AI安全风险治理的核心着力点。鉴于安全风险具有不可预测性、不确定性和多维性的特点，本研究基于对人、技术以及“人—技术”协调关系的理解，围绕未成年人的脆弱性、AI系统的内生特性和AI治理策略的适切性三个维度进行解构（如图1所示），三者之间存在着不同层级的内生性关系，既彼此独立又相互依存，可以全面而透彻地分析AI安全风险产生的根源。

图1 面向未成年人的AI安全风险的根源透析

（一）未成年人的脆弱性

未成年人是中国最大的弱势群体（孙云晓, 2011）。未成年人的脆弱性主要表现在生理成长、心理认知和情感与道德伦理等方面的不完善。换言之，未成年人群体的身心发育正处于不成熟到成熟的过渡时期，具有强烈的好奇心和求知欲，但缺乏自我保护的意识和能力，极易受到AI带来的负面影响。

在生理层面，未成年人的身体还处在生长发育阶段，骨骼、器官等尚未发育完全，脑部前额叶发育不全，这意味着预测结果的能力更弱，易冲动又缺乏自制力，导致他们自我保护和预防伤害的能力较差，难以适应外界带来的变化和挫折。在心理认知和情感层面，一方面，由于缺乏对世界规律的认知，尽管未成年人的智力和能力会有一定程度的成长，但仍缺乏对AI产品的感知、认知和辨识能力；另一方面，未成年人心理上渐趋成熟，独立意识产生，对成年人的依赖性减弱，情感色彩强烈，易冲动，此时的心理矛盾性明显，难以处理对AI产品的依赖等情感。与此同时，未成年时期又是自信心和自我价值发展的关键时期，表现为“以自我为中心”，容易将AI技术的好坏进行内部分化，把一切错误归结于自身（UNICEF, 2022b），这将严重影响未成年人的心理健康和发展。在道德伦理层面，克尔伯格（Kohlberg, 1969）认为：“道德伦理教育的目的是促进学生的道德判断和道德推理能力的发展，最终达到道德判断与道德行为的一致。”未成年人的品德发展进入了道德自律阶段，开始形成道德信念和道德理想，并可以自觉地用道德理念约束自己的行为，但此时的未成年人正处于道德判断不断发展但又尚未与道德行为达成一致的阶段。可见，在充满不确定性的AI时代，未成年人本身的脆弱性常常令他们处于“弱势”之中：于外，需要安全的AI学习环境和符合其权益的智能教育产品；于内，需要未成年人自身具备AI的基本认知、风险意识、智能素养等。

（二）AI系统的内生特性

AI系统以机器学习算法和数据为基石，因现阶段技术不成熟而自带“技术内生性”风险，例如“算法黑箱”、数据强依赖性、算法歧视等问题，这些问题内嵌于AI系统研发、设计制造、部署应用等环节，是产生安全风险的技术根源。

大数据和数据分析能力推动AI技术进一步发展，与依赖编程规则执行重复任务的早期算法不同，机器学习算法可以从海量数据中学习并在没有人类指导的情况下做出决策。可以说，AI系统决策是高度数据驱动且自主性的，人们无法了解从输入到输出的内在逻辑，这种“算法黑箱”降低了人们对决策行为的控制，难以提前验证其安全性（Koopman & Wagner, 2016）。在当前技术环境下，任何算法都无法保证完全安全可靠，在其研发、训练和测试等阶段存在诸多隐患，不法分子可能通过攻击漏洞控制AI决策行为，进而威胁未成年人的安全。此外，海量数据是AI算法优化的“燃料”，是其做出正确、公平、合理决策的基础，因此，数据的规模、准确性、完备性等质量因素和其中包含的社会价值和偏见也会影响AI系统的决策结果（刘三女牙 等, 2021）。AI的个性化推荐服务基于未成年人的学习足迹、学习兴趣等数据，自动根据他们的特定需求和学习偏好提供服务，不可避免地造成“信息茧房”，在限制未成年人学习内容深度和广度的同时，更加不利于他们独立思考以及批判性和创新性思维能力的锻炼。从长期发展来看，“茧房效应”会降低个人自主权，不利于未成年人心理健康发展。

（三）AI治理策略的适切性

未成年人的脆弱性和AI算法固有的技术特性均属于安全风险产生的内生根源，而缺乏适切的面向未成年人的AI治理策略则是导致风险的直接原因。目前各国政府颁布的AI治理策略多是适用于多个领域的通用型治理框架、监管策略和法律制度，多聚焦以价值引领风险防范，鲜有针对教育领域中未成年人的治理策略。究其原因，其一，鉴于AI技术的自主性，法律问责制度难以完善。机器学习决策行为很大程度上依赖于自我学习的机器学习过程，其决策结果可能超出了AI系统设计者、制造者和部署者等的控制范围和预期，一旦AI产品对未成年人造成伤害，如何划分法律责任是一大难点。问责制度的缺席放宽了对AI的管控力度，进而放大了AI带给未成年人的安全威胁。其二，AI技术创新与风险监管之间的权衡性。一方面，当前层出不穷的AI教育产品或服务将“类人”作为关键属性，不断追求技术创新发展，极可能陷入“工具理性至上”的技术误区，进而导致AI应用失范。正如社会学家安东尼·吉登斯（Anthony Giddens, 2000）所言：“我们所面对的最令人不安的威胁是那种人造风险，它来源于科学和技术不受限制的推进。”另一方面，当前教育领域的AI技术监管能力远远不及技术的更新速度（谭维智, 2019）。考虑到AI技术具有高度的不确定性和复杂性，过度监管将会阻碍技术创新与进步（Taeihagh, 2021），面对未成年人，传统的“一刀切”和“无需批准式”监管策略不再适用，亟须能权衡好AI创新与风险监管矛盾的策略。其三，以未成年人为中心的AI设计不仅需要满足未成年人的需求，还需要尊重他们的权利和权益。综观AI治理策略，他们征集了诸多利益相关者的看法，却忽略了未成年人对AI的需求和态度，不利于设计包容性AI系统以保障未成年人的权益与安全。

四、

治理进路：构建面向未成年人的AI安全风险治理生态系统

面对AI可能产生的安全风险，如何协调好AI技术创新发展与未成年人健康成长之间的关系是当前面向未成年人的AI安全治理的核心内容。值得注意的是，良好的AI安全风险治理不仅需要高屋建瓴的政策指引，还需要AI产品/服务提供者和使用者的多方参与。信息生态理论为其提供了系统化研究视角，信息主体、信息本体和信息环境三个要素之间相互作用、相互联系，形成具有一定自我调节功能的人工生态系统（韩秋明, 2017）。基于此，本研究以协调AI技术创新发展与未成年人健康成长为目标导向，以信息生态理论为理论依据，从顶层设计、风险防范和个体防护三个层面构建面向未成年人的AI安全风险治理生态系统（如图2所示），以不同层级之间的能量流动和信息传递为基础建立生态链接，实现该生态系统的良性循环和自治式演进，进而为未成年人与AI技术协调发展贡献治理良策。

图2 面向未成年人的AI安全风险治理生态系统

信息生态理论强调信息主体、信息本体与信息环境的三元结构（丁波涛, 2022），借鉴此模型，将面向未成年人的AI安全风险治理生态系统解析为生态主体、信息本体和生态环境三个核心要素之间的作用机理。生态主体是指与治理活动相关的主体要素，由政府部门、产品/服务提供者和教育用户构成。其中，政府主要制定与AI应用相关的政策制度、法律规范、标准规范、技术规范，明确责任归属，给AI产品/服务提供者和教育用户提供系统性的政策保障，给面向未成年人的AI安全风险治理提供顶层引导；产品/服务提供者包括AI系统研发者、设计制造者、部署应用者等，以未成年人为中心进行设计，将设计规范覆盖AI系统、产品和服务的全生命周期；教育用户主体包括教师、家长和未成年人等，教育用户不可恶意使用AI产品或服务，需要主动了解AI安全风险，积极向政府和产品/服务提供者反馈。信息本体是指在治理过程中的客体要素，包括技术设施、需求反馈以及具体的政策、法规、标准和技术规范等。生态环境是指在治理过程中与主体和客体相关的环境要素，包括AI伦理政策环境、AI技术发展环境、未成年人成长环境和教育价值导向环境。

风险治理的有效实现依赖于生态系统的双向循环演进和信息传递：政府部门通过制定法规、制度、标准和技术规范等规范AI产品的生产过程，为教育用户提供负责任的AI产品或服务；教师、家长和未成年人等教育用户将AI使用过程中产生的安全问题或需求反馈给政府部门，政府部门进一步制定更加适切的规范制度。教育用户的动态需求是提升智能教育服务质量的关键（赵磊磊 等, 2022），教育用户将AI应用的安全需求或问题反馈给产品/服务提供者，产品/服务提供者将技术规范和伦理标准纳入AI系统的研发、设计制造和部署过程，并向政府部门反馈统一的技术规范和伦理需求，政府部门发布统一的政策制度保障未成年人等教育用户的安全和权益。在此双向循环过程中，生态系统各要素之间相互适应、相互依存，通过不断平衡外部生态环境以及调整和重组内部资源实现生态系统的自治演进和动态平衡。

（一）顶层引导：制定支持未成年人发展的AI策略

AI技术正在从根本上改变世界，影响着现在和未来几代未成年人。如何维护未成年人的权利和支持他们的发展是亟须解决的核心议题，正如《儿童权利公约》中规定的，每个18岁以下的儿童都享有充分发挥其潜力的权利（United Nations, 1989）。AI系统可以维护或损害未成年人的权益，这取决于他们的使用方式，因此制定能够支持未成年人发展的AI策略，不仅能够助力未成年人健康发展，还是面向未成年人的AI安全风险治理生态系统中的关键一环。就具体AI 策略而言，可从以下几个方面来阐释：首先，针对未成年人制定AI发展策略，以尊重未成年人权益为导向，在保障未成年人安全的基础上鼓励AI创新发展，平衡技术创新与监管之间的矛盾。其次，在AI策略中明确未成年人隐私问题，规范个人信息与隐私数据的伦理边界，并将其应用于AI的设计与实施，鼓励开发人员采用最少数据处理原则和基于设计的隐私保护方法。再次，给AI产品/服务提供者提供统一的技术规范和伦理规范，要求AI系统研发者、设计制造者和部署者在AI产品投放的每个环节都按照一定的技术规范执行，并优先考虑未成年人的需求与权益；然后针对未成年人实施包容性设计和持续性风险评估策略，一方面鼓励未成年人有意识地参与AI系统的设计与实施，另一方面基于风险的方法进行影响评估，严格把控高风险AI产品的投放和应用，针对中低风险产品建立长期追踪和周期性安全评估机制。最后，设置专门针对未成年人的AI法律监督机构，建立严格的审查和追责机制，明确AI致害的责任主体和因果关系，严厉惩处滥用AI侵害未成年人权益的个人和组织。

（二）风险防范：嵌入以未成年人为中心的AI设计规范

在AI技术尚未给未成年人造成损害之前对其进行预防极为必要。“科林格里奇困境”表示：“一项技术的社会后果无法在技术生命的早期被预料到，当不希望的后果发生时，技术已成为经济和社会结构的一部分，对它的控制将十分困难。”（Mayne, 1982）《新一代人工智能发展规划》强调，要“建立健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双重监管结构，实现对AI系统设计、产品研发及服务应用等全流程监管”（国务院，2017）。《AI伦理安全风险防范指引》为开展AI系统开发、设计制造、部署应用等活动提供指引，以充分识别、防范和管控AI伦理安全风险（全国信息安全标准化技术委员会, 2022）。可见，从AI教育产品开发的全流程着手，可以有效规避AI风险，给未成年人提供负责任的智能教育产品或服务。基于此，本研究着眼于AI系统研发、AI产品设计制造和AI服务部署应用三个流程，通过嵌入以未成年人为中心的设计规范（如图3所示），开发负责任的AI教育产品和服务，为AI教育服务提供者提供镜鉴。

图3 以未成年人为中心的AI设计规范

首先，是风险防范的上游——AI教育系统研发阶段。AI教育系统研发是指致力于开展AI理论研究、数据集规约与选择、算法设计与模型迭代以及系统决策制定的过程。为了在AI系统研发过程中保障未成年人的权益与安全，对AI教育系统研发者提出以下期望：①研发者在系统研发之前需要充分了解AI相关理论和未成年人的需求与期望，以保障未成年人基本权益为目的开发AI系统；②为保证AI系统对未成年人的透明性、公平性和平等性，系统开发人员将个人偏好、算法的选取与设计以及数据集的选择等关键决策与保障未成年人安全和权益的框架与指标挂钩，并采用改善未成年人福祉的措施作为系统质量的主要标准；③为保障未成年人的数字权益，研发者需要设置未成年人参与系统研发的接口，支持未成年人对其个人数据和隐私的代理，强化他们获得访问、安全共享、了解使用、控制和删除数据的权限；④研发者需采用迭代式和参与式设计的方法进行AI算法设计与训练，充分考虑未成年人的认知、情感和身体健康等隐私，切实保障其对未成年人的包容性和可解释性。

其次，是风险防范的中游——AI教育产品的设计制造阶段。AI教育产品设计/制造是指利用AI理论或技术开展相关教育活动，将上游的AI算法或者模型嵌入硬件设施，形成具有特定功能、满足特定教育需求的智能产品（如教育机器人）。设计制造者需要遵循以未成年人为中心的规范，规避可能存在的安全风险。具体如下：第一，设计/制造者要保证AI教育产品有助于挖掘未成年人的潜力，同时，通过嵌入隐私规范、安全规范和访问途径等伦理措施，避免制造损害未成年人权益和公共利益的产品；第二，在整合软件和硬件设施的过程中，极有可能产生一系列安全风险和隐患，通过建立风险评估和隐患排查机制，编制隐患清单、制定排查计划、开展定期隐患排查，并向部署应用者提供清晰、详尽的AI产品说明，包括功能局限、注意事项、潜在风险和隐患等（全国信息安全标准化技术委员会, 2022）；第三，未成年人的思维活动、身心需求和行为存在较高的不确定性，设计制造者应预设好事故应急预设方案（如紧急干预措施和事故处理流程等），并通过设置信息回溯机制，进一步追溯事故发生的根源，明确责任归属，不断反思以提高产品的可控性。

最后，是风险防范的下游——AI教育产品/服务的部署应用阶段。AI教育产品/服务部署应用是指在各类教育场景中提供AI系统、产品或服务的过程（如学校开设智慧学习课堂）。首先，部署应用者以未成年人的成长需求和权益为中心，遵循AI伦理规范进行产品部署，不以AI作为直接决策手段；其次，部署应用者应以适合未成年人年龄水平和包容性的方式提供详尽的产品或服务功能局限说明，并解释如何使用和维护他们的数据、隐私以及可能产生的后果；最后，部署应用者应充分尊重教育用户的数据知情权和监督权，让家长或未成年人知晓“收集了哪些数据、这些数据有何用途”等，并为其提供拒绝机制，及时响应教育用户反馈的安全问题，以便于操作的方式干预或者停止提供AI服务。

（三）个体防护：提升教育用户的AI核心素养

教育用户是指在各类教育场景中接受、购买和使用AI系统、产品或服务的组织或个人，包括教师、家长/监护人、未成年人等。AI创新发展与政府监管、企业规划和用户行为之间的关系错综复杂，规避风险不能完全依赖外部治理，还应该重视培养教育用户自身的自律意识，尤其是AI核心素养的提升。因此，加强教育用户的AI核心素养培育是保障该生态系统自治演进、动态平衡的关键所在，也是规避AI安全风险的最后一道防线。

随着AI技术的不断成熟，AI核心素养的研究正如火如荼。有学者认为AI核心素养不仅包括与AI相关的知识与能力，还包括与AI技术使用相关的态度与伦理（张银荣 等, 2022）。可见，要想提升教育用户的AI核心素养，需从知识、技能、态度、伦理等方面着手，培养个体适应智能社会所必备的素质。对教师而言，在大多数教育场景中，教师是连接AI与学生的中介要素，这就要求教师必须成为“AI识字者”。其一，通过组织教师AI专业知识培训，培养“AI种子教师”，用“以点带面”的形式助力教师掌握AI知识和技能，理解AI本身的风险结构，防止AI的滥用、误用和错用（郭胜男 等, 2022）。其二，通过构建AI教师学习共同体，组织市级或区级AI研讨活动，帮助教师主动了解AI教育应用可能带来的风险，提高AI风险意识，积极向研发者、设计制造者和部署应用者反馈风险信息，避免“新数字鸿沟”的出现（王宇 & 汪琼, 2022）。对家长而言，家长或监护人是家庭、场馆等教育场景的重要参与者，在降低风险方面发挥着重要作用，有责任选择符合伦理道德设计的产品，并帮助未成年人负责任地使用它们。因此，家长应该与未成年人一起参与AI教育培训，了解AI产品和服务将如何影响未成年人的学习和生活，针对不同年龄段的未成年人和个人特征审慎选择尊重未成年人权利、以未成年人为中心的AI产品。除此之外，在数据授权方面，家长或监护人要拥有“知情同意”的权利意识，对个人信息和隐私有清晰的认知，一旦发生安全事故，主动终止产品使用，积极向产品提供者和政府部门反馈。对未成年学生而言，他们在生理、心理认知与情感、道德伦理方面尚未完全发育，可从以下几点进行核心素养培育：第一，以AI为教学内容在中小学实施AI教育，如开设AI校本课程、在信息技术课程中融入AI等，培养学生对AI的感知、认知和运用；第二，学校或教育部门设计并组织AI编程或知识科普竞赛，使学生在准确使用AI知识的基础上提升计算思维、创新性思维和批判性思维，深化儿童和青少年对AI带来的机遇和风险的均衡认识；第三，周期性地开展心理健康和道德伦理教育，使学生认识AI应用的道德规范与责任边界，了解他们作为用户的基本权利，在增强维护自身权益意识的同时，避免对AI产生过度依赖。

五、

结语

AI风险治理已成为社会各领域重点关注的议题。未成年人是伴随AI成长的Z世代，通过数字化、智能化产品认识世界，其生活和学习无不与AI产品息息相关，可见AI技术正潜移默化地影响未成年群体的成长与发展。如何妥善应对AI给未成年人带来的安全风险，为其提供符合成长特点、负责任的AI产品和服务是智慧教育时代的当务之急。本研究在省思AI技术给未成年人带来的安全风险及其根源的基础上，从顶层设计、风险防范和个体防护三个层面构建面向未成年人的AI安全风险治理生态系统，以此为未成年人与AI技术协调发展贡献治理良策。本文以未成年学生群体为研究对象，从未成年人安全的视角系统化回应面向未成年人的AI风险治理问题，对推进“面向未成年人的AI技术规范研究”很有必要。但值得注意的是，不同年龄段和学段的未成年人的认知和心理存在不同层次的差异，面对AI技术和产品遇到的风险也会参差错落。因此，未来需将未成年群体进行更细粒度的划分，针对不同阶段的未成年人的发展特征进行技术规范的落地实践，为促进未成年人与AI协调发展提供实践路向。

参考文献

安东尼·吉登斯. （2000）. 现代性的后果（田禾 译）. 译林出版社.

北京智源人工智能研究院. （2020）. 面向儿童的人工智能北京共识. 中国科技网站. http://m.stdaily.com/index/kejixinwen/2020-09/14/content_1017886.shtml

丁波涛. （2022）. 基于信息生态理论的数据要素市场研究. 情报理论与实践，45（12），36-41，59.

郭胜男，& 吴永和. （2022）. 社会角色理论视域下的人工智能时代教师：困厄、归因及澄明. 电化教育研究，43（06），18-24，60.

郭胜男，吴永和，& 张治. （2022）. 人工智能教育大脑模型构建及实践路径. 开放教育研究，28（04），22-30.

国务院. （2017）. 国务院关于印发新一代人工智能发展规划的通知（国发〔2017〕35号）. 中华人民共和国中央人民政府网站. http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm

韩秋明. （2017）. 基于信息生态理论的个人数据保护策略研究——由英国下议院《网络安全：个人在线数据保护》报告说开去. 图书情报知识（02），94-104.

刘三女牙，刘盛英杰，孙建文，沈筱譞，& 刘智. （2021）. 智能教育发展中的若干关键问题. 中国远程教育（04），1-7，76.

全国信息安全标准化技术委员会. （2022）. 关于发布《网络安全标准实践指南——人工智能伦理安全风险防范指引》的通知. 全国信息安全标准化技术委员会网站. https://www.tc260.org.cn/front/postDetail.html?id=20210105115207

孙云晓. （2022）. 未成年人是中国最大的弱势群体. 中国新闻网. https://www.chinanews.com.cn/cul/2011/01-10/2775656.shtml

谭维智. （2019）. 人工智能教育应用的算法风险. 开放教育研究，25（06），20-30.

王一岩，& 郑永和. （2021）. 智能教育产品：构筑基于AIoT的智慧教育新生态. 开放教育研究，27（06），15-23.

王宇，& 汪琼. （2022）. 人工智能助推教师专业发展的若干思考. 中国远程教育（01），12-19，92.

许倩. （2022）. 强教育与弱感知：高校安全教育中正式和非正式制度对大学生风险感知的影响——基于电信诈骗的多案例研究. 广州大学学报：社会科学版，21（02），32-43.

尤瓦尔·郝利拉. （2017）. 未来简史：从智人到智神（林俊宏 译）. 中信出版社.

张银荣，杨刚，徐佳艳，曾群芳，& 陈际焕. （2022）. 人工智能素养模型构建及其实施路径. 现代教育技术，32（03），42-50.

赵慧琼，姜强，& 赵蔚. （2016）. 大数据学习分析的安全与隐私保护研究. 现代教育技术，26（03），5-11.

赵磊磊，张黎，& 王靖. （2022）. 智能时代教育数据伦理风险：典型表征与治理路径. 中国远程教育（03），17-25，77.

中华人民共和国中央人民政府. （2020）. 中华人民共和国未成年人保护法. 中华人民共和国中央人民政府网站. http://www.gov.cn/xinwen/2020-10/18/content_5552113.htm

Alan Turing Institute. （2019）. Understanding AI Ethics and Safety for Children. UNICEF. https://www.unicef.org/globalinsight/media/2321/file

Klein，C. （2013）. Maturation of the Prefrontal Cortex. bridges 2 understanding. https://bridges2understanding.com/maturation-of-the-prefrontal-cortex

Kohlberg, L.，& Hersh, R. H. （1969）. Moral development: A review of the theory. Theory Into Practice，16（2）:53-59.

Koopman，P.，& Wagner，M. （2016）. Challenges in autonomous vehicle testing and validation. SAE International Journal of Transportation Safety，4（1），15–24.

Mayne，A. J. （1982）. The social control of technology. Journal of the operational research society，33（8），771-772.

Taeihagh, A. （2021）. Governance of artificial intelligence. Policy and Society，40（2），137-157.

UNICEF. （2022a）. Policy guidance on AI for children. UNICEF. https://www.unicef.org/globalinsight/reports/policy-guidance-ai-children

UNICEF. （2022b）. AI for children. UNICEF. https://www.unicef.org/globalinsight/featured-projects/ai-children

United Nations. （1989）. Convention on the Rights of the Child. United Nations. https://www.ohchr.org/en/instruments-mechanisms/instruments/convention-rights-child

WEF. （2022）. Artificial Intelligence for Children. WORLD ECONOMIC FORUM. https://www.weforum.org/reports/artificial-intelligence-for-children/c-suite

WHO. （2010）. Global recommendations on physical activity for health. World Health Organization. https://www.who.int/publications/i/item/9789241599979

Artificial Intelligence Security Risks for Minors: Risk Clarification, Root Cause Analysis and Governance Approaches

Shengnan Guo, Yu Qian, Huina Wu and Yonghe Wu

Abstract:Under the background of the era when artificial intelligence has brought profound impacts on society, the effects of AI innovation and development on the group of minors have attracted the attention from various sectors of society. AI has brought unprecedented security threats while providing minors with a new space for growth. In view of this, based on the safety perspective of minors, this paper reflects on the safety risks brought by AI to minors, and analyzes the root causes from three dimensions: the vulnerability of minors, the endogenous characteristics of AI systems, and the suitability of AI governance strategies. Based on the information ecosystem theory, an AI security risk governance ecosystem for minors is constructed from three levels: top-level design, risk prevention, and individual protection. In this way, a security shield for AI applications for minors should be built so as to ensure that AI educational products provided to minors are designed in accordance with regulations, and safeguard their safety and rights, and promote the coordinated development of minors and AI.

Keywords:minors; artificial intelligence; security risk; risk governance; key competencies; ecosystem

作者简介

郭胜男，华东师范大学教育信息技术学系博士研究生。

钱雨，华东师范大学教育信息技术学系硕士研究生。

吴慧娜，华东师范大学教育信息技术学系硕士研究生。

吴永和，华东师范大学教育信息技术学系研究员（通讯作者：yhwu@deit.ecnu.edu.cn）。

基金项目：本文系国家社会科学基金2021年度重大项目“面向未成年人的人工智能技术规范研究”（项目编号：21&ZD328）的研究成果。

责任编辑：刘莉韩世梅

2023年第7期目次