概览

本期分享与计算社会科学读书会之间的关系

通过介绍联邦学习与群体学习两种机器学习网络框架，启发计算科学读书会的研究者们思考如何在确保数据隐私、模型安全等前提下完成跨机构合作。


本期分享与复杂系统之间的关系

群体智能是在互联网高速普及下诞生的人工智能新范式。然而，数据孤岛与数据隐私保护问题导致群体间数据共享困难，群体智能应用难以构建。本次分享主要介绍了联邦学习（federated learning）与群体学习（swarm learning）两种新兴的打破数据孤岛、联合构建群智模型的重要方法。


主要涉及到的知识概念联邦学习（Federated Learning, FL）

联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，旨在让分散的各参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。

经典联邦学习框架的训练过程可以简单概括为以下步骤：

  • 协调方建立基本模型，并将模型的基本结构与参数告知各参与方；

  • 各参与方利用本地数据进行模型训练，并将结果返回给协调方；

  • 协调方汇总各参与方的模型，构建更精准的全局模型，以整体提升模型性能和效果。

联邦学习框架包含多方面的技术，比如传统机器学习的模型训练技术、协调方参数整合的算法技术、协调方与参与方高效传输的通信技术、隐私保护的加密技术等。此外，在联邦学习框架中还存在激励机制，数据持有方均可参与，收益具有普遍性。

Google首先将联邦学习运用在Gboard（Google键盘）上，联合用户终端设备，利用用户的本地数据训练本地模型，再将训练过程中的模型参数聚合与分发，最终实现精准预测下一词的目标。

除了分散的本地用户，联邦学习的参与者还可以是多家面临数据孤岛困境的企业，它们拥有独立的数据库但不能相互分享。联邦学习通过在训练过程中设计加密式参数传递代替原有的远程数据传输，保证了各方数据的安全与隐私，同时满足了已出台的法律法规对数据安全的要求。


联邦学习的主要特征

多方协作：有两个或以上的联邦学习参与方协作构建一个共享的机器学习模型。每一个参与方都拥有若干能够用来训练模型的训练数据。

各方平等：联邦学习的参与方各方之间都是平等的，并不存在高低贵贱；

数据隐私保护：在联邦学习模型的训练过程中，每一个参与方拥有的数据都不会离开该参与方，即数据不离开数据拥有者。

数据加密：联邦学习模型相关的信息能够以加密方式在各方之间进行传输和交换，并且需要保证任何一个参与方都不能推测出其他方的原始数据。


群体学习（Swarm Learning, SL）

群体学习是一个数据隐私保护框架，通过区块链技术，分散基于机器学习的系统。

这些数据或“学习成果”不会被送到中心位置，从而实现在医院或汽车之间共享。

群体学习的主要特征

这种部署是现存系统中最常使用的部署类型。联邦学习与群体学习一样好用。但它仍然是以中心位置的形式存在。系统在本地进行训练，原始数据停留在本地边缘。但是学习部分—神经网络刻度/参数/权重，被转移到了一个中心位置。这就解决了隐私问题。“学习”模型只是一堆数字，不会透露有关患者或驾驶员的信息。但是，中心位置仍然是一个薄弱环节。

群体学习 (SL) 没有中心位置。和联邦学习一样，群体学习的训练是在局部/边缘进行的。并且，在群体学习中，即使是学习内容也不能通过中央专用服务器共享。这些是用区块链技术交换学习的成果。

内容简介

群体智能是在互联网高速普及下诞生的人工智能新范式。然而，数据孤岛与数据隐私保护问题导致群体间数据共享困难，群体智能应用难以构建。本次分享主要介绍了联邦学习（federated learning）与群体学习（swarm learning）两种新兴的打破数据孤岛、联合构建群智模型的重要方法。

首先，介绍联邦学习的基础概念以及其与群体智能的关系，并引入医疗领域的数据共享与合作；其次，基于群体智能视角，向大家介绍联邦学习在新冠为代表的医疗领域应用的nature文献；而后进一步介绍关于群体学习模型的基础概念，以及相应的新冠、结核病等医疗领域的应用的另一篇发表于nature的文献；最后，通过反思与对更多相关文献的简单讲解，对联邦学习、群体学习为代表的群体智能研究方法在大流行病、精准医疗领域的应用进行总结与展望。

讲师介绍

任卡娜

复旦大学上海医学院临床医学（八年制）在读

课程学习

学习地址：

https://campus.swarma.org/course/4537

计算社会科学读书会第二季招募中

计算社会科学读书会第二季 由清华大学罗家德教授领衔，卡内基梅隆大学、密歇根大学、清华大学、匹兹堡大学的多位博士生联合发起，自2022年6月18日开始，持续10-12周。本季读书将聚焦讨论Graph、Embedding、NLP、Modeling、Data collection等方法及其与社会科学问题的结合，并针对性讨论预测性与解释性、新冠疫情研究等课题。读书会详情及参与方式见文末，欢迎从事相关研究或对计算社会科学感兴趣的朋友参与。

更多关于VIP介绍，请点击查看：

集智学园公众号：swarmAI

集智学园官网：campus.swarma.org