课程简介
第一期课程,我们建立了泛函分析的基本认知框架:什么是函数空间,什么是希尔伯特空间,如何用对偶空间里的“核方法”去测量函数,从而找到需要的原函数,以及函数测量需要满足哪些技术条件。
第二期,在这个基础上往前走一步:把第一期建立的那些直观,变成可以具体计算、可以写出证明、可以直接用于阅读和写作论文的工具。
这一期不再以介绍概念为主,而是每一讲都从一个具体问题出发。问题来自机器学习里实际出现的情形,训练为什么不收敛、正则化为什么能保证解存在、网络的逆为什么不稳定、生成模型为什么能让分布发生变化,然后回到泛函分析,讲清楚支撑这些问题的那套数学,最后落到一两个可以动手做的小例子上。
每一讲会配两类例子。一类是简单例,帮助把抽象的定义落到具体计算;一类是复杂例,取自近年的论文,看这些工具在真实研究里怎么用。
需要说明的是,这门课的大纲不是固定的。它跟着参与的人走,随着学员的反馈和课堂上的讨论,内容会做相应调整。这也是这门课招募助教团队的原因,想学得深一层的人,可以以助教的身份,参与这一过程。
课程内容
第 1 讲 弱收敛与极小值的存在性。从弱收敛的定义进入变分分析,讨论直接法:当泛函满足反身性、强制性与弱下半连续性时,极小化问题为什么通常有解。用无限维 Tikhonov 问题做例子,并以一篇 2026 年的论文说明神经网络结构本身如何作为一种正则化机制。
第 2 讲 对偶性与鲁棒性。在 Riesz 表示定理的基础上,把对偶性从 Hilbert 空间推广到一般 Banach 空间。核心是一组对偶范数的公式,它直接说明:选择哪一种扰动范数,就对应哪一种对偶梯度范数。应用到 SVM 的对偶问题、ℓ₁ 与 ℓ₂ 鲁棒性的比较、对抗扰动与对偶正则项的关系。
第 3 讲 次梯度、近端算子与算子分裂。介绍次微分、极大单调算子、近端算子与 resolvent,以及 forward-backward 分裂、Douglas–Rachford 等算子分裂方法。从 Lasso 推导 ISTA,并说明一个有意思的事实:ReLU 其实是一个近端算子,神经网络展开可以理解为“学习一个迭代算子”。
第 4 讲 算子稳定性与病态逆问题。把第一期“小奇异值放大噪声”的直觉发展成严格理论:有界逆定理、紧算子的谱结构、无限维紧算子逆通常不连续,以及 Tikhonov 谱滤波。讨论图像去模糊、超分辨与神经算子,说明网络拟合得再好,逆问题仍然可能不稳定。
第 5 讲 半群与连续深度模型。从单个算子转向算子族,介绍强连续半群、生成元、Gronwall 不等式与耗散性,说明 ResNet 如何离散化、如何取连续时间极限,并介绍 Neural CDE 如何处理不规则采样的时间序列。
第 6 讲 隐式层、DEQ 与隐式微分。进入隐式微分:若平衡点由方程定义,反向传播只需解相应的伴随方程。讨论收缩是充分而非必要条件,讨论特征值接近 1 时前向与反向为何同时恶化,以及单调算子如何保证隐式网络存在唯一平衡点。
第 7 讲 概率测度空间与分布距离。把不同的分布距离统一写成积分概率度量,说明 MMD、Wasserstein、KL 与 total variation 为什么看到的是分布的不同侧面,以及它们对应的收敛概念有什么不同。
第 8 讲 扩散与流匹配的泛函分析基础。建立从“点的动力学”到“分布的动力学”的转变,讲授 Fokker–Planck 方程、Langevin 半群、score、正向扩散与反向时间 SDE、probability-flow ODE,以及 flow matching 与连续性方程。
第 9 讲 神经算子与连续注意力。讨论神经算子逼近的到底是离散矩阵,还是函数空间之间的映射。比较 DeepONet、FNO 与 attention 作为积分算子的不同,并讨论为什么“换一个分辨率仍能工作”需要额外的理论。
第 10 讲 Bellman 算子与 Agent 系统。从固定策略的 Bellman 算子出发,扩展到 Markov 算子、Koopman 算子与测度推进的对偶关系、distributional Bellman operator,以及多 agent 情况下 memory、planner、tool 等模块的算子复合与长期误差放大。
面向对象
这门课适合两类人。
一类是从事机器学习、人工智能相关工作的人。你们每天在用的那些模型:正则化、对抗训练、ISTA、Neural ODE、DEQ、Diffusion、FNO、强化学习,背后都站着同一套数学。这门课讲清楚这套数学,学完再看论文里的“紧性”“对偶”“半群”“谱”,就不再是陌生的名词,而是可以拆开、可以计算、可以用到自己的工作里去的工具。
另一类是学数学的人。如果觉得泛函分析是一门由孤立定理构成的基础课,这门课想让你看到它的另一面:这些定理怎样直接解释现代智能系统为什么能收敛、为什么会发散、会在哪里出问题。
建议具备一定的函数、向量与矩阵基础,最好已经接触过第一期的基本框架;如果对机器学习中的常见模型有大致了解,会学得更顺畅。
主讲老师
贾伊阳,东京都市大学讲师,曾任日本女子大学、成蹊大学助理教授,研究方向涵盖计算复杂性、算法及范畴相关理论。集智学园《范畴论与机器学习》《面向应用的泛函分析》课程讲师。她的讲课风格细致入微、逻辑清晰,声音甜美,是集智社区中备受学员喜爱的人气讲师。
贾伊阳老师近期与耶鲁大学数字伦理中心创始主任、信息哲学家Luciano Floridi展开合作,共同运用范畴论等数学工具,系统探讨人工智能的边界与安全性问题。
双方围绕大语言模型的语义基础、AI系统的形式化建模以及智能体的因果推理等方向,合作发表了多篇学术论文,从数学哲学层面为理解AI的能力边界、幻觉来源与可靠性提供了新的分析框架。
贾老师也将在后续课程中介绍这一系列合作成果,欢迎关注。
招募助教团队
这门课设有助教团队,协助课程运转。助教的工作主要有四项:
· 收集课堂反馈,整理学员在学习过程中遇到的困难和疑问;
· 提出课程优化的建议;
· 配合讲师,共同准备下一堂课的内容。
· 组织学员进行教材的编订。
前面的说明里提到,这门课的内容会随着学员反馈做相应调整;助教正是落实这件工作的那一环。
报名助教需为本期课程的报名学员,集智将根据学员的背景及在集智社区的参与情况择优确定。入选助教需完成两期课程的字幕任务。
助教回馈方面,入选助教完成基本助教工作后将退还全部学费;表现优秀的助教,还可增加奖学金绩效。
如果你希望不只是听课,而是真正参与进这门课的组织与打磨,欢迎报名助教。
泛函分析与人工智能教材编订计划
由于市面上尚未有一本系统编著的泛函分析与人工智能教材,我们决定从学员中招募作者,根据老师的讲课内容,共同编订一本真正适用的教材。这将是国内第一本泛函分析与人工智能教材,我们希望你的名字也能留在上面。
课程信息
· 泛函分析(二)
· 每两周一次课,固定在周二晚 7:30(即隔周二)
· 首讲时间:9月8日(周二)晚 7:30
· 线上腾讯会议直播 + 回放
· 学费:¥499(早鸟价 ¥199,9月8日之前报名享早鸟价)
真实学员反馈
:贾老师的第一期课程中,为我们介绍了泛函的基本定义,什么是函数空间,介绍了常用的希尔伯特空间,如何用核方法去测量函数(对偶空间)来找到我们需要的原函数,在做泛函的过程中,还讲了很多技术细节,就是怎么测量函数,需要满足哪些要求等等。
通过初步学习和了解,我们理解了物理、机器学习的内部工作原理,理解了诸如无限宽度的神经网络约等于一个核方法,知道了如何从数学思维理解机器学习。
希望在第二期的学习中,更够更加了解到解决前沿高维数学问题的泛函分析思想和方法。
:贾老师讲得很好,从头到尾把一门课讲得这么体系化,非常难得。课程内容扎实,逻辑清晰,听下来收获很大。
如果后续课程深入,我特别期待能听到以下几块内容:变分法与最优化、线性算子理论、三大定理(Hahn-Banach、一致有界性、开映射与闭图像)、谱定理。这些方向非常实用,对我们的研究和应用都会有直接的帮助。
热门跟贴