导语
集智学园联合东京都市大学贾伊阳老师共同开设。本期课程将在函数空间、Hilbert 空间与对偶空间等基础上,把第一期介绍的泛函分析直观概念,发展为可计算、能证明、有助于阅读和写作人工智能领域论文的研究工具。课程共十讲,围绕“算子基础与变分”、“连续深度模型”、“分布与生成模型”和“算子与智能体”四个板块展开。首先讨论解的存在性、稳定性与优化方法,随后进入 Neural ODE、DEQ 等连续深度模型,再从概率测度空间理解扩散模型与流匹配,最终延伸至神经算子、连续注意力、Bellman 算子及多智能体系统,建立泛函分析与现代人工智能之间的系统联系。
作为第二期第一讲,贾伊阳老师将以「弱收敛与极小值的存在性」为主题,从下确界、极小值与极小化序列出发,通过 ℓ² 标准基反例说明无限维空间中“有界不等于紧”,进而辨析强收敛与弱收敛,梳理对偶空间、反身性、弱紧性与弱闭性之间的关系。在此基础上,课程将严格陈述并证明变分法的直接法,说明强制性与弱下半连续性如何共同保证极小值的存在,并讨论唯一性条件。课程还将以无限维 Tikhonov 正则化和深度神经网络的架构正则化为例,分析病态逆问题、正规方程与高频噪声抑制,进一步理解网络宽度、深度和参数半径如何参与正则化,以及偏差原则如何保证有限步停止与噪声趋零时的收敛。正式分享将于 9 月 8 日(周二)19:00—20:30 进行。
课程简介
本讲首先从无限维优化中“有界序列未必存在强收敛子列”的困难出发,引入弱收敛、反身空间和弱紧性。随后严格介绍变分法直接法,说明强制性、反身性、约束集的弱闭性以及泛函的弱下半连续性如何共同保证极小值存在,并以无限维 Tikhonov 正则化和对角紧算子为例说明其具体应用。
在此基础上讲解论文 Deep Neural Network Yields Regularization for Ill-Posed Inverse Problems:将网络宽度、深度和参数范围视为可逐步扩张的正则化参数,介绍有界参数网络类的紧性、逼近误差、两空间结构、目标泛函、两种扩张算法及偏差原则。最后说明论文关于极小值存在、算法有限步停止和噪声趋零时解收敛的主要结论,并讨论这种架构正则化方法的意义与局限。
课程大纲
1、无限维优化与弱收敛
a. 下确界、极小值与极小化序列
b. 无限维空间中“有界不等于紧”:$$\ell^$$ 标准基反例
c. 强收敛与弱收敛的定义及区别
2、反身性与弱紧性
a. 对偶空间、双对偶空间与反身空间
b. Eberlein–Šmulian 定理:有界序列的弱收敛子列
c. 弱闭性:保证约束条件在取极限时不丢失
3、变分法的直接法
a. 强制性:保证极小化序列有界
b. 弱下半连续性:保证弱极限取得极小值
c. 直接法的严格陈述、证明与唯一性条件
4、无限维 Tikhonov 正则化
a. 对角紧算子与逆问题的病态性
b. Tikhonov 泛函的极小值存在性与唯一性
c. 正规方程、显式解与高频噪声抑制
5、深度神经网络的架构正则化
a. 病态算子方程与含噪观测模型
b. 有界参数网络类及其紧性
c. 网络逼近误差与“两空间”结构
d. 网络宽度、深度和参数半径的自适应扩张
e. 偏差原则、有限步停止与噪声趋零时的收敛
6、总结:从直接法到神经网络正则化
a. 直接法条件与论文假设的对应关系
b. 网络架构作为正则化参数的数学含义
c. 理论保证、数值结果及方法的局限性
主讲老师
贾伊阳,东京都市大学讲师,曾任日本女子大学、成蹊大学助理教授,研究方向涵盖计算复杂性、算法及范畴相关理论。集智学园《范畴论与机器学习》《面向应用的泛函分析》课程讲师。她的讲课风格细致入微、逻辑清晰,声音甜美,是集智社区中备受学员喜爱的人气讲师。
贾伊阳老师近期与耶鲁大学数字伦理中心创始主任、信息哲学家Luciano Floridi展开合作,共同运用范畴论等数学工具,系统探讨人工智能的边界与安全性问题。
双方围绕大语言模型的语义基础、AI系统的形式化建模以及智能体的因果推理等方向,合作发表了多篇学术论文,从数学哲学层面为理解AI的能力边界、幻觉来源与可靠性提供了新的分析框架。
贾老师也将在后续课程中介绍这一系列合作成果,欢迎关注。
面向对象
这门课适合两类人。
一类是从事机器学习、人工智能相关工作的人。你们每天在用的那些模型:正则化、对抗训练、ISTA、Neural ODE、DEQ、Diffusion、FNO、强化学习,背后都站着同一套数学。这门课讲清楚这套数学,学完再看论文里的“紧性”“对偶”“半群”“谱”,就不再是陌生的名词,而是可以拆开、可以计算、可以用到自己的工作里去的工具。
另一类是学数学的人。如果觉得泛函分析是一门由孤立定理构成的基础课,这门课想让你看到它的另一面:这些定理怎样直接解释现代智能系统为什么能收敛、为什么会发散、会在哪里出问题。
建议具备一定的函数、向量与矩阵基础,最好已经接触过第一期的基本框架;如果对机器学习中的常见模型有大致了解,会学得更顺畅。
报名须知
课程信息:
· 泛函分析(二)
· 每两周一次课,固定在周二晚 7:30(即隔周二)
· 首讲时间:9 月 8 日(周二)晚 7:30
· 线上腾讯会议直播 + 回放
· 学费:¥499
付费流程:
课程页面添加学员登记表,添加助教微信入群;
课程可开发票。
课程共创任务:课程字幕
为鼓励学员深度参与、积极探索,我们致力于形成系列化知识传播成果,并构建课程知识共建社群。为此,我们特别设立激励机制,让您的学习之旅满载收获与成就感。
课程以老师讲授为主,每期结束后,助教会于课程群内发布字幕共创任务。学员通过参与这些任务,不仅能加深对内容的理解,还可获得积分奖励。积分可兑换其他读书会课程或实物奖品,助力您的持续成长。
泛函分析课特别定制集智涌现文化衫
附赠两副复杂科学知识卡
学员如何获得:
宣传贡献
转发活动文案或海报至朋友圈,附上个人推荐语,早鸟价报名集赞满100个、原价报名集赞30个。
同一课题组5人组团集体报名。
内容贡献
参与字幕校对或内容整理工作,可使用9900积分兑换相应权益。
历届学员反馈
:贾老师的第一期课程中,为我们介绍了泛函的基本定义,什么是函数空间,介绍了常用的希尔伯特空间,如何用核方法去测量函数(对偶空间)来找到我们需要的原函数,在做泛函的过程中,还讲了很多技术细节,就是怎么测量函数,需要满足哪些要求等等。
通过初步学习和了解,我们理解了物理、机器学习的内部工作原理,理解了诸如无限宽度的神经网络约等于一个核方法,知道了如何从数学思维理解机器学习。
希望在第二期的学习中,更够更加了解到解决前沿高维数学问题的泛函分析思想和方法。
:贾老师讲得很好,从头到尾把一门课讲得这么体系化,非常难得。课程内容扎实,逻辑清晰,听下来收获很大。
如果后续课程深入,我特别期待能听到以下几块内容:变分法与最优化、线性算子理论、三大定理(Hahn-Banach、一致有界性、开映射与闭图像)、谱定理。这些方向非常实用,对我们的研究和应用都会有直接的帮助。
公开课回放视频
关联课程丨面向应用的泛函分析:空间、算子与结构
第二期默认你熟悉第一期的基本框架——函数空间、范数与完备性、Hilbert 空间的几何、对偶空间。如果你是从机器学习或人工智能直接进入泛函分析,还没有系统地建立这套底子,建议先补上第一期《面向应用的泛函分析:空间、算子与结构》。
第一期回答三个更基本的问题:怎样把形态各异的函数放进同一个框架里谈论;怎样定义“接近”与“收敛”,让逼近和迭代算法有明确的终点;怎样保证求解过程对扰动和噪声始终稳定。它沿着“空间—度量—完备—算子—几何—对偶”这条主线,把最抽象的名词讲成一张可以在科研里导航的地图。第一期已有录播,可在集智学园网站回看。
第二期的每一讲,都站在这些结论上再往前走一步:第一期建立直觉,第二期把这些直觉变成可以写出证明、可以直接用于论文的工具。两期连起来,是从“理解泛函分析”到“用泛函分析做事”的完整路径。
热门跟贴