一个矩阵，怎样把圆拉成椭圆？|代数|奇异值|定理|小二|椭圆|特征值

不是每个方阵都能对角化，但每个矩阵都有奇异值分解。它的几何意义相当直观：一个二阶可逆矩阵把单位圆变成椭圆，椭圆长、短两条半轴的长度，正是这个矩阵的两个奇异值。求伪逆、解最小二乘，这些看似不同的问题，也能借助同一种分解串联起来。

撰文 | 丁玖（广州南方学院数学与统计学院教授）

一个容易引起误会的名字

在线性代数这门基础学科里，“矩阵的奇异值分解”不仅名声响亮，而且用途广泛。然而，与读者熟悉的“特征值”相比，“奇异值”这个名字难免让初识者感到陌生：它究竟“奇异”在哪里？

数学里冠以“奇异”的对象往往是例外，比如奇异矩阵在同阶方阵中无处稠密、测度为零；奇异值却不同，每个矩阵都有自己的奇异值和奇异值分解。这样看来，奇异值并无什么“奇异”之处，反倒具有普遍性。

历史上，这个名字来自20世纪初的积分方程文献：1908年，英国数学家贝特曼（Harry Bateman，1882-1946）已使用 singular values 一词；1910年，法国数学家皮卡（Émile Picard，1856-1941）也在对称核的情形用过法语 valeurs singulières。这些早期用法与今天的含义并不完全相同。早在这个名称出现几十年前，矩阵情形的相应分解就已经被发现了。

名字虽有些古怪，奇异值与特征值却有着密切的关系，甚至可以互称兄弟，原因是它们俩的基因来源之一是我们在线性代数教科书中早已认识的数学家西尔维斯特（James Sylvester，1814-1897）。更加吸引人们的事实是：一个矩阵的非零奇异值，正是与之相关的一个半正定矩阵的正特征值的算术平方根。矩阵奇异值分解的理论、应用及计算，从最初提出到广泛应用，经历了近百年的发展。

实方阵的奇异值分解（singular value decomposition，通常缩写为SVD）最早是在1873年由意大利微分几何学家贝尔特拉米（Eugenio Beltrami，1835-1900）和1874年由法国代数学家若尔当（Camille Jordan，1838-1922）各自独立证明的，二人都是从双线性形式的化简入手的。1889年，英国数学家西尔维斯特在不知道前人工作的情况下，第三次独立得到了实方阵的奇异值分解，他把奇异值称为矩阵的“规范乘子”。第四位独立发现矩阵奇异值分解的人是法国工程师兼数学家奥托内（Léon César Autonne，1859-1916），他在1913年得到了复方阵的奇异值分解，1915年又讨论了它与矩阵“极分解”的关系。1936年，美国物理学家埃卡特（Carl Eckart，1902-1973）和杨（Gale J. Young，1912-1990）对行数和列数可以不相等的实矩阵证明了奇异值分解，1939年又推广到一般的复矩阵。从有限维推广而成的无穷维积分算子的奇异值分解及其谱理论主要由德国数学家施密特（Erhard Schmidt，1876-1959）和外尔（Hermann Weyl，1885-1955）分别于1907年和1912年建立。矩阵的奇异值分解在20世纪60至70年代成为数值线性代数的基石，这主要归功于计算数学家戈卢布（Gene H. Golub，1932-2007）和卡汉（William Kahan，1933-）于1965年开发的高效算法。

从正交对角化到奇异值分解

在笔者之前登在《返朴》上的合写文章《正规矩阵有哪些特色？》和《从抛物线到马鞍面，如何理解矩阵二次型？》中，被证明并应用于矩阵二次型的主要定理是：任何复正规矩阵

由于推导实矩阵的奇异值分解的过程可以直接推广到复矩阵，下面先叙述复矩阵的奇异值分解定理，然后仅对实矩阵的情形进行证明。

唯一性：从特征值看奇异值

比较一下一般矩阵的奇异值分解与正规矩阵的酉对角化分解是颇有趣的。众所周知，并非每个方阵都可以被对角化，然而任何正规矩阵不仅可以对角化，而且使其对角化的相似变换矩阵可以选为酉矩阵。而如果将“存在一个酉矩阵”的苛刻要求放宽到“存在两个酉矩阵”，那么任何矩形矩阵都可以“被对角化”，即原先矩阵左乘一个酉矩阵及右乘另一个酉矩阵的结果是个广义对角矩阵。这种分解不再要求相似关系，但广义对角矩阵的主对角元（即奇异值）在矩阵理论和计算中所起的作用，丝毫不亚于特征值在相似对角化中的作用。

化整为零：秩1展开与四个基本子空间

从单位圆到椭圆：矩阵的几何作用

我们在中学的解析几何课中学到了平面上的椭圆。它与自身两条互相垂直的对称轴有四个交点，这些点到椭圆中心的距离刻画了椭圆的扁平程度，分别叫做半长轴和半短轴的长。椭圆的几何定义是平面上与两个固定点的距离之和等于固定常数的一个动点的轨迹；这个常数大于两定点间的距离，等于所得椭圆的长轴之长。笔者半个世纪前在读高中最末学期时，有幸学到了这个定义，进厂学徒那年目睹工人师傅不会在钢板上画出大椭圆以焊接椭圆截面大油罐，便自告奋勇，请他们找来一根麻绳，由两位师傅分别按住绳子的两头，自己用粉笔绷紧麻绳，在钢板上画出了漂亮的椭圆。那一天，少年笔者真正认识到数学的极端有用！

我们用一个2阶非奇异矩阵

借助奇异值分解，写出伪逆

最小二乘：从最优解中选出最短的一个

除了理论价值外，奇异值分解在最小二乘问题的数值算法设计中也起到关键性的作用。

奇异值分解还可直接用于总体最小二乘问题。在科学、工程和统计学的许多领域，都能看到它的踪影，例如信号处理、图像压缩和过程控制。在矩阵低秩逼近、有效秩的确定等数值代数问题中，奇异值的信息也派上了大用场。而奇异值概念的无穷维推广，则成就了希尔伯特空间之间紧算子的优美谱理论，从具体的积分方程一直延伸到抽象的泛函分析——紧算子可以看作有限维的酉空间或欧几里得空间之间线性算子的近亲。这一理论的奠基者包括希尔伯特的两位学生施密特和外尔：施密特证明了用有限秩算子作最佳逼近的定理，外尔则建立了奇异值的扰动理论。

致谢：周舒义编辑的细心审阅和修改，使得本文的论证叙述更严谨，特此感谢。