作为一名计算机专业的学生，我无意成为一名数学家。 我学习数学的目的就是爬在巨人的肩膀上，希望能够站在更高的高度，把自己研究的东西看得更深入、更广。 说起来，刚来到这所学校的时候，我并没有想到自己会在数学方面有一个深入的旅程。
我的导师最初想让我做的课题是建立一个统一的外观和运动模型。 在当今的计算机视觉世界中，这个主题没有什么特别的。 事实上，最近的论文中使用各种图形模型将各种事物组合成一个框架的情况并不罕见。
我不否认现在广泛流行的图模型是对复杂现象建模的有力工具，但我认为它不是万能药，不能取代对所研究问题的深入研究。 如果统计学习可以治愈所有疾病，那么就不需要许多“下游”学科。
事实上，一开始，我和Vision中的很多人一样，想做一个图形模型——我的导师指出，这样的做法只是重复一些标准流程，不会有太大的价值。
经过长时间的迭代，慢慢建立了另一条路径——我们认为图像是由大量“原子”按一定空间分布组成的，原子团的运动形成动态的视觉过程。 微观意义上单个原子的运动与宏观意义上整体分布的转变之间存在着深刻的联系——这需要我们去发现。
在深入探索这个课题的过程中，我遇到了很多很多的问题，比如如何描述一个一般的运动过程，如何建立稳定且广泛适用的原子表达式，如何刻画微观运动与宏观运动的联系等。分销转型等等。 在这个过程中，我发现了两件事：
于是，我决定开始深入数学的汪洋大海。 我希望当我再次出来时，我能拥有更强大的武器来面对这些问题的挑战。
我的旅行还没有结束，与这广阔深邃的世界相比，我的视野还很狭窄。 这里我只是讲一下，在我看来，数学是如何一步步从初级到高级发展的，以及高等数学对于具体应用有什么好处。
集合论：现代数学的共同基础
现代数学有无数的分支，但它们都有一个共同的基础——集合论——正因为如此，这个庞大的数学家族才有了共同的语言。
集合论中有一些最基本的概念：集合、关系、函数和等价，这些在数学其他分支的语言中几乎是不可避免的。
对这些简单概念的理解是进一步学习其他数学的基础。 这些相信理工科的同学都很熟悉。
然而，有一件非常重要的事情却不是家喻户晓——那就是“选择公理”。 该公理的含义是“对于任意一组非空集合，可以从每个集合中取出一个元素”。 ——这似乎是一个再明显不过的命题了。
然而，这个看似普通的公理却可以引出一些相当奇怪的结论，比如巴拿赫-塔斯基球体定理——“一个球可以分为五个部分，并对它们进行一系列刚性变换（平移和旋转）。） ，它可以组合成两个相同大小的球。”
正是因为这些完全违背常理的结论，数学界长期以来一直存在着是否接受的激烈争论。 现在，主流数学家应该基本上接受它，因为数学许多分支的重要定理都依赖于它。 在我们稍后将返回的学科中，以下定理依赖于选择公理：
拓扑：贝尔范畴定理
实分析（测度论）：勒贝格不可测集的存在性
泛函分析主要有四个定理：Hahn-Banach可拓定理、Banach-Steinhaus定理（一致有界原理）、开映射定理、闭图定理
基于集合论，现代数学有两个主要分支：分析和代数。 至于其他的，比如几何学、概率论，在古典数学时代，它们是与代数并列的，但它们的现代版本基本上都是建立在分析或代数的基础上的，所以在现代意义上，它们与分析和代数是一样的。 这不是平行关系。
分析：一座建立在极端地基上的宏伟大厦
1. 微积分：分析的经典时代——从牛顿到柯西
我们先来说说分析。 它是从微积分（Caculus）发展而来的——这就是为什么有些微积分教科书被称为“数学分析”。 然而，分析的范围远不止这些。 我们大学一年级学的微积分只能算是经典分析的入门。
分析研究的对象有很多，包括导数、积分、微分方程和无穷级数——这些基本概念是在初等微积分中引入的。 如果有一个想法贯穿这一切，那就是极限——所有分析（不仅仅是微积分）的灵魂。
很多人都听过一个故事，就是牛顿和莱布尼茨之间关于微积分发明权的争论。 事实上，在他们那个时代，许多微积分的工具开始应用于科学和工程领域，但微积分的基础并没有真正建立起来。
长期以来没有被解释清楚的“无穷小量”的幽灵已经困扰了数学界一百多年——这就是“第二次数学危机”。 直到柯西从数列极限的角度重新建立了微积分的基本概念，这门学科才开始有了比较扎实的基础。 直到今天，整个分析大厦都建立在极端的基石上。
柯西为分析的发展提供了严格的语言，但他并没有解决微积分的所有问题。 19世纪，分析世界仍然笼罩着一些挥之不去的乌云。 最重要的尚未解决的是“函数是否可积的问题”。
我们现在的微积分课本上学的那种“无限划分区间，取矩阵面积和的极限”的积分，是黎曼在1850年左右提出的，称为黎曼积分。
但是哪些函数具有黎曼积分（黎曼可积）呢？ 数学家早已证明，闭区间中定义的连续函数是黎曼可积的。 然而这样的结果并不令人满意，工程师需要对分段连续函数进行函数积分。
2.实分析：建立基于实数论和测度论的现代分析
19世纪中后期，间断函数的可积问题一直是一个重要的分析课题。 对闭区间上定义的黎曼积分的研究发现，可积的关键在于“足够多的不连续点”。 只有在有限位置不连续的函数才是可积的，但许多数学家已经构造了许多在无穷远处不连续的可积函数。
显然，在测量点集的大小时，有限和无限不是合适的标准。 在探索“点集大小”问题的过程中，数学家发现实数轴——他们曾经认为自己已经完全理解的东西——具有许多他们没有想到的属性。
在极限思想的支持下，实数论此时成立。 它的标志是表征实数完备性的几个等价定理（定义定理、区间集合定理、柯西收敛定理、Bolzano-Weierstrass定理和Heine-Borel定理等）——这些定理清楚地表达了实数与实数之间的根本区别。有理数：完整性（非常宽松地讲，封闭限制操作）。
随着对实数认识的加深，如何衡量“点集的大小”的问题也取得了突破。 勒贝格创造性地将集合代数与外部内容的概念（这是“外部测度”的雏形）结合起来，建立了测度论，并在测度的基础上进一步建立了勒贝格积分。 在这个新的积分概念的支持下，可积性问题变得清晰起来。
上面提到的实数论、测度论和勒贝格积分构成了我们现在称为实分析（Real Analysis）的数学分支。 有些书也称为实变函数论。 对于应用科学来说，真实分析似乎不如经典微积分那么“实用”——很难直接基于它推导出任何算法。
而且，它想要解决的一些“难题”——比如处处不连续的函数，或者处处连续但处处不可微的函数——在工程师眼中并不现实。
然而，我相信这不是一个纯粹的数学概念游戏。 它的现实意义在于为许多现代应用数学分支提供了坚实的基础。 下面我简单列举一下它的一些用途：
黎曼可积函数空间不完备，但勒贝格可积函数空间完备。 简单地说，黎曼可积函数序列收敛到的函数不一定是黎曼可积的，但勒贝格可积函数序列必须收敛到勒贝格可积函数。
在泛函分析和逼近论中，经常需要讨论“函数的极限”或“函数的级数”。 如果使用黎曼积分的概念，这个讨论几乎是不可想象的。 我们有时会看到一些论文提到Lp函数空间，它是基于勒贝格积分的。
勒贝格积分是傅立叶变换的基础（在工程中无处不在）。 很多信号处理的基础教材可能会绕过勒贝格积分，直接讲实际的东西，而不讲它的数学基础。 然而，对于深入研究的问题——尤其是希望能够从理论上理解它们。 做一些工作——这并不总是你可以逃避的事情。
下面，我们还将看到测度论是现代概率论的基础。
3、拓扑学：分析从实数轴到广义空间的延伸——现代分析的抽象基础
随着实数论的建立，大家开始把极限和连续性的分析延伸到更一般的地方。 事实上，许多基于实数的概念和定理并不特定于实数。 许多特征可以被抽象并扩展到更通用的空间。
实数轴的推广导致了点集拓扑的建立。 许多原本只存在于实数中的概念被提炼出来并进行一般性讨论。 在拓扑中，有四个 C 构成其核心：
闭集。 在现代拓扑公理体系中，开集和闭集是最基本的概念。 一切都由此而来。 这两个概念是开区间和闭区间的概括，它们的基本地位在一开始并没有被认识到。
人们花了很长时间才意识到开集的概念是连续性的基础，而闭集则封闭于极限运算——而极限是分析的基础。
连续功能。 连续函数在微积分中的 epsilon-delta 语言中有定义。 在拓扑学中，它的定义是“原始形式是开集的函数”。
第二个定义与第一个定义等效，只是用更抽象的语言重写。 我个人认为它的第三个（等价）定义从根本上揭示了连续函数的本质——“连续函数是维持极限运算的函数”——例如，y是序列x1,x2,x3,..的极限。 ，那么如果 f 是连续函数，则 f(y) 是 f(x1)、f(x2)、f(x3)、... 的极限。
连续函数的重要性可以与其他科学分支进行比较。 例如，在群论中，基本运算是“乘法”。 对于群来说，最重要的映射称为“同态映射”——维持“乘法”的映射。 在分析中，基本运算是“极限”，因此连续函数在分析中的地位就相当于同态映射在代数中的地位。
连接集。 一个稍微狭义一点的概念叫做（连通路径），意思是集合中的任意两点都通过一条连续的路径连接起来——这个概念可能是普通人所理解的。
一般意义上的连通性概念稍微抽象一些。 在我看来，连通性有两个重要的用途：一是证明一般中值定理，二是讨论代数拓扑、拓扑群论和李群论中的基本群。 ） 等级。
紧凑的套装。 紧致性似乎并没有专门出现在初等微积分中，但有几个实数定理实际上与它相关。 例如，“有界序列必须具有收敛子序列”——用紧致性的语言来说——“实数空间中的有界闭集是紧致的”。
它在拓扑中的一般定义听起来相对抽象——“对于紧集的任何开覆盖，都有一个有限子覆盖。” 这个定义在讨论拓扑定理时非常方便，往往可以帮助实现无限到有限的转换。
对于分析来说，更常用的是它的另一种形式——“紧集中的序列必须有一个收敛子序列”——这体现了分析中最重要的“极限”。 紧致性广泛应用于现代分析中，但无法完全描述。
微积分中的两个重要定理：极值定理和一致收敛定理可以借助它推广到一般形式。
从某种意义上说，点集拓扑可以被视为关于“极限”的一般理论。 它是从实数理论中抽象出来的。 它的概念已经成为几乎所有现代分析学科的共同语言，是整个现代分析的基础。
4.微分几何：流形分析——将微分结构引入拓扑空间
拓扑学将极限的概念扩展到一般的拓扑空间，但这不是故事的结束，而只是开始。 在微积分中，在极限之后我们有微分、推导和积分。 这些东西还可以扩展到拓扑空间，建立在拓扑的基础上——这就是微分几何。
从教学角度来看，微分几何教材有两种不同类型。 一类是以经典微机分析为基础的“经典微分几何”，主要是关于二维、三维空间中一些几何量的计算。 ，例如曲率。
还有一种是基于现代拓扑学的，暂称为“现代微分几何”——它的核心概念是“流形”——它以拓扑空间为基础，增加了一组用于进行微分运算的A结构。 现代微分几何是一门内容非常丰富的学科。
例如，一般流形上微分的定义比传统微分更丰富。 我见过从不同角度给出的三个等价的定义——这个方面让事情变得更复杂一些，但另一方面它提供了对同一个概念的不同理解，往往会导致解决问题时产生不同的想法。
除了普及微积分概念外，还引入了很多新概念：正切空间、余切空间、前推、后拉、纤维丛、流、浸入、淹没等等。
近年来，流形在机器学习中似乎相当流行。 但坦白说，要理解一些基本的流形算法，甚至“创造”一些流形算法，并不需要太多的微分几何基础。
对于我的研究来说，微分几何最重要的应用是建立在它之上的另一个分支：李群和李代数——这是数学中两个主要家族分析和代数的完美结合。
分析与代数的另一个重要结合是泛函分析和基于它的调和分析。
代数：一个抽象的世界
我们回过头来说另一个大家族——代数。
如果说经典微积分是分析入门，那么现代代数的切入点就是两部分：线性代数（线性代数）和基础抽象代数（抽象代数）——据说国内有些教科书称之为现代代数。
代数——名字好像是对数字的研究，但在我看来，主要研究的是运算规则。 一门代数课程实际上是从一个具体的运算系统中抽象出一些基本规则，建立公理体系，然后在此基础上进行研究。 一个集合加上一组运算规则就构成了一个代数结构。
在主要代数结构中，最简单的是群——它只有一种符合结合率的可逆运算，通常称为“乘法”。 如果这个运算也符合汇率，那么它被称为阿贝尔群。
如果有两种运算，一种称为加法，满足交换率和组合率，另一种称为乘法，满足组合率，并满足它们之间的分配率，这种更丰富的结构称为环。 如果If乘法满足交换率，则称为交换环。
如果环的加法和乘法具有所有好的性质，那么它就成为一个域。 基于域，我们可以构建一个可以进行加法和乘法的新结构，这就构成了线性代数。
代数的优点在于它只关心运算规则的推导，而不考虑运算涉及的对象。 只要定义正确，猫乘以狗就完全有可能得到猪。 所有基于抽象运算规则的定理都可以应用于上面提到的猫和狗的乘法。 当然，在实际应用中，我们还是希望用它来做一些有意义的事情。
1.关于抽象代数
学过抽象代数的人都知道，基于一些简单的规则，比如结合律，就可以推导出很多重要的结论——只要满足这些简单的规则，这些结论就可以应用——这就是代数的力量。 ，我们不再需要为每个特定领域重新建立那么多定理。
抽象代数是建立在一些基本定理的基础上的，进一步的研究往往分为两个流派：
有限离散代数结构（例如有限群和有限域）的研究，常用于数论、编码和整数方程；
另一种流派是连续代数结构的研究，通常与拓扑和分析相关（例如拓扑群、李群）。 我的学习重点主要是后者。
2.线性代数：“线性”的基本状态
对于做学习、视觉、优化或者统计的人来说，接触最多的就是线性代数——这就是我们在大学低年级开始学习的东西。 线性代数，包括以其为基础的各个学科，有两个核心概念：向量空间和线性变换。
线性变换在线性代数中的地位与连续函数在分析中的地位相同，或者同态映射在群论中的地位相同——它是一个保留了基本运算（加法和乘法）的映射。
学习中有一种轻视线性算法而标榜非线性的倾向。 也许很多时候，我们需要非线性来描述复杂的现实世界，但无论何时，线性都具有基础地位。
没有线性基础，就不可能有所谓的非线性泛化。 我们常用的非线性化方法包括流形和核化，这两种方法都需要在某个阶段回归到线性。 流形需要在每个局部区域建立到线性空间的映射，通过连接许多局部线性空间形成非线性。
核化通过替换内积结构，“非线性”地将原始线性空间映射到另一个线性空间，然后执行该线性空间中可以执行的操作。
在分析领域，线性运算无处不在。 微分、积分、傅立叶变换、拉普拉斯变换、统计中的均值都是线性的。
3. 泛函分析：从有限维度走向无限维度
大学里学习的线性代数很简单，主要是因为它是在有限维空间中进行的。 因为它是有限的，所以我们不需要诉诸太多的分析方法。 然而，有限维空间无法有效地表达我们的世界——最重要的是，函数构成了线性空间，但它是无限维的。
最重要的函数运算都是在无限维空间中进行的，例如傅里叶变换和小波分析。 这表明，为了研究函数（或连续信号），我们需要打破有限维空间的约束，进入无限维函数空间——这里的第一步是泛函分析。
泛函分析研究一般的线性空间，包括有限维和无限维，但很多事情在有限维中是微不足道的，而真正的困难往往出现在无限维中。 在泛函分析中，空间中的元素仍称为向量，但线性变换通常称为“算子”。
除了加法和乘法之外，这里还添加了一些进一步的操作，例如添加范数来表达“向量的长度”或“元素的距离”。 这样的空间称为“赋范线性空间”（normed space）。 此外，还可以添加内积运算，这样的空间称为“内积空间”。
大家发现，进入无限维时间后，很多旧观念已经不再适用，一切都需要重新审视。
所有有限维空间都是完备的（柯西序列收敛），但许多无限维空间是不完备的（例如闭区间上的连续函数）。 这里，完备空间有特殊的名称：完备赋范空间称为巴纳赫空间，完备内积空间称为希尔伯特空间。
在有限维空间中，空间和它的对偶空间是完全同构的，而在无限维空间中，它们有细微的差别。
在有限维空间中，所有线性变换（矩阵）都是有界变换，而在无限维空间中，许多运算符是无界的。 最重要的例子是函数的求导。
在有限维空间中，所有有界闭集都是紧的，例如单位球。 在所有无限维空间中，单位球都不是紧致的——也就是说，可以将无限多个点撒入单位球中，而不会出现极限点。
在有限维空间中，线性变换（矩阵）的谱相当于所有特征值。 在无限维空间中，算子谱的结构比这复杂得多。 除了由特征值组成的点谱外，还有近似点谱和残差谱。 虽然复杂，但也比较有趣。 这就形成了相当丰富的分支——算子谱理论（Spectrum Theory）。
在有限维空间中，任何点总是有到任意子空间的投影，但在无限维空间中，情况不一定如此。 具有这种良好特性的子空间有一个特殊的名字：切比雪夫空间。 ）。 这个概念是现代近似理论的基础。 函数空间的逼近理论应该在Learning中发挥非常重要的作用，但是使用现代逼近理论的文章并不多。
4. 继续：Banach 代数、调和分析和李代数
基本功能分析继续向两个重要方向发展。
第一个是Banach代数，它在Banach空间（完全内积空间）的基础上引入了乘法（与数乘法不同）。
例如，一个矩阵——除了加法和数值乘法之外还可以执行乘法——构成了巴拿赫代数。 此外，具有完全范围和平方可积函数的有界算子可以形成巴纳赫代数。
巴拿赫代数是泛函分析的抽象。 针对有界算子导出了许多结论，以及算子谱理论中的许多定理。 它们不仅适用于运营商。 它们实际上可以从一般的巴拿赫代数导出。 从 获得，并应用于运营商以外的地方。
巴拿赫代数可以让你从更高的层次来看待泛函分析中的结论，但我还没有思考过它与泛函分析相比能给实际问题带来什么。
泛函分析与实际问题最好结合的另一个重要方向是调和分析。
我在这里列出了它的两个子领域：傅里叶分析和小波分析。 我想这已经可以说明它的实际价值了。 它研究的核心问题是如何利用基函数来逼近和构造函数。 它研究函数空间问题，必然以泛函分析为基础。
除了傅里叶和小波之外，调和分析还研究了一些非常有用的函数空间，例如Hardy空间和Sobolev空间。 这些空间具有许多良好的性质，在工程和物理学中具有重要的应用。 对于视觉而言，谐波分析是信号表达和图像构建中非常有用的工具。
当分析和线性代数结合在一起时，就产生了泛函分析和调和分析； 当分析和群论结合在一起时，我们就有了李群和李代数。 它们为连续群上的元素提供代数结构。 我一直认为这是一门非常美丽的数学：拓扑学、微分学和代数融合在一个系统中。
在一定条件下，通过李群与李代数的联系，将几何变换的组合转化为线性运算，将子群转化为线性子空间。 这允许在学习中引入许多重要的模型和算法。 为几何运动建模创造了必要的条件。
因此，我们认为李群和李代数对视觉具有重要意义，但学习它们的道路可能会很艰难，在它们之前还需要学习很多其他数学。
现代概率论：在现代分析的基础上重生
最后简单说一下很多学习研究者特别关心的数学分支：概率论。 自20世纪30年代柯尔莫哥洛夫将测度引入概率论以来，测度论已成为现代概率论的基础。 这里，概率被定义为一种测度，随机变量被定义为可测函数，条件随机变量被定义为可测函数在某个函数空间中的投影，均值是可测函数关于概率的积分措施。
值得注意的是，许多现代观点已经开始从泛函分析的角度来看待概率论的基本概念。 随机变量构成向量空间，带符号的概率测度构成其对偶空间。 其中一个强加于另一个。 它形成平均值。 虽然角度不同，但这两种方法殊途同归，形成的基础是等价的。
在现代概率论的基础上，很多传统的分支都得到了极大的丰富，其中最具代表性的包括Martingale——一种受赌博研究启发的理论，现在主要应用于金融领域（这里可以看到赌博及其与金融的理论联系） 、布朗运动——连续随机过程的基础，以及在此基础上建立的随机分析（随机微积分），包括随机积分（对随机过程的路径进行积分，其中最具代表性的（称为伊藤积分）和随机微分利用连续几何建立概率模型和研究分布变换都离不开这些方面的知识。
《普林斯顿微积分读本（修订版）》
《普林斯顿数学分析读本》
普林斯顿概率读本
作者：[美国]史蒂文·J·米勒、拉菲·格林伯格、史蒂文·J·米勒
译者：李鑫
这本美国普林斯顿大学流行的数学课程教材，教你如何在数学考试中取得高分。 它使用大量的例子和代码来全面探讨数学问题，并提供课程视频和讲义。 被誉为《普林斯顿读者》的“三剑客”。
作者简介：林大华，深度学习和计算机专家，香港中文大学教授。 2004年获得中国科学技术大学学士学位，2006年获得香港中文大学信息工程硕士学位，2012年获得麻省理工学院计算机科学博士学位。
评论列表