1. 高维数学

1.1. 数学作为人类最重要的智慧成果之一，有望帮助我们揭示大语言模型和人脑的运作奥秘

1.2. 深度学习网络是一种完全透明且可用数学方法分析的复杂数学函数

1.3. 当前，一个专注于探索这些网络模型在高维空间中的几何特性和统计性质的数学新纪元已经来临

1.4. 把各自领域推向一个由海量数据构成的高维空间世界，也就是我们现在所处的时代

1.5. 机器学习早期的目标比人工智能要谦逊得多

• 1.5.1. 没有直接追求通用智能，而是从数据学习入手，着力解决感知、语言、运动控制、预测和推理等实际问题

1.6. 新数学

• 1.6.1. 机器学习与其他科学和工程学科一样，建立在几何、微积分和概率等基础数学之上，并将这些理论延伸到高维空间的应用

2. 尚未得到解释的矛盾现象悖论

2.1. 悖论1：陷入局部最小值

• 2.1.1. 优化理论专家指出，按照逐步降低误差的方式，我们必然会陷入局部最小值，而无法到达全局最小值

• 2.1.2. 采用随机梯度下降算法

• 2.1.2.1. 这种算法虽然下降过程缓慢，精确度较低，但包含随机成分，不会严格按照向下的路径移动，因此能够避开局部最小值

• 2.1.3. 这些网络模型及其高维参数空间的几何特性，使其能够有效找到解决方案并实现良好的泛化能力

• 2.1.3.1. 这一现象与我们在低维空间中的传统认知（预测会失败)恰恰相反

• 2.1.4. 网络模型在高维空间中展现出与低维空间完全不同的动态特性

• 2.1.4.1. 在高维参数空间中，学习过程中很少遇到局部最小值，反而是鞍点普遍存在

• 2.1.4.2. 当存在数以百万计的可能路径时，在误差函数中找到一条下降路径并非难事

• 2.1.5. 另一个容易找到优解的原因在于：与低维模型追求唯一解不同，从参数空间的随机点出发的随机梯度下降会收敛到多个不同的网络，而这些网络都能展现出良好的性能

• 2.1.5.1. 从“大海捞针”变成了“针堆里找针”

• 2.1.6. 这一现象在人类大脑中也有体现：每个人的大脑都是独特的，因为我们都是从不同的初始神经连接强度开始发育

• 2.1.6.1. 虽然每个大脑的具体连接模式各不相同，但相似的经历会塑造出共同的行为模式，而不同的经历则会让每个大脑以其独特的方式专门化

2.2. 悖论2：参数过多

• 2.2.1. 根据统计学定理的界限，当训练数据集相对较小而参数数量巨大时，模型理论上不应该具备良好的泛化能力

• 2.2.2. 即使是权重衰减这样简单的方法，也能通过将非必要参数缩减为零来降低有效参数数量，从而产生泛化能力惊人的模型

• 2.2.3. 随着网络模型规模的扩大，其泛化能力反而不断提升

• 2.2.3.1. 在20世纪80年代，没人能预测神经网络学习算法的性能会如何随着网络中神经元单元和权重数量的增加而变化

• 2.2.3.2. 神经网络却表现出不同的特性：其训练时间仅与参数数量呈线性增长，且随着神经元单元和网络层数的增加，性能反而会得到提升

• 2.2.4. 按照经典统计学的预测，当网络规模足够大时，训练误差最终会接近于零，而测试误差会因模型过拟合而开始上升

• 2.2.5. 在更大规模的网络模型中，测试误差会出现拐点并继续下降，展现出优秀的泛化能力，这与过拟合的情况恰恰相反

• 2.2.6. 这种测试误差呈现“双重下降”的现象，目前学术界还未能完全解释其中的原理

3. 高维空间的福音

3.1. 确实存在一些随维度增加而变得更加困难的问题

3.2. 在动态规划（一种用于解决航线调度等优化问题的方法)中，理查德·贝尔曼发现，问题的难度会随着维度的增加而呈指数级增长，他将这种现象称为“维数灾难”​

3.3. 深度学习却展现出截然不同的特性：一些困难的问题反而会随着空间维度的增加而变得更容易解决，这就是所谓的“维度福音”​

3.4. 探索一个全新的函数类别通常需要几代数学家的持续努力

• 3.4.1. 1807年，约瑟夫·傅里叶发现了通过叠加一系列简单函数（后来所称的傅里叶级数)来求解热方程的方法

• 3.4.1.1. 他当时无法证明这些级数的收敛性，甚至连当时的顶尖数学家们都质疑这种表达方式是否能被称为函数

• 3.4.2. 泛函分析的发展，这被视为数学发展史上的重要里程碑

3.5. 如今，深度学习网络和Transformer作为一种新的函数类别，其数学理论研究才刚刚起步，很可能会推动数学领域出现一个全新的分支

4. 大型神经网络的几何特性

4.1. 当任务重复进行时，虽然每次的活动轨迹都不尽相同，但都会限制在高维空间特定的轨迹束内

4.2. 不同实验室在研究各种任务时都发现，轨迹束的维度通常为4～6个

• 4.2.1. 如果没有同时记录多个神经元的技术支持，我们就无法检测这些轨迹的维度

4.3. 在某些任务中大脑活动呈现低维特性是可以预见的，因为大脑能够用相同的神经元执行多种动作而不会混淆

• 4.3.1. 实现这一点的关键在于通过学习为每个任务建立不同的低维轨迹束

4.4. 数学家们对被称为流形的轨迹几何特性进行了深入研究

• 4.4.1. 这些研究有助于我们建立一种超越纯文字描述的思维理论

4.5. 流形理论

• 4.5.1. 流形具有许多有趣的性质，根据具体的研究环境和特性，它可以呈现光滑或非光滑的形态

• 4.5.2. 流形理论的研究推动了数学多个分支的发展，包括微分几何、代数几何和微分拓扑

• 4.5.3. 在物理学领域也有重要应用，尤其是在广义相对论和弦论方面

• 4.5.4. 大脑科学研究也将成为流形理论应用的重要领域之一

• 4.5.5. 在数学中，流形是一种特殊的拓扑空间，它在每个局部点的附近都与欧几里得空间相似

• 4.5.5.1. 它是一个在小尺度观察时看似平坦的欧几里得空间（如平面或三维空间)的空间，但从整体结构来看可能更为复杂

• 4.5.5.2. 流形是拓扑学、几何学和数学物理等领域研究的核心对象

• 4.5.6. 流形的一个关键特性是它与欧几里得空间具有局部同胚性

• 4.5.6.1. 这意味着流形上的任意一点都存在一个包含该点的邻域（周围的一个小区域)，这个邻域可以通过一个被称为同胚的连续双射函数映射到欧几里得空间

• 4.5.7. 流形的一些常见例子

• 4.5.7.1. 欧几里得空间本身，如实数线、平面或三维空间

• 4.5.7.2. 圆和球体，分别是一维和二维流形

• 4.5.7.3. 环面（圆环形状)，这是一个二维流形，可以被理解为一个将其相对边缘连接起来的矩形

• 4.5.7.4. 莫比乌斯带，一个非定向的二维流形，通过单一扭转产生了有趣的拓扑性质：只有一个面和一个边缘

5. 因果关系

5.1. 虽然神经元活动与行为确实存在相关性，但这并不能证明两者之间存在因果关系

5.2. 要验证这一假设，一个方法是干扰神经元活动，观察是否会按预期影响行为表现

5.3. 如果其行为确实发生改变，解释结果就变得困难了，因为在具有复杂反馈通路的大脑中，抑制某一区域的活动可能会影响到其他区域的输入信号

5.4. 损毁实验还存在一个问题：可能会破坏通过损毁区域的通路纤维，这些纤维是连接远距离脑区的长程神经纤维

5.5. 预见到分子工具能让神经科学家以与大脑精细结构相匹配的精确度来探索大脑

• 5.5.1. 在分子遗传学研究中认识到了单基因操作的强大潜力

5.6. 相关性与因果性的区别

• 5.6.1. 神经元活动与行为之间的相关性并不必然代表因果关系

• 5.6.2. 要验证因果关系，需要通过直接操控神经元并观察行为变化来进行实验验证

5.7. 解释损伤

• 5.7.1. 早期研究主要依靠观察特定脑区损伤后的行为变化来推断脑区功能

• 5.7.2. 但由于大脑回路的复杂性，这类实验结果的解读往往存在困难

5.8. 新技术与通路纤维

• 5.8.1. 传统损伤实验可能会破坏通路纤维（连接不同脑区的长程神经纤维)

• 5.8.2. 现代光遗传技术通过基因工程将特定光敏蛋白表达于目标神经元，可以精确地激活或抑制特定神经元，从而克服了这一局限

5.9. 克里克的远见

• 5.9.1. 他预见到分子工具将使科学家能够以与大脑本身构建同等的精确度来研究大脑，这一预见印证了当今光遗传等精准神经调控技术的发展

5.10. 人工智能领域的因果推理

• 5.10.1. 在朱迪亚·珀尔的开创性工作推动下，因果关系研究已延伸至人工智能领域

• 5.10.2. 近期NeurIPS等学术交流平台促进了神经科学和人工智能领域研究者之间的对话，推动了对人类和机器因果推理的深入理解