机器学习
不写规则，改喂数据。这个模块不讲怎么调库，讲的是每个算法「在几何上到底在干什么」。
这个模块讲什么
机器学习在建模竞赛里最常见的用法其实很朴素：回归拟合、分类判别、聚类分群、降维看结构。难点从来不在调包，而在于知道模型在什么假设下成立、什么时候它只是把噪声背了下来。这个模块把每个算法的决策边界、损失曲面、训练过程直接画出来，让「过拟合」「正则化」「偏差-方差」从名词变成看得见的东西。
9专题
36实验台
专题列表
每个专题是一个独立页面，页内按实验台组织。下面列出的是每一页会做的实验。
5.1
回归
已上线最小二乘的几何是投影，正则化的几何是把解往原点拉。两张图讲完大半本教材。
01最小二乘拖动数据点，回归线实时跟随，残差平方和同步显示
02多项式阶数与过拟合阶数从 1 加到 15，训练误差一路降、测试误差先降后升
03岭回归与 Lasso正则化路径：系数随 λ 收缩，Lasso 把它们一个个压到零
04偏差—方差分解重复采样训练多条模型，看「平均偏差」与「抖动幅度」此消彼长
5.2
分类与决策边界
已上线每个分类器都在平面上画一条线。看清它画线的方式，就知道它什么时候会失手。
01逻辑回归点两类样本，看直线边界与概率等高线一起生成
02SVM 与核最大间隔、支持向量高亮；换成 RBF 核后边界怎么弯曲
03决策树与随机森林树逐层分裂，边界呈阶梯状；森林投票后边界变平滑
04K 近邻K 从 1 调到 50，边界从锯齿状逐渐化开
5.3
聚类与降维
已上线没有标签的时候，算法凭什么把数据分堆？不同算法的「堆」的定义完全不同。
01K-means 迭代逐轮显示指派与更新，初值不同结果不同
02层次聚类树状图与切割高度联动
03DBSCAN密度参数一调，噪声点与非球形簇的处理优势立刻显现
04PCA 与 t-SNE主成分方向就是数据最「长」的方向；t-SNE 的困惑度参数怎么改变结构
5.4
神经网络
已上线从一个感知机到万能逼近定理，再到反向传播。把训练过程一帧一帧放慢。
01感知机线性可分时收敛，异或问题上永远震荡
02万能逼近加隐层神经元，看叠加的「台阶」逐步逼近任意曲线
03反向传播小网络逐层显示前向值与回传梯度
04训练过程损失曲面上的下降轨迹、学习率与批大小的影响
5.5
评估与陷阱
已上线论文被扣分最多的地方不是模型选得不好，而是评估方式站不住。
01交叉验证K 折怎么切、为什么留一法方差大
02ROC 与 PR 曲线调阈值看两条曲线上的点怎么移动；类别不平衡时哪条更诚实
03数据泄漏先标准化再切分 vs 先切分再标准化，成绩差多少
04混淆矩阵四个格子与各项指标的换算关系
5.6
集成学习
已上线一棵树很弱，一百棵树投票就很强。Bagging 降方差，Boosting 降偏差——同样是"多个模型"，机制完全相反。
01Bagging 与方差同一份数据反复重采样，看单模型的抖动怎么被平均掉
02Boosting 的逐轮修正每一轮只学上一轮的残差，看决策边界一步步长出来
03随机森林的两重随机样本随机 + 特征随机，少了哪一个森林就退化
04弱学习器要多弱树深从 1 加到 10，Boosting 的最佳点在哪里
5.7
贝叶斯方法
已上线先有个信念，看到数据后更新它。贝叶斯不给你一个点估计，给你一整条分布——以及它有多不确定。
01先验到后验抛硬币：Beta 先验一次次被数据推着走
02朴素贝叶斯"特征互相独立"这个假设明显是错的，为什么还这么好用
03贝叶斯线性回归不是一条拟合线，是一束线——预测区间自己就出来了
04高斯过程数据密的地方窄，数据稀的地方宽：不确定性长什么样
5.8
深度网络的零件
已上线卷积、池化、嵌入、注意力，每一个零件都在解决一个具体的问题。把它们拆开单看，深度学习就没那么玄。
01卷积核在做什么手动改 3×3 的九个数，看边缘、模糊、锐化怎么出现
02池化与平移不变把图整体挪两格，看哪一层的输出还认得出来
03嵌入向量把离散的词放到平面上，相似的词自己聚到一起
04注意力权重一个最小的注意力头：看它把注意力放在了哪个位置
5.9
模型选择与调参
已上线超参数不是玄学。学习曲线告诉你缺数据还是缺模型，验证曲线告诉你调到哪儿该停。
01学习曲线训练集一点点加大，训练误差与验证误差往哪儿收敛
02网格搜索与随机搜索同样的预算，随机搜索为什么常常更划算
03贝叶斯优化用代理模型决定下一个试哪儿，比乱试省一个量级的次数
04嵌套交叉验证调参也会过拟合：不套两层，报出来的分数就是虚的