随机过程与马尔可夫链
下一步只和现在有关，和怎么走到这儿的无关——这一句话就是马尔可夫性质。它简单到可以手算，又强到能撑起网页排序、语音识别、排队设计和几乎全部的现代采样算法。
这个模块讲什么
确定性模型回答"会怎样"，随机模型回答"大概率会怎样、偶尔会怎样"。这个模块从一个只有三个状态的转移矩阵开始，先把稳态、吸收、首达时间这些量算清楚；再走到随机游走与布朗运动，看扩散是怎么从一步一步的乱走中长出来的；然后是排队论——一条队伍的长度为什么会在利用率逼近 1 时炸开；最后是两件最实用的事：用马尔可夫链去采样（MCMC），以及从看得见的观测反推看不见的状态（隐马尔可夫模型）。每一页都可以调参数，边看边验。
6专题
24实验台
专题列表
每个专题是一个独立页面，页内按实验台组织。下面列出的是每一页会做的实验。
8.1
马尔可夫链基础
已上线一张转移图、一个矩阵、一次次相乘。稳态分布是这套机器的不动点，而它收敛得多快，全写在第二大特征值里。
01转移矩阵与状态图改转移概率，看小球在三个状态之间怎么跑，长期比例落到哪儿
02n 步转移矩阵自乘：不管从哪个状态出发，几步以后每一行都长得一样
03稳态分布解 πP=π 与直接迭代两条路，给出同一个答案
04收敛有多快第二大特征值的模决定混合时间，慢链长什么样
8.2
吸收、首达与破产
已上线有些状态进去就出不来。从哪儿出发、多大概率被哪个吸收态吞掉、平均要走多少步——这三个问题都只需要解一个线性方程组。
01赌徒破产本金与胜率一调，破产概率的那条曲线立刻变形
02吸收概率基本矩阵 N=(I−Q)⁻¹ 是怎么把这件事一次算完的
03期望吸收时间平均要走多少步：模拟值与理论值并排给你
04常返与瞬时一维随机游走必回原点，二维也必回，三维就不一定了
8.3
随机游走与布朗运动
已上线每一步都是公平的硬币，走一万步以后离原点有多远？答案是 √n 而不是 n——扩散的全部秘密就在这个平方根里。
01一维随机游走几十条轨迹同时跑，看它们张开成一个 √n 的喇叭口
02二维游走与扩散一群粒子从一点出发，浓度分布慢慢长成一个高斯
03从游走到布朗运动步长越来越小、步数越来越多，折线自己变成连续曲线
04几何布朗运动股价模型：为什么对数收益才是那个加起来的量
8.4
排队论
已上线为什么利用率 90% 的窗口排队还行，95% 就排到门外？排队长度对利用率不是线性的，是 1/(1−ρ)。
01泊松到达到达间隔是指数分布：看"平均每分钟一个"其实有多不均匀
02M/M/1 队列拖动利用率 ρ，看队长在 0.8 之后怎么起飞
03多窗口还是多队同样的总服务能力，一队多窗为什么比多队多窗好
04Little 定律L=λW：一条几乎不需要假设的恒等式，怎么用来估等待时间
8.5
蒙特卡洛与 MCMC
已上线想从一个复杂分布里抽样，就造一条以它为稳态的马尔可夫链，然后让链自己跑。Metropolis 只用了一行接受概率。
01蒙特卡洛积分用撒点算面积：误差按 1/√n 下降，与维数无关
02拒绝采样包络越松，扔掉的点越多——高维下为什么直接废掉
03Metropolis 算法步长太小走不动，太大全被拒绝，中间那个最优接受率是多少
04收敛诊断多条链、轨迹图、自相关：怎么判断"烧机"够了没有
8.6
隐马尔可夫模型
已上线状态看不见，只能看到它发出的信号。前向算法算似然，维特比找最可能的状态路径，Baum–Welch 连参数都不用给。
01两个骰子的故事庄家偷偷换骰子：只看点数序列，你能看出换在哪儿吗
02前向算法动态规划把指数条路径压成一张表
03维特比解码最可能的那条状态路径，和逐点最优并不是一回事
04Baum–Welch 学参数只给观测序列，EM 迭代把转移矩阵一点点找回来