隐马尔可夫模型

先把中间那条状态带当作不存在，只看最上面和最下面两条。最下面那条标出了所有的 6。你能看出哪几段"6 特别密"吗？灌铅骰子出 6 的概率是 0.5，公平骰子是 1/6——差了三倍，但在一小段里，随机涨落很容易骗过眼睛。这就是隐马尔可夫模型要解决的全部问题：单看一次观测几乎没有信息，但把连续一段观测放在一起，再加上"状态不会频繁乱跳"这个先验，信息量就足够了。把换骰概率拖大到 30%：状态带变成细碎的花纹，这时候连算法也认不出来了——状态换得越快，每一段能积累的证据越少，可识别性越差。反过来把它拖到 1%，状态带变成几个大块，识别几乎不会出错。再调灌铅程度：从 0.5 降到 0.25 时，两种骰子的差别只剩一点点，再长的序列也很难分开。这两个滑杆分别对应现实里两个关键量：状态的持续性，和观测的区分度。任何一个太差，模型就没得救。

把序列长度拖到 10 以下，比较前两行读数：它们完全相同。上面那行是前向算法算出来的，下面那行是把 2¹⁰ = 1024 条路径一条条枚举、加起来算出来的。一样的答案，工作量差了两个数量级。把长度拖到 120，路径数是 2¹²⁰ ≈ 1.3×10³⁶——宇宙年龄的秒数也就 10¹⁷ 量级，枚举彻底没戏；而前向表格只有 240 个格子，瞬间算完。动态规划的威力就写在这两个数字的对比里：O(2ⁿ) 变成 O(K²n)。机制其实很简单。要算"前 t 步的所有路径的总概率"，你不需要知道每条路径具体怎么走，只需要知道"走到 t 时停在各个状态上的总概率"——因为马尔可夫性保证了：未来只依赖当前状态，不依赖历史。所以指数条路径可以在每一步被压缩成 K 个数字。上面那张 α 热力图就是这 K 个数字随时间的变化：颜色深的那一行，就是模型当前认为更可能的状态。把它和下面的真实状态带对照着看，你会发现 α 的切换总是比真实状态"慢半拍"——因为前向变量只用了到当前为止的信息，还没看到后面的证据。

这两个算法回答的是两个不同的问题，很多人会混。维特比问的是："哪一整条状态路径的联合概率最大？"逐点后验问的是："在第 t 个位置上，哪个状态的边缘概率最大？"把每个位置上最可能的状态串起来，得到的并不是最可能的路径。读数里逐点后验的正确率总是略高一点（84.5% 对 81.8%），这不奇怪——它本来就是在逐点意义上最优的。但它有一个致命缺点：拼出来的这条"路径"可能根本走不通，比如中间出现一个孤零零的单点切换，而真实的转移矩阵根本不允许这么跳。维特比给出的一定是一条合法的、连贯的路径。所以选哪个取决于你要的是什么：如果下游要用整条路径（比如语音识别里要解码出一整句话、基因注释里要标出一整段编码区），必须用维特比；如果只关心"这一刻处于哪个状态的概率有多大"（比如风控实时打分），后验概率更合适，而且它还额外给了你一条置信度曲线。下面那条曲线就是它：在状态切换的地方，曲线会从 0 爬到 1，爬坡的宽度就是"模型需要多少个观测才敢确认换了状态"。

前面三个实验台都假装知道转移矩阵和发射概率。现实里你通常什么都不知道，只有一串观测。Baum–Welch（也就是 HMM 上的 EM）解决的正是这件事：先随便猜一组参数，用它算出"每个位置处于各状态的概率"（E 步），再拿这些概率当作软标签重新估参数（M 步），来回迭代。把迭代次数一格一格往上推，看那条似然曲线：它只会上升，从不下降。这是 EM 的基本性质，也是它可靠的原因。n=600 时，似然从 −1048 爬到 −1003，二十次迭代后基本就平了。下面的柱状图显示学到的灌铅骰子：P(6) 学成了 0.496（真值 0.50），维持概率 0.903（真值 0.920）。但请注意那条蓝虚线：学出来的似然 −1002.9 竟然高于用真参数算的 −1010.7。这不是 bug。EM 最大化的是"这组参数解释这一份数据的能力"，而不是"找回生成数据的那组参数"。在有限样本下，前者的最优解本来就不等于后者——这正是过拟合最干净的一个例子。把序列长度从 200 拖到 1500，两个数会越靠越近。还有一个坑要知道：EM 只保证收敛到局部最优。换一组初值，可能收敛到一个"两个状态都是公平骰子"的平庸解。实践中的对策是多次随机初始化，取似然最高的那次。