深谈贝叶斯
写在前面
世界上最出名的公式是 $E=mc^2$,但体现更多的是娱乐价值,在日常中并没有那么实用。从狭义相对论出发,去推导理解 $E=mc^2$ 并不容易,但自打初中知道之后,我就几乎没有对这个公式有过什么更新,但是贝叶斯公式不同,我很快就理解了这个公式的意义,但是能内化贝叶斯原理,却用了十几年的时间,每次感悟都有所不同,而从质能方程到贝叶斯公式的偏爱转变,也反映着我自己对还原论的心理依赖到系统论的包容开放。
这篇文章会从多角度、深入的讨论贝叶斯公式中的每一项,也算是自我感悟的一次总结。
观测 $o$
隐藏 $s$
- 被压缩的维度
- 流形和漏斗上的小球,都会落入
- 化简得到的简化形式
- 被压缩的
- 统计意义上的高频信号
- PCA
- 机器学习和DNN
$s\rightarrow o \leftarrow s*$
先验 $p(s)$
似然 $p(o|s)$
后验 $p(s|o)$
边缘 $p(o)$
局限与近似
无论是变分
