一道有关极大似然估计和贝叶斯估计的题目
一道有关极大似然估计和贝叶斯估计的题目本文地址：blog.lucien.ink/archives/5000. 题目数据 $x_1, \dots, x_n$ 来自正态分布 $N(\mu, \sigma ^ 2)$，其中 $\sigma ^ 2$ 已知。根据样本 $x_1, \dots, x_n$ 写出 $\mu$ 的极大似然估计。假设 $\mu$ 的先验分布是正态分布 $N(0, \tau ^ 2)$，根据样本 $x_1, \dots, x_n$ 写出 $\mu$ 的贝叶斯估计。1. 极大似然估计正态分布概率密度函数为 ${ f(x) = { \frac { 1 }{ \sigma { \sqrt { 2 \pi } } } } e ^{ - { \frac {( x - \mu )^{ 2 } }{ 2 \sigma^{ 2 } } } } }$，则$$L(\mu) = \prod \limits_{ i = 1 }^{ n } f(x_i) = (\frac { 1 }{ \sigma \sqrt { 2 \pi } }) ^ n \cdot e ^ { - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2 } \propto - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2$$则有 $$\frac{ \partial [- \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2] }{ \partial \mu } = \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } 2 \cdot (x_i - \mu) = \frac { 1 }{ \sigma ^ 2 } \sum \limits_{ i = 1 }^{ n } (x_i - \mu)$$令 $$\frac { 1 }{ \sigma ^ 2 } \sum \limits_{ i = 1 }^{ n } (x_i - \mu) = 0$$得 $$\widehat \mu = \frac { \sum \limits_{ i = 1 }^{ n } x_i }{ n } = \bar x$$2. 贝叶斯估计大佬说这一问严格来讲是求最大后验概率估计$$P(\mu) = { \frac { 1 }{ \tau { \sqrt { 2 \pi } } } } e^{ - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } }$$$$P(\mu | x_1, \dots, x_n) = \frac{ P(\mu) \cdot P( x_1, \dots, x_n | \mu) }{ P(x_1, \dots, x_n) } = \frac{ P(\mu) \cdot \prod \limits_{ i = 1 }^{ n } P(x_i | \mu) }{ \int P(\mu, x_1, \dots, x_n) \mathrm{ d } \mu }$$$$\propto P(\mu) \cdot \prod \limits_{ i = 1 }^{ n } P(x_i | \mu) = { \frac { 1 }{ \tau { \sqrt { 2 \pi } } } } \cdot e ^{ - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } } \cdot (\frac { 1 }{ \sigma \sqrt { 2 \pi } }) ^ n \cdot e ^ { - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2 }$$取对数得 $$\ln({ \frac { 1 }{ \tau { \sqrt { 2 \pi } } } } \cdot e ^{ - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } } \cdot (\frac { 1 }{ \sigma \sqrt { 2 \pi } }) ^ n \cdot e ^ { - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2 })$$$$ = \ln{ \frac { 1 }{ \tau { \sqrt { 2 \pi } } } } - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } + n \cdot \ln \frac { 1 }{ \sigma \sqrt { 2 \pi } } - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2$$$$\propto - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2$$则有 $$\frac { \partial [- { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2 ] }{ \partial \mu } = - { \frac { \mu }{ \tau ^ 2 } } + \frac { 1 }{ \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu)$$令 $$- { \frac { \mu }{ \tau ^ 2 } } + \frac { 1 }{ \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) = 0$$则有 $$\frac { 1 }{ \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } x_i - \frac { n }{ \sigma ^ 2 } \mu = \frac { \mu }{ \tau ^ 2}$$$$\Rightarrow \frac { 1 }{ \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } x_i = (\frac { 1 }{ \tau ^ 2} + \frac { n }{ \sigma ^ 2 }) \cdot \mu = \frac { \sigma ^ 2 + n \tau ^ 2 }{ \tau ^ 2 \sigma ^ 2 } \mu$$得 $$\widehat \mu = \frac{ \tau ^ 2 \sum \limits_{ i = 1 }^{ n } x_i }{ \sigma ^ 2 + n \tau ^ 2 } = \frac{ \sum \limits_{ i = 1 }^{ n } x_i }{ \frac{ \sigma ^ 2 }{ \tau ^ 2 } + n }$$3. 疑问与解答3.1 $\mu$ 是个参数，为什么会有分布函数考虑这样一种情况，总共有 $1000$ 个随机数字，每次有放回从中抽出 $10$ 个数字，抽 $100$ 次，就有 $100$ 个 $\mu$，这些 $\mu$ 服从同一种且拥有相同参数的分布。3.2 如何理解 $P(x_1, \cdots, x_n | \mu)$ 和 $P(\mu | x_1, \cdots, x_n)$ 里 $\mu$ 所表达的含义$\mu$ 取某个值发生的概率。
导数与求导本文地址：blog.lucien.ink/archives/4990. 摘要太久没有求过导数，发现关于导数的知识忘得一干二净，遂学习并记录之。1. 导数导数（英语：Derivative）是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数 $f$ 的自变量在一点 $x_{0}$ 上产生一个增量 $h$ 时，函数输出值的增量与自变量增量 $h$ 的比值在 $h$ 趋于0时的极限如果存在，即为 $f$ 在 $x_{0}$ 处的导数，记作 $f'(x_0)$ 、$\frac{\mathrm{d}f}{\mathrm{d}x}(x_0)$ 或 $\left.\frac{\mathrm{d}f}{\mathrm{d}x}\right|_{x=x_0}$。例如在运动学中，物体的位移对于时间的导数就是物体的瞬时速度。导数是函数的局部性质。不是所有的函数都有导数，一个函数也不一定在所有的点上都有导数。若某函数在某一点导数存在，则称其在这一点可导，否则称为不可导。如果函数的自变量和取值都是实数的话，那么函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。对于可导的函数 $f$，$x \mapsto f'(x)$ 也是一个函数，称作 $f$ 的导函数。寻找已知的函数在某点的导数或其导函数的过程称为求导。反之，已知导函数也可以倒过来求原来的函数，即不定积分。微积分基本定理说明了求原函数与积分是等价的。求导和积分是一对互逆的操作，它们都是微积分学中最为基础的概念。2. 导数表$f(x)$$f'(x)$$C$$0$$n ^ x$$n ^ x \ln n$$\log_a x$$\frac{ 1 }{ x \ln a }$$\ln x$$\frac{ 1 }{ x }$$x ^ n$$n x ^ { n - 1 }$$\sqrt[ n ]{ x }$$\frac{ x ^ { - \frac{ n - 1 }{ n } } }{ n }$$\frac{ 1 }{ x ^ n }$$- \frac{ n }{ x ^ { n + 1 } }$$\sin x$$\cos x$$\cos x$$- \sin x$$\tan x$$\frac{ 1 }{ \cos ^ 2 x }$3. 求导法则$$[ f(x) \pm g(x) ]' = f'(x) \pm g'(x)$$$$[ f(x) \cdot g(x) ]' = f'(x) \cdot g(x) + f(x) \cdot g'(x)$$$$[ \frac{ f(x) }{ g(x) } ]' = \frac{ f'(x) \cdot g(x) - g'(x) \cdot f(x) }{ g ^ 2(x) }$$$$[ f(g(x)) ]' = f'(g(x)) \cdot g'(x)$$3.1 $[ f(g(x)) ]'$ 和 $f'(g(x))$ 的区别$$[ f(g(x)) ]' = \frac{ df(g(x)) }{ dx }$$$$f'(g(x)) = \frac{ df(g(x)) }{ dg(x) }$$
点到直线的距离公式推导本文地址：blog.lucien.ink/archives/495摘自 点到直线距离公式的几种推导 - 三横先生的文章 - 知乎 的三角形面积法，稍作修改并更正书写错误。起因今天在 PPT 里看到一个点到超平面的距离公式 $d = \frac{ 1 }{ \left\| \boldsymbol w \right\| }| \boldsymbol w \cdot \boldsymbol x_0 + \boldsymbol b |$，看了半天没看懂为什么这样算，遂去问学霸，答曰“平面情况下就是点到直线的距离公式”。万分惭愧，我连初中数学都忘了。三角形面积法直线 $l$ 方程为 $Ax + By + C = 0$，$A$、$B$ 均不为 $0$，点 $P(x_0, y_0)$，设点 $P$ 到 $l$ 的距离为 $d$。设点 $R(x_R, y_0)$，点 $S(x_0, y_S)$。由 $R, S$ 在直线 $l$ 上，得到$$Ax_R + By_0 + C = 0$$$$Ax_0 + By_S + C = 0$$所以$$x_R = \frac{ -By_0 - C }{ A }$$$$y_S = \frac{ -Ax_0 - C }{ B }$$即$$| PR | = | x_0 - x_R | = | x_0 - \frac{ -By_0 - C }{ A } | = | \frac{ Ax_0 + By_0 + C }{ A } |$$$$| PS | = | y_0 - y_S | = | y_0 - \frac{ -Ax_0 - C }{ B } | = | \frac{ Ax_0 + By_0 + C }{ B } |$$于是$$| RS | = \sqrt{ { PR }^2 + { PS }^2 } = \frac{ \sqrt{ A^2 + B^2 } }{ AB } \cdot | Ax_0 + By_0 + C |$$由 $\Delta_{PSR}$ 得$$d \cdot | RS | = | PR | \cdot | PS |$$即$$d = \frac{ | PR | \cdot | PS | }{ | RS | } = \frac{ | \frac{ Ax_0 + By_0 + C }{ A } | \cdot | \frac{ Ax_0 + By_0 + C }{ B } | }{ \frac{ \sqrt{ A^2 + B^2 } }{ AB } \cdot | Ax_0 + By_0 + C | } = \frac{ | Ax_0 + By_0 + C | }{ \sqrt{ A^2 + B^2 } }$$另一种形式设函数 $f(x, y) = Ax + By + C$，直线 $l: Ax + By + C = 0$ 的法向量为 $\boldsymbol v(A, B)$。则点 $P(x_0, y_0)$ 到直线 $l$ 的距离 $d$ 为$$d = \frac{ | Ax_0 + By_0 + C | }{ \sqrt{ A^2 + B^2 } } = \frac{ f(x_0, y_0) }{ \left\| \boldsymbol v \right\| }$$注：$\left\| \boldsymbol v \right\|$ 为向量 $\boldsymbol v$ 的 2-范数
范数本文地址：blog.lucien.ink/archives/494转载自：0 范数、1 范数、2 范数有什么区别？ - 魏通的回答 - 知乎，稍作整理。简介维基百科：范数（norm），是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。另一方面，半范数（seminorm）可以为非零的向量赋予零长度。向量范数0-范数向量非零元素个数。1-范数向量元素绝对值之和。$$\left\| \boldsymbol x \right\|_1 = \sum \limits_{ i = 1 }^{ N } | x_i |$$2-范数$Euclid$ 范数（欧几里得范数），可以用来计算向量长度，即向量元素的平方和再开方。$$\left\| \boldsymbol x \right\|_2 = \sqrt{ \sum \limits_{ i = 1 }^{ N } x_i^2 }$$$\infty$-范数所有向量元素绝对值中的最大值。$$\left\| \boldsymbol x \right\|_{ \infty } = \max_i | x_i |$$$-\infty$-范数所有向量元素绝对值中的最大值。$$\left\| \boldsymbol x \right\|_{ -\infty } = \min_i | x_i |$$p-范数向量元素绝对值的 $p$ 次方和的 $\frac{ 1 }{ p }$ 次幂。$$\left\| \boldsymbol x \right\|_p = (\sum \limits_{ i = 1 }^{ N } | x_i |^p)^{ \frac{ 1 }{ p } }$$矩阵范数1-范数列和范数，即所有矩阵列向量绝对值之和的最大值。$$\left\| A \right\|_1 = \max_j \sum \limits_{ i = 1 }^{ N } | a_{ i, j } |$$2-范数$\lambda_1$ 为 $A^TA$ 的最大特征值。$$\left\| A \right\|_2 = \sqrt{ \lambda_1 }$$$\infty$-范数所有矩阵行向量绝对值之和的最大值。$$\left\| A \right\|_{ \infty } = \max_i \sum \limits_{ j = 1 }^{ N } | a_{ i, j } |$$F-范数$Frobenius$ 范数，即矩阵所有元素的平方和再开方。$$\left\| A \right\|_F = \sqrt{ \sum \limits_{ i = 1 }^{ n } \sum \limits_{ j = 1 }^{ m } a_{ i, j }^2 }$$核范数$\lambda_i$ 是 $A$ 的奇异值，即奇异值之和。$$\left\| A \right\|_* = \sum \limits_{ i = 1 }^{ n } \lambda_i$$