Loading... # 高斯随机变量 ## 标量实高斯随机变量 ### 标准高斯随机变量$\omega$ 实数域上的标准高斯变量$\omega$的概率密度函数: $$ f(\omega)=\frac{1}{\sqrt{2\pi}}exp(-\frac{\omega_2}{2}),\quad \omega\in \mathfrak{R} $$ - 均值:$0$ - 方差:$1$ ### (一般的)高斯随机变量$x$ $$ x=\sigma\omega+\mu $$ - 均值:$\mu$ - 方差:$\sigma$ $x$对应的概率密度函数: $$ f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2}),\quad x\in \mathfrak{R} $$ ### 随机变量的符号表示 由于随机变量完全由**均值**和**方差**所特征化,因此可以由以下形式表示 $$ \omega \sim \mathcal{N}(0, 1)\\ x \sim \mathcal{N}(\mu, \sigma) $$ ### 高斯随机变量的尾部 $$ Q(a)=\mathbb{P}(\omega>a) $$ 特点:**指数级衰落** ### 高斯性的属性 **通过线性变换保持不变** $$ \Sigma_{i=1}^\infty c_i x_i\sim \mathcal{N}(\Sigma_{i=1}^\infty c_i\mu_i, \Sigma_{i=1}^\infty c_i^2\mu_i^2) $$ ## 实高斯随机矢量 ### 正交矩阵 #### 定义 若实矩阵$A$满足$AA^T=A^TA=I$,则称$A$为正交矩阵 #### 性质 - $A^{-1}=A^T$ - $|A|=\pm1$ - 正交矩阵的乘积也是正交矩阵 设$A^TA=AA^T=I,BB^T=B^TB=I$,则 $(AB)^T(AB)=B^T(A^TA)B=B^TB=I$ - $A$为正交矩阵$\Leftrightarrow A$的行(列)向量组都是规范正交向量组 $$ 设A=\left(\begin{array}{c}x_1 \\ x_2 \\ . \\ . \\ . \\ x_n \\ \end{array}\right),A^T=(x_1^T, x_2^T, ..., x_n^T),则\\AA^T=\left(\begin{array}{ccccc}x_1x_1^T & x_1x_2^T & . & . & x_1x_n^T \\ x_2x_1^T & x_2x_2^T & . & . & x_2x_n^T \\ . & . & . & . & . \\ . & . & . & . & . \\ x_nx_1^T & x_nx_2^T & . & . & x_nx_n^T \end{array}\right)=I\\ \Leftrightarrow a_ia_i^T=1,a_ia_j^T=0(i\neq j)\\ \Leftrightarrow (a_i, a_i)=1,(a_i, a_j)=0(i\neq j) $$ - 正交矩阵保持向量长度不变 设$\alpha$为$n$维列向量,$A$为$n$阶正交矩阵,证明$\parallel A \alpha \parallel=\parallel \alpha \parallel$ $$ 令A=(x_1, x_2, ..., x_n), \alpha = (a_1, a_2, ..., a_t)^T \\ \begin{eqnarray} A\alpha & = &(x_1, x_2, ..., x_n) \left( \begin{array}{c} a_1 \\ a_2 \\ . \\ .\\ a_n \\ \end{array} \right)\\ & = &(x_1 a_1 + x_2 a_2 + ... + x_n a_n) \\ \parallel A\alpha \parallel & = & (x_1 a_1 + x_2 a_2 + ... + x_n a_n)^T(x_1 a_1 + x_2 a_2 + ... + x_n a_n)\\ & = &[x_1a_1^T(x_1 a_1 + x_2 a_2 + ... + x_n a_n)]\\ && +\:[x_2a_2^T(x_1 a_1 + x_2 a_2 + ... + x_n a_n)]\\ && \ +\: ...\\ && +\:[x_na_n^T(x_1 a_1 + x_2 a_2 + ... + x_n a_n)]\\ & = &[x_1^2(a_1^Ta_1)+x_1x_2(a_1^ta_2)+...+x_1x_n(a_1^Ta_n)]\\ && +\:[x_2x_1(a_2^Ta_1)+x_2^2(a_2^ta_2)+...+x_2x_n(a_2^Ta_n)]\\ && \ +\:...\\ && +\:[x_nx_1(a_n^Ta_1)+x_nx_2(a_n^ta_2)+...+x_n^2(a_n^Ta_n)]\\ & = &[x_1^2+x_2^2+...+x_n^2]\\ & = &\parallel \alpha \parallel \end{eqnarray} $$ ### 标准高斯随机矢量 标准高斯随机矢量$\omega$是由$n$个独立同分布的标准高斯随机变量$\omega_1, \omega_2,...,\omega_n$组成,矢量$\omega=(\omega_1, \omega_2, ..., \omega_n)$的概率密度函数 $$ f(\omega)=\frac{1}{(\sqrt{2\pi})^n}exp(-\frac{\parallel \omega \parallel}{2}),\quad \omega \in \mathfrak{R^n} $$ #### 重要结论 **对于正交矩阵$A$来说,如果$\omega$服从标准高斯分布,则$A\omega$也服从标准高斯分布** 原因: - 从代数角度 - 乘法不会改变随机变量的均值 - 密度函数仅仅与自变量的模有关,而正交矩阵不会改变向量的二阶范数(方差) - 从几何角度 - 正交变换不会改变原图形的几何形状,能够保持原图形的空间不变性 - 只是对原图形进行旋转操作 **标准高斯随机矢量在正交方向上的投影相互独立** 原因: 设$v_1=(a_1, a_2, ..., a_n)^T, v_2=(b_1, b_2, ..., b_n)^T$为两个正交方向($n\times 1$),$\omega=(\omega_1, \omega_2, ..., \omega_n)^T$为标准高斯随机矢量($n\times1$),$\omega$在两个方向上的投影(标量)分别是$X_1=v_1 \cdot \omega=v_1^T\omega=\Sigma a_i \omega_i,\\ X_2=v_2 \cdot \omega=v_2^T\omega=\Sigma b_i \omega_i$, 又知两个随机变量相互独立的充要条件是协方差为0 $Cov(X_1, X_2)=E[(X_1-E[X_1])(X_2-E[X_2])^T]$ 又知道对于上述$X_1X_2$都是标量,期望为0, 故有: $$ \begin{eqnarray} Cov(X_1, X_2) & = &E[X_1 X_2]\\ & = &E[(v_1^T\omega)(v_2^T\omega)]\\ & = &E[\Sigma \Sigma a_i \omega_i b_j \omega_j]\\ & = &\Sigma \Sigma a_i b_i E(\omega_i \omega_j)(当且仅当i=j时有E(\omega_i \omega_j)=1,否则为0)\\ & = &\Sigma a_i b_i \\ & = &v_1^Tv_2\\ & = &0 \end{eqnarray} $$ #### $\parallel \omega \parallel ^ 2$的分布 $\parallel \omega \parallel ^ 2$等于$n$个独立同分布的零均值高斯随机变量的平方和,为自由度为$n$的$\chi_n^2$分布 - [ ] 推导 ### 高斯随机矢量 #### 定义 高斯随机矢量是标准高斯随机矢量的线性变换再加上一个常矢量 $$ x=A\omega+\mu $$ #### 协方差矩阵(方差) ##### 协方差矩阵的推导 $$ \begin{eqnarray} K=Cov(x, x) & = &E[(x-\mu)(x-\mu)^T]\\ & = &E[(A\omega)(A\omega)^T]\\ & = &E[(A\omega \omega^T A^T)]\\ & = &AE[\omega \omega^T]A^T\\ & = &AA^T \end{eqnarray} $$ ##### 协方差矩阵的意义 对于$x=(x_1, x_2, ..., x_n)^T$这样的随机变量 $$ \begin{eqnarray} K & = &Cov(x, x)\\ & = & \left( \begin{array}{ccccc} Conv(x_1, x_1) & Conv(x_1, x_2) & . & . & Conv(x_1, x_n)\\ Conv(x_2, x_1) & Conv(x_2, x_2) & . & . & Conv(x_2, x_n)\\ . & . & . & . & .\\ . & . & . & . & .\\ Conv(x_n, x_1) & Conv(x_n, x_2) & . & . & Conv(x_n, x_n)\\ \end{array} \right) \end{eqnarray} $$ #### 性质 - 均值$\mu$,方差$AA^T$ - 标准高斯随机矢量服从均值为$\matrix{0}$,方差为$I$的高斯随机矢量 - 对于任意的$c, x\in \mathfrak{R^n}$,都有$c^Tx \sim \mathcal{N}(c_T\mu, c^tAA^Tc)$ 理解:$c_Tx$是$c$与$x$的内积,是一个标量,线性组合的结果是一个标量,$c_t\mu$和$c^tAA^Tc$均为标量 - 如果$A$是**可逆矩阵**,概率密度函数为 $$ f(x)=\frac{1}{\sqrt{2\pi}^n\sqrt{det(AA^T)}}exp(-\frac{1}{2}(x-\mu)^T(AA^T)^{-1}(x-\mu)) $$ #### 推论 - 可以只用协方差矩阵$AA^T$表征$x$的密度 - 设正交矩阵$O$,$x_1=A\omega + \mu $与$ x_2=AO\omega + \mu$ 分布相同 $$ \begin{eqnarray} K_1=Cov(x_1, x_1) & = &AA^T\\ K_2=Cov(x_2, x_2) & = &E[(x_2 - \mu)(x_2 - \mu)^T]\\ & = &E[(AO\omega)(AO\omega)^T]\\ & = &E[AO\omega\omega^T O^T A^T]\\ & = &AOE[\omega \omega^T]O^TA^T\\ & = &AA^T \end{eqnarray} $$ - 协方差矩阵为对角矩阵时,高斯随机矢量由独立的高斯随机变量组成 - 协方差矩阵是单位阵的时候,高斯随机矢量由标准高斯随机变量组成 ## 复高斯随机矢量 ### 共轭转置 设有矩阵$G$,其共轭转置矩阵可以表示为$G^H$ 他是在转置的基础上,对每个元素取复共轭 ### 形式 复高斯随机矢量$x$的形式如下面的公式所示 $$ x=x_R+jx_I $$ 其中$x_R$和$x_I$都是实矢量 复高斯随机矢量是指满足$[x_R, x_I]^T$为实高斯随机矢量的矢量,分布由均值和协方差矩阵确定 ### 重要参数 $$ \begin{eqnarray} \mu: & = &E[x]\\ K: & = &E[(x-\mu)(x-\mu)^H]\\ J: & = &E[(x-\mu)(x-\mu)^T] \end{eqnarray} $$ 注意:**复随机矢量$x$的协方差矩阵$K$本身通常不足以确定$x$的全部二次统计量** $K$可以由$n^2$个实参数确定,而全部二阶统计量需要用$n(2n+1)$个实参数确定 复高斯随机矢量通常由五个参数确定:实部与虚部的均值和方差,实部与虚部的相关性 ### 循环对称性 对于任意$\theta$,如果$e^{j\theta}x$与$x$具有相同的分布,则x为**循环对称**的 理解:$e^{j\theta}$是一个旋转因子,如果对于任意的旋转角度分布相同,当然具有循环对称性 ### 循环对称复高斯随机矢量 #### 性质 对于任意$\theta$,循环对称复高斯随机矢量$x$,都有: $\mu=E(x)=E(e^{j\theta}x)=e^{j\theta}E(x)$ $J=E[(x-\mu)(x-\mu)^T]=E(xx^T)=E(e^{j\theta}x(e^{j\theta}x)^T)=e^{j2\theta}E(xx^T)$ - 均值$\mu$为$0$ 反证法: 假设均值$\mu$不是0,若满足$E(x)=e^{j\theta}E(x)$,则对于任意的旋转角度$\theta$,都要有$e^{j\theta -1}$为0,矛盾 - 伪协方差矩阵$J$为$0$ 证明同上 - 协方差矩阵$K$完全确定循环对称矢量的一阶和二阶统计量 #### 表示 $$ \mathcal{CN}(0, K) $$ #### 特殊情况 - 实部和虚部为独立同分布的零均值高斯随机变量时,复高斯随机变量循环对称 - 由n个相互独立的服从同一分布$\mathcal{CN}(0, 1)$的随机变量构成的标准循环对称随机矢量可以表示为$\mathcal{CN}(0, I)$ - 如果$\omega$为$\mathcal{CN}(0, I)$,$A$为复矩阵,则$x=A\omega$也是协方差矩阵$K=AA^H$的循环对称高斯矢量,即服从$\mathcal{CN}(0, K)$ 最后修改：2024 年 09 月 12 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏