极大似然估计法的步骤(一文搞懂极大似然估计)

一、极大似然估计法的原理

极大似然估计法是一种经典的参数估计方法。其核心思想是,在给定观测数据的情况下,通过寻找最可能产生该数据的模型参数值,来对模型参数进行估计。假设有一组$n$个独立同分布的随机变量$X_1,X_2,…,X_n$,其共同的概率密度函数为$f(x;theta)$,其中,$theta$为未知参数。那么,这组观测数据的联合概率密度函数为:

$$L(theta)=prod_{i=1}^n f(x_i;theta)$$

极大似然估计的思想就是在所有可能的$theta$值中,选取一个值$hat{theta}$,使得$L(hat{theta})$最大。

二、极大似然函数求解步骤

通过对极大似然函数进行求解,就可以得到极大似然估计值。下面是极大似然函数求解的具体步骤:

Step 1:列出联合概率密度函数$L(theta)$;

Step 2:对$L(theta)$取对数,得到对数似然函数$lnL(theta)$;

Step 3:对$lnL(theta)$求导,得到导数为0的方程;

Step 4:解方程得到$hat{theta}$,即为极大似然估计值。

三、极大似然估计法例题

例题1:假设有一组观测数据$X_1,X_2,…,X_n$,其服从二项分布$B(n,p)$。试用极大似然估计法估计参数$p$。

解:
根据二项分布的概率密度函数,有:
$$f(x_i;p)=C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$

那么,该组观测数据的联合概率密度函数为:

$$L(p)=prod_{i=1}^n f(x_i;p)=prod_{i=1}^n C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$

对$L(p)$取对数,得到对数似然函数:

$$lnL(p)=sum_{i=1}^n lnC_{n}^{x_i}+x_i ln(p)+(n-x_i)ln(1-p)$$

对$lnL(p)$求导,得到:

$$frac{d lnL(p)}{dp}=frac{sum_{i=1}^n x_i}{p}-frac{sum_{i=1}^n n-x_i}{1-p}$$

令导数为0,解得:

$$hat{p}=frac{sum_{i=1}^n x_i}{n}$$

因此,参数$p$的极大似然估计值为$hat{p}=frac{sum_{i=1}^n x_i}{n}$。

例题2:假设有一组观测数据$X_1,X_2,…,X_n$,其服从正态分布$N(mu,sigma^2)$。试用极大似然估计法估计参数$mu$和$sigma^2$。

解:
根据正态分布的概率密度函数,有:
$$f(x_i;mu,sigma^2)=frac{1}{sqrt{2pi}sigma}exp{-frac{(x_i-mu)^2}{2sigma^2}}$$

那么,该组观测数据的联合概率密度函数为:

$$L(mu,sigma^2)=prod_{i=1}^n f(x_i;mu,sigma^2)=prod_{i=1}^nfrac{1}{sqrt{2pi}sigma}exp{-frac{(x_i-mu)^2}{2sigma^2}}$$

对$L(mu,sigma^2)$取对数,得到对数似然函数:

$$lnL(mu,sigma^2)=-frac{n}{2}ln(2pi)-nln(sigma)-sum_{i=1}^nfrac{(x_i-mu)^2}{2sigma^2}$$

对$lnL(mu,sigma^2)$求导,得到:

$$frac{partial lnL(mu,sigma^2)}{partialmu}=frac{sum_{i=1}^n (x_i-mu)}{sigma^2}$$

$$frac{partial lnL(mu,sigma^2)}{partialsigma^2}=-frac{n}{2sigma^2}+frac{sum_{i=1}^n (x_i-mu)^2}{2sigma^4}$$

令导数为0,解得:

$$hat{mu}=frac{sum_{i=1}^n x_i}{n}$$

$$hat{sigma}^2=frac{sum_{i=1}^n (x_i-hat{mu})^2}{n}$$

因此,参数$mu$和$sigma^2$的极大似然估计值分别为$hat{mu}=frac{sum_{i=1}^n x_i}{n}$和$hat{sigma}^2=frac{sum_{i=1}^n (x_i-hat{mu})^2}{n}$。

四、SPSS极大似然估计法的步骤

在SPSS中,可以通过选择合适的模型和数据,来进行极大似然估计。其具体步骤如下:

Step 1:在SPSS界面中,选择Analyze→Regresstion→Binary Logistic或Linear Regression等;

Step 2:在Dependent Variable框中输入因变量,选择相关的自变量,并设置为连续变量;

Step 3:在先前假设的模型界面中,选择Estimate;

Step 4:在Estimate窗口中选择Method选项卡,选择Maximum Likelihood;

Step 5:点击Continue按钮,得到输出结果,包括参数估计值、标准误差、似然比、卡方值等信息。

五、极大似然估计步骤

总结以上讨论的极大似然估计法的步骤,包括:

1. 列出联合概率密度函数;

2. 对联合概率密度函数取对数,得到对数似然函数;

3. 对对数似然函数求导,得到导数为0的方程;

4. 解方程,得到极大似然估计值。

六、极大似然法的步骤

在实际应用中,极大似然法的步骤也可以归纳为以下三步:

1. 确定参数模型;

2. 计算对数似然函数的导数;

3. 求解导数为0的方程,得到极大似然估计值。

七、极大似然估计法例题求助

例题3:在一次铸件试验中,随机选取10个铸件,测得其强度值(单位:MPa)为:

330 361 284 328 346
339 341 332 349 353

假定强度值服从正态分布$N(mu,sigma^2)$,试用极大似然估计法估计参数$mu$和$sigma^2$。

解:
根据样本数据,有:
$$n=10$$

$$sum_{i=1}^n x_i=3363$$

$$sum_{i=1}^n (x_i-bar{x})^2=5868$$

那么,该组观测数据的联合概率密度函数为:

$$L(mu,sigma^2)=prod_{i=1}^n f(x_i;mu,sigma^2)=prod_{i=1}^nfrac{1}{sqrt{2pi}sigma}exp{-frac{(x_i-mu)^2}{2sigma^2}}$$

对$L(mu,sigma^2)$取对数,得到对数似然函数:

$$lnL(mu,sigma^2)=-5ln(sigma)-frac{n}{2}ln(2pi)-frac{1}{2sigma^2}sum_{i=1}^n (x_i-mu)^2$$

对$lnL(mu,sigma^2)$求导,得到:

$$frac{partial lnL(mu,sigma^2)}{partialmu}=frac{sum_{i=1}^n (x_i-mu)}{sigma^2}$$

$$frac{partial lnL(mu,sigma^2)}{partialsigma^2}=-frac{n}{2sigma^2}+frac{sum_{i=1}^n (x_i-mu)^2}{2sigma^4}$$

令导数为0,解得:

$$hat{mu}=frac{sum_{i=1}^n x_i}{n}=336.3$$

$$hat{sigma}^2=frac{sum_{i=1}^n (x_i-hat{mu})^2}{n}=frac{sum_{i=1}^n (x_i-bar{x})^2}{n}=586.8$$

因此,参数$mu$和$sigma^2$的极大似然估计值分别为$hat{mu}=336.3$和$hat{sigma}^2=586.8$。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注