一、极大似然估计法的原理
极大似然估计法是一种经典的参数估计方法。其核心思想是,在给定观测数据的情况下,通过寻找最可能产生该数据的模型参数值,来对模型参数进行估计。假设有一组$n$个独立同分布的随机变量$X_1,X_2,…,X_n$,其共同的概率密度函数为$f(x;theta)$,其中,$theta$为未知参数。那么,这组观测数据的联合概率密度函数为:
$$L(theta)=prod_{i=1}^n f(x_i;theta)$$
极大似然估计的思想就是在所有可能的$theta$值中,选取一个值$hat{theta}$,使得$L(hat{theta})$最大。
二、极大似然函数求解步骤
通过对极大似然函数进行求解,就可以得到极大似然估计值。下面是极大似然函数求解的具体步骤:
Step 1:列出联合概率密度函数$L(theta)$;
Step 2:对$L(theta)$取对数,得到对数似然函数$lnL(theta)$;
Step 3:对$lnL(theta)$求导,得到导数为0的方程;
Step 4:解方程得到$hat{theta}$,即为极大似然估计值。
三、极大似然估计法例题
例题1:假设有一组观测数据$X_1,X_2,…,X_n$,其服从二项分布$B(n,p)$。试用极大似然估计法估计参数$p$。
解: 根据二项分布的概率密度函数,有: $$f(x_i;p)=C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$ 那么,该组观测数据的联合概率密度函数为: $$L(p)=prod_{i=1}^n f(x_i;p)=prod_{i=1}^n C_{n}^{x_i}p^{x_i}(1-p)^{n-x_i}$$ 对$L(p)$取对数,得到对数似然函数: $$lnL(p)=sum_{i=1}^n lnC_{n}^{x_i}+x_i ln(p)+(n-x_i)ln(1-p)$$ 对$lnL(p)$求导,得到: $$frac{d lnL(p)}{dp}=frac{sum_{i=1}^n x_i}{p}-frac{sum_{i=1}^n n-x_i}{1-p}$$ 令导数为0,解得: $$hat{p}=frac{sum_{i=1}^n x_i}{n}$$ 因此,参数$p$的极大似然估计值为$hat{p}=frac{sum_{i=1}^n x_i}{n}$。
例题2:假设有一组观测数据$X_1,X_2,…,X_n$,其服从正态分布$N(mu,sigma^2)$。试用极大似然估计法估计参数$mu$和$sigma^2$。
解: 根据正态分布的概率密度函数,有: $$f(x_i;mu,sigma^2)=frac{1}{sqrt{2pi}sigma}exp{-frac{(x_i-mu)^2}{2sigma^2}}$$ 那么,该组观测数据的联合概率密度函数为: $$L(mu,sigma^2)=prod_{i=1}^n f(x_i;mu,sigma^2)=prod_{i=1}^nfrac{1}{sqrt{2pi}sigma}exp{-frac{(x_i-mu)^2}{2sigma^2}}$$ 对$L(mu,sigma^2)$取对数,得到对数似然函数: $$lnL(mu,sigma^2)=-frac{n}{2}ln(2pi)-nln(sigma)-sum_{i=1}^nfrac{(x_i-mu)^2}{2sigma^2}$$ 对$lnL(mu,sigma^2)$求导,得到: $$frac{partial lnL(mu,sigma^2)}{partialmu}=frac{sum_{i=1}^n (x_i-mu)}{sigma^2}$$ $$frac{partial lnL(mu,sigma^2)}{partialsigma^2}=-frac{n}{2sigma^2}+frac{sum_{i=1}^n (x_i-mu)^2}{2sigma^4}$$ 令导数为0,解得: $$hat{mu}=frac{sum_{i=1}^n x_i}{n}$$ $$hat{sigma}^2=frac{sum_{i=1}^n (x_i-hat{mu})^2}{n}$$ 因此,参数$mu$和$sigma^2$的极大似然估计值分别为$hat{mu}=frac{sum_{i=1}^n x_i}{n}$和$hat{sigma}^2=frac{sum_{i=1}^n (x_i-hat{mu})^2}{n}$。
四、SPSS极大似然估计法的步骤
在SPSS中,可以通过选择合适的模型和数据,来进行极大似然估计。其具体步骤如下:
Step 1:在SPSS界面中,选择Analyze→Regresstion→Binary Logistic或Linear Regression等;
Step 2:在Dependent Variable框中输入因变量,选择相关的自变量,并设置为连续变量;
Step 3:在先前假设的模型界面中,选择Estimate;
Step 4:在Estimate窗口中选择Method选项卡,选择Maximum Likelihood;
Step 5:点击Continue按钮,得到输出结果,包括参数估计值、标准误差、似然比、卡方值等信息。
五、极大似然估计步骤
总结以上讨论的极大似然估计法的步骤,包括:
1. 列出联合概率密度函数;
2. 对联合概率密度函数取对数,得到对数似然函数;
3. 对对数似然函数求导,得到导数为0的方程;
4. 解方程,得到极大似然估计值。
六、极大似然法的步骤
在实际应用中,极大似然法的步骤也可以归纳为以下三步:
1. 确定参数模型;
2. 计算对数似然函数的导数;
3. 求解导数为0的方程,得到极大似然估计值。
七、极大似然估计法例题求助
例题3:在一次铸件试验中,随机选取10个铸件,测得其强度值(单位:MPa)为:
330 361 284 328 346 339 341 332 349 353
假定强度值服从正态分布$N(mu,sigma^2)$,试用极大似然估计法估计参数$mu$和$sigma^2$。
解: 根据样本数据,有: $$n=10$$ $$sum_{i=1}^n x_i=3363$$ $$sum_{i=1}^n (x_i-bar{x})^2=5868$$ 那么,该组观测数据的联合概率密度函数为: $$L(mu,sigma^2)=prod_{i=1}^n f(x_i;mu,sigma^2)=prod_{i=1}^nfrac{1}{sqrt{2pi}sigma}exp{-frac{(x_i-mu)^2}{2sigma^2}}$$ 对$L(mu,sigma^2)$取对数,得到对数似然函数: $$lnL(mu,sigma^2)=-5ln(sigma)-frac{n}{2}ln(2pi)-frac{1}{2sigma^2}sum_{i=1}^n (x_i-mu)^2$$ 对$lnL(mu,sigma^2)$求导,得到: $$frac{partial lnL(mu,sigma^2)}{partialmu}=frac{sum_{i=1}^n (x_i-mu)}{sigma^2}$$ $$frac{partial lnL(mu,sigma^2)}{partialsigma^2}=-frac{n}{2sigma^2}+frac{sum_{i=1}^n (x_i-mu)^2}{2sigma^4}$$ 令导数为0,解得: $$hat{mu}=frac{sum_{i=1}^n x_i}{n}=336.3$$ $$hat{sigma}^2=frac{sum_{i=1}^n (x_i-hat{mu})^2}{n}=frac{sum_{i=1}^n (x_i-bar{x})^2}{n}=586.8$$ 因此,参数$mu$和$sigma^2$的极大似然估计值分别为$hat{mu}=336.3$和$hat{sigma}^2=586.8$。