http://blog.csdn.net/v1_vivian/article/details/52038037
指数分布族是指可以表示为指数形式的概率分布。指数分布族的形式如下:(其中,η称为分布的自然参数(nature parameter);Ty)是充分统计量(sufficient statistic),通常Ty)=y。当参数a、b、T都固定时,就定义了一个以η为参数的函数族):
以将高斯分布和伯努利分布为例,我们将它们表示称为指数分布族的形式。
1.将伯努利分布写成指数分布族的形式
伯努利分布是对0,1问题进行建模的分布,它可以用如下形式表示:
将其转换形式:
此时,我们就将伯努利分布表示成了指数分布族的形式;其中:
我们可以看到,φ的形式与logistic函数一致,这也正是因为logistic模型对问题的概率估计是伯努利分布的缘故。
2.将高斯分布写成指数分布族的形式
由高斯分布可以推导出线性模型,由线性模型的假设函数可知,高斯分布的方差σ²与假设函数无关,所以简便起见,我们可以将σ²的值设为1,推导过程如下:
此时,我们就将高斯分布表示成了指数分布族的形式;其中:
实际上,大多数概率分布都可以表示成指数分布族的形式。比如:
(1)伯努利分布:对0、1问题进行建模;
(2)多项式分布:多有K个离散结果的事件的建模;
(3)泊松分布:对计数过程进行建模,比如网站访问量的计数问题,放射性衰变的数目,商店 顾客数量等问题;
(4)伽马分布与指数分布:对有间隔的正数进行建模,比如公交车的到站时间问题;
(5)β分布:对小数建模;
(6)Dirichlet分布:对概率分布建模;
(7)Wishart分布:协方差矩阵的分布;
(8)高斯分布;
实际上,大多数概率分布都可以表示成上式的形式。比如:
1)伯努利分布:对0、1问题进行建模;
2)多项式分布:多有K个离散结果的事件的建模;
3)泊松分布:对计数过程进行建模,比如网站访问量的计数问题,放射性衰变的数目,商店 顾客数量等问题;
4)伽马分布与指数分布:对有间隔的正数进行建模,比如公交车的到站时间问题;
5)β分布:对小数建模;
6)Dirichlet分布:对概率分布建模;
7)Wishart分布:协方差矩阵的分布;
8)高斯分布;