摘要
当今研究领域的一项事实就是，前向神经网络feed-forward neural networks)的训练速度比人们所期望的速度要慢很多。并且，在过去的几十年中，前向神经网络在应用领域存在着很大的瓶颈。导致这一现状的两个关键因素就是：
- 神经网络的训练，大多使用基于梯度的算法，而这种算法的训练速度有限；
- 使用这种训练算法，在迭代时，网络的所有参数都要进行更新调整。
而在2004年，由南洋理工学院黄广斌教授所提出的极限学习机器Extreme Learning Machine，ELM)理论可以改善这种情况。最初的极限学习机是对单隐层前馈神经网络single-hidden layer feed-forward neural networks，SLFNs)提出的一种新型的学习算法。它随机选取输入权重，并分析以决定网络的输出权重。在这个理论中，这种算法试图在学习速度上提供极限的性能。
如需转载本文，请注明出处：http://blog.csdn.net/ws_20100/article/details/49555959
极限学习机原理
ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的隐节点输出：
对于一个单隐层神经网络结构如上图所示)，假设有
N
个任意的样本
xj,tj)
，其中，
xj=[xj1,xj2,...,xjn]T∈Rn ， tj=[tj1,tj2,...,tjm]T∈Rm
对于一个有
L
个隐层节点的单隐层神经网络可以表示为
∑i=1Lβigwi⋅xj+bi)=oj, j=1,2,...,N
其中，
gx)
为激活函数，
wi=[wi1,wi2,...,win]T
是第
i
个隐层单元的输入权重，
bi
是第
i
个隐层单元的偏置，
βi=[βi1,βi2,...,βim]T
是第
i
个隐层单元的输出权重。
wi⋅xj
表示
wi
和
xj
的内积。
1.学习目标
单隐层神经网络学习的目标是使得输出的误差最小，可以表示为
∑j=1N||oj−tj||=0
即存在
wi
、
xj
和
bi
使得：
∑i=1Lβigwi⋅xj+bi)=tj, j=1,2,...,N
可以矩阵表示：
H⋅β=T
其中，
H
是隐层节点的输出，
β
为输出权重，
T
为期望输出。
Hw1,...,wL,b1,...,bL,x1,...,xN)=⎡⎣⎢⎢gw1⋅x1+b1)⋮gw1⋅xN+b1)⋯⋯⋯gwL⋅x1+bL)⋮gwL⋅xN+bL)⎤⎦⎥⎥N×Lβ=⎡⎣⎢⎢β1T⋮βLT⎤⎦⎥⎥L×m T=⎡⎣⎢⎢t1T⋮tNT⎤⎦⎥⎥N×m
为了能够训练单隐层神经网络，我们希望得到
wi^
，
bi^
和
βi^
，使得
||Hwi^,bi^)⋅β^−T||=minw,b,β||Hwi,bi)⋅β−T||
其中，
i=1,2,...,L
，这等价于最小化损失函数
E=∑j=1N||∑i=1Lβi⋅gwi⋅xj+bi)−tj||22
2.学习方法
传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重
wi
和隐层的偏置
bi
被随机确定，隐层的输出矩阵
H
就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统：
H⋅β=T
。并且输出权重可以被确定
β^=H†⋅T
其中，
H†
是矩阵
H
的
Moore−Penrose
广义逆矩阵。且可证明求得的解
β^
的范数是最小的并且唯一。
实现代码
代码下载：http://download.csdn.net/detail/ws_20100/9230271
输入的训练数据，格式为一个
N×1+n)
矩阵，其中每行代表一个样本共有
N
行)。每行的第一个元素为该样本的“回归的期望值”或“分类的类别号”对应于
tj
)，后面的n个元素为该样本的输入数据对应于
xj∈Rn
)。测试数据的格式也类似。
对于回归应用，一个例子为：
[TrainingTime, TestingTime, TrainingAccuracy, TestingAccuracy] = elm'sinc_train', 'sinc_test', 0, 20, 'sig')对于分类应用，一个例子为：
elm'diabetes_train', 'diabetes_test', 1, 20, 'sig')这两个训练和测试集在黄广斌教授的网站上都可以下载。
参考资料：
[1] G.-B. Huang, Q.-Y. Zhu, and C.-K. Siew, “Extreme learning machine: A new learning scheme of feedforward neural networks,” in Proc. Int. Joint Conf. Neural Networks, July 2004, vol. 2, pp. 985–990.