复共轭函数,共轭函数的定义

在Convex Optimization的第三章中提到了共轭函数的仿射变化。但是没有具体说明过程,这里推导一下。

参考资料:

Convex Optimization: Chapter-3

函数的共轭函数定义为

现给出其仿射变化函数,其共轭函数为,证明如下:

当时,仿射函数与函数的距离最大,即梯度相同时,距离最远。

因此对于函数来说,其共轭函数为

其中。

对于函数来说,其共轭函数为

其中

变量替换就可得到。

函数,其共轭函数为,其中,。证明如下:

这里用到了矩阵求导,参考资料:矩阵求导,矩阵求导、几种重要的矩阵及常用的矩阵求导公式

首先对函数与上面的证明一致,不再赘述。

对于函数,当时,仿射函数与函数的距离最大。

因此其共轭函数为

令,则,。而共轭函数为

其中,,则,而。将进行替换就可以得到了。

这里给个提示:

,注意与矩阵的逆区别。所有的推导按照矩阵求导的分母布局进行的。

 

 

 

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注