在Convex Optimization的第三章中提到了共轭函数的仿射变化。但是没有具体说明过程,这里推导一下。
参考资料:
Convex Optimization: Chapter-3
函数的共轭函数定义为
现给出其仿射变化函数,其共轭函数为,证明如下:
当时,仿射函数与函数的距离最大,即梯度相同时,距离最远。
因此对于函数来说,其共轭函数为
其中。
对于函数来说,其共轭函数为
其中
变量替换就可得到。
函数,其共轭函数为,其中,。证明如下:
这里用到了矩阵求导,参考资料:矩阵求导,矩阵求导、几种重要的矩阵及常用的矩阵求导公式
首先对函数与上面的证明一致,不再赘述。
对于函数,当时,仿射函数与函数的距离最大。
因此其共轭函数为
令,则,。而共轭函数为
其中,,则,而。将进行替换就可以得到了。
这里给个提示:
,注意与矩阵的逆区别。所有的推导按照矩阵求导的分母布局进行的。