凸共役性

数学において凸共役（とつきょうやく、テンプレート:Lang-en-short）とは、ルジャンドル変換の一般化である。ルジャンドル＝フェンシェル変換あるいはフェンシェル変換としても知られる（アドリアン＝マリ・ルジャンドルとテンプレート:仮リンクの名にちなむ）。

定義

以下、特に断りがなければ、ベクトル空間はすべて実係数のものを考える。テンプレート:Math theorem

直観的意味

Sの支持超平面（点線）

上記の定義の直観的な意味を説明するため、ベクトル空間テンプレート:Mvarの図形のテンプレート:仮リンクを定義する。超平面$\mathrm{\Pi }\in V$が集合$S\in V$の支持超平面（テンプレート:Lang-en-short）テンプレート:Mvarとは、テンプレート:Mvarはテンプレート:Mvarの閉包の点を少なくとも１つ含み、しかも$V$をテンプレート:Mvarで２つ切ったときに片方にはテンプレート:Mvarの点が入っていない事をいう。

凸共役の直観的な意味を考えるため、テンプレート:Mvarのエピグラフ

$\mathrm{e}\mathrm{p}\mathrm{i}f=\{(x_0,y_0)\in X\times ℝ\mid y_0\ge f(x_0)\}$

を考える。 テンプレート:Math theorem テンプレート:Math proof

すなわち、$a^{*}\in X^{*}$における$f$の凸共役$f^{*}(a^{*})$は「傾き」$a^{*}$の支持超平面の「$y$切片」$b$にマイナスをつけたものと解釈できる。

滑らかな場合

テンプレート:Mvarが有限次元のベクトル空間で、テンプレート:Mvarが滑らかな凸関数であるとき、傾き$x^{*}$の支持超平面を接平面として持つ点を$x$とすると、すなわち

$x^{*}=\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}f(x)$

となる点を$x$とすると、テンプレート:Mvarの凸性からその$x$において$\sup$が達成されるので、

$f^{*}\left(x^{*}\right)=⟨x^{*},x⟩-f(x)$

が成立する。よってこの場合には、凸共役は通常のルジャンドル変換に一致する。

基本的性質

本節ではテンプレート:Mvarをノルム空間（例えば有限次元の計量ベクトル空間）とし、$f,g:X\to ℝ\cup \{\pm \mathrm{\infty }\}$を関数とする。

前述のように凸共役は直観的には支持超平面によって特徴づけられるが、集合$S$の支持超平面は、$S$の閉包の支持超平面や$S$の凸包の支持超平面と一致するので、以下が成立する： テンプレート:Math theoremまた凸共役の定義から明らかに次が従う：テンプレート:Math theorem上記の不等式を用いると、次が成立する事を簡単に示せる：テンプレート:Math theorem一般には$f^{**}(x)=f(x)$は成立しないが、次節で$f^{**}(x)=f(x)$が成立する条件を説明する。さらに以下が成立する：テンプレート:Math theorem

二重共役

本節でもテンプレート:Mvarをノルム空間とする。凸共役を二度取った$f^{**}(x)$は元の$f(x)$に一致する事は保証されない（なお、$f^{**}(x)=f(x)$と違い、$f^{***}(x^{*})=f^{*}(x^{*})$は無条件に成立する）。しかし以下が成立する事を示せる：

テンプレート:Math theoremここで関数$g:X\to ℝ\cup \{\pm \mathrm{\infty }\}$がプロパーであるとは、テンプレート:Mvarが恒等的にテンプレート:Mvarを取らない事を指す。

$\overline{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}}f$は凸関数なので、プロパーな関数$f$が$f^{**}(x)=f(x)$を満たすのは$f$が凸な場合に限られる。そのような関数に対して$\overline{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}}f(x)=f(x)$が成立する条件を具体的に書き表す事で以下が成立する事がわかる：

テンプレート:Math theorem上記の定理は各点毎に成立する。すなわち、プロパーな凸関数$f$が点$x\in X$において$f^{**}(x)=f(x)$を満たす必要十分条件は、$f$が$x$において下半連続な事である。

なお、テンプレート:Mvarがバナッハ空間であれば凸関数テンプレート:Mvarが下半連続であれば$\mathrm{d}\mathrm{o}\mathrm{m}f$の内点で連続である。とくに有限次元のベクトル空間であれば、（下半連続性の仮定がなくとも）$\mathrm{d}\mathrm{o}\mathrm{m}f$の内点で連続である事が示せる。よってこの場合、下半連続性を問われるのは境界点のみである。

また、（バナッハ空間とは限らない）ノルム空間の凸部分集合上定義された凸関数は一点で連続であればその凸部分集合上の全点で連続である事も知られている。

フェンシェルの双対性

本節では、凸共役を最適化問題に応用するうえで鍵となるフェンシェルの双対性について説明する。

定理のステートメント

まずは応用について考えず、天下り的に定理を与える。

テンプレート:Mvar、テンプレート:Mvarをノルム空間とし、$T:X\to Y$を有界線形作用素（例えばテンプレート:Mvar、テンプレート:Mvarが有限次元の計量ベクトル空間でテンプレート:Mvarが線形写像）とし、さらに$f:X\to ℝ\cup \{\pm \mathrm{\infty }\}$、$g:Y\to ℝ\cup \{\pm \mathrm{\infty }\}$を２つの関数とする。さらに下限テンプレート:Mvarを求める問題と上限テンプレート:Mvarを求める問題

$p=\underset{x\in X}{\inf }(f(x)+g(Tx))$

$d=\underset{y^{*}\in Y^{*}}{\sup }(-f^{*}(T^{*}y)-g^{*}(-y^{*}))$

を考える。これらの問題をフェンシェル問題（テンプレート:Lang-en-short）といい、後者を前者の（そして前者を後者の）双対問題という。このとき前述したフェンシェル・ヤングの不等式から次が成立する。テンプレート:Math theoremさらに次が成立する：テンプレート:Math theoremここで集合$F\subset X$に対し、

$\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}F:=\{x\in X\mid \mathrm{\forall }h\mathrm{s}\mathrm{.}\mathrm{t}\mathrm{.}\Vert h\Vert =1\mathrm{\exists }\delta >0\mathrm{\forall }t\in [0,\delta ]:x+th\in F\}$

であり、$\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}g$はテンプレート:Mvarの連続な点全体の集合である。

応用

$C\subset X$

、

$D\subset Y$

を閉凸集合とし、以下の問題を考える：

$\begin{array}{cc}\underset{x\in C}{\text{minimize}}& F(x)\\ \text{subject to }& Tx\in D\end{array}$ …テンプレート:EquationRef

すなわち、

$x\in C$

、

$Tx\in D$

という条件下

$F(x)$

の最小値

$p$

を求めよ、という問題である。

上記の問題はフェンチェル問題の特殊な場合とみなす事ができる。実際、集合テンプレート:Mvarに対し、その指示関数（テンプレート:Lang-en-short）を

${\iota }_A(x):=\{\begin{array}{cc}0& \text{if }x\in A\\ \mathrm{\infty }& \text{otherwise}\end{array}$

と定義し、

$f(x)=F(x)+{\iota }_C(x)$

$g(x)={\iota }_D(x)$

とすると、問題1はフェンチェル問題$p=\underset{x\in X}{\inf }(f(x)+g(Tx))$に一致する。

したがってテンプレート:Mvarをその双対問題$d=\underset{y^{*}\in Y^{*}}{\sup }(-f^{*}(T^{*}y)-g^{*}(-y^{*}))$のテンプレート:Mvarで下から抑えたり、等号成立条件が成り立っていれば双対問題の方を具体的に調べる事で$p=d$を求めたりする事が可能になる。

凸共役の例

アフィン函数

$f(x)=⟨a,x⟩-b,a\in {ℝ}^n,b\in ℝ$

の凸共役は

$f^{\star }\left(x^{*}\right)=\{\begin{array}{cc}b,& x^{*}=a\\ +\mathrm{\infty },& x^{*}\ne a.\end{array}$

である。冪函数

$f(x)=\frac{1}{p}|x{|}^p,1<p<\mathrm{\infty }$

の凸共役は

$f^{\star }\left(x^{*}\right)=\frac{1}{q}|x^{*}{|}^q,1<q<\mathrm{\infty }$

である。ここで $\frac{1}{p}+\frac{1}{q}=1$ である。

絶対値函数

$f(x)=\left|x\right|$

の凸共役は

$f^{\star }\left(x^{*}\right)=\{\begin{array}{cc}0,& \left|x^{*}\right|\le 1\\ \mathrm{\infty },& \left|x^{*}\right|>1\end{array}$

である。指数函数 $f(x)=e^x$ の凸共役は

$f^{\star }\left(x^{*}\right)=\{\begin{array}{cc}{x}^{*}\ln x^{*}-x^{*},& x^{*}>0\\ 0,& x^{*}=0\\ \mathrm{\infty },& x^{*}<0\end{array}$

である。指数函数の凸共役とルジャンドル変換は、凸共役の定義域が厳密に大きいことを除いて一致する。ルジャンドル変換は正の実数に対してのみ定義されるためである。

期待ショートフォール（リスク平均値）との関係

F を確率変数 X の累積分布函数とする。このとき、部分積分により

$f(x):=\underset{-\mathrm{\infty }}{\overset{x}{\int }}F(u)du=\mathrm{E}[\max (0,x-X)]=x-\mathrm{E}[\min (x,X)]$

は次の凸共役を持つ。

$f^{\star }(p)=\underset{0}{\overset{p}{\int }}{F}^{-1}(q)dq=(p-1)F^{-1}(p)+\mathrm{E}[\min (F^{-1}(p),X)]=p{F}^{-1}(p)-\mathrm{E}[\max (0,F^{-1}(p)-X)].$

順序

特別な解釈により次の変換が考えられる。

$f^{\text{inc}}(x):=\arg \underset{t}{\sup }t\cdot x-\underset{0}{\overset{1}{\int }}\max \{t-f(u),0\}\mathrm{d}u,$

これは初期函数 f の非減少な書き換えである。特に、f に対する $f^{\text{inc}}=f$ は非減少である。

性質

閉凸函数の凸共役は再び閉凸函数である。多面体的凸函数（多面体的エピグラフを持つ凸函数）の凸共役は、再び多面体的凸函数である。

凸性

二つの函数 $f_0$ と $f_1$ および数 $0\le \lambda \le 1$ に対し、次の凸関係が成立する。

${((1-\lambda )f_0+\lambda f_1)}^{\star }\le (1-\lambda )f_0^{\star }+\lambda f_1^{\star }$

この演算 $\star$ はそれ自身が凸写像である。

極小畳み込み

二つの函数 f と g の極小畳み込み（infimal convolution）は、次で定義される（epi-sum とも呼ばれる）：

$\left(f◻g\right)(x)=\inf \{f(x-y)+g(y)\mid y\in {ℝ}^n\}.$

f₁, …, f_m は Rⁿ 上の真凸かつ下半連続な函数とする。このとき、これらの極小畳み込みは凸かつ下半連続である（が、必ずしも真凸ではない）。さらに次が成立する。

${(f_1◻\cdots ◻f_m)}^{\star }=f_1^{\star }+\cdots +f_m^{\star }.$

二つの函数の極小畳み込みは、次のような幾何学的解釈がある：二つの函数の極小畳み込みの（厳密な）エピグラフは、それらの函数の（厳密な）エピグラフのテンプレート:仮リンクである。

最大化引数

函数 $f$ が微分可能であるなら、その導函数は凸共役の計算における最大化引数（maximizing argument）である。すなわち、

$f^{\prime }(x)=x^{*}(x):=\arg \underset{x^{\star }}{\sup }⟨x,x^{\star }⟩-f^{\star }(x^{\star })$ と

$f^{\star \prime }(x^{\star })=x(x^{\star }):=\arg \underset{x}{\sup }⟨x,x^{\star }⟩-f(x);$

が成り立つ。したがって

$x=\mathrm{\nabla }{f}^{\star }(\mathrm{\nabla }f(x)),$

$x^{\star }=\mathrm{\nabla }f(\mathrm{\nabla }{f}^{\star }(x^{\star })),$

であり、さらに次が成立する。

$f^{\prime \prime }(x)\cdot f^{\star \prime \prime }(x^{\star }(x))=1,$

$f^{\star \prime \prime }(x^{\star })\cdot f^{\prime \prime }(x(x^{\star }))=1.$

スケーリング性

ある $\gamma >0$ に対し、$g(x)=\alpha +\beta x+\gamma \cdot f(\lambda x+\delta )$ であるなら、次が成り立つ。

$g^{\star }(x^{\star })=-\alpha -\delta \frac{x^{\star }-\beta }{\lambda }+\gamma \cdot f^{\star }\left(\frac{x^{\star }-\beta }{\lambda \gamma }\right).$

さらにパラメータ α が追加される場合は、次が成り立つ。

$f_{\alpha }(x)=-f_{\alpha }(\tilde{x}).$

ここで $\tilde{x}$ は最大化引数であるように選ばれる。

線型変換の下での挙動

A を X から Y への有界線型作用素とする。X 上の任意の凸函数 f に対して、次が成り立つ。

${\left(Af\right)}^{\star }=f^{\star }{A}^{\star }$

ここで

$(Af)(y)=\inf \{f(x):x\in X,Ax=y\}$

は f の A に関する原像であり、A^* は A の共役作用素である。

閉凸函数 f は、ある与えられた直交線型変換の集合 G に関して対称である、すなわち

$f\left(Ax\right)=f(x),\mathrm{\forall }x,\mathrm{\forall }A\in G$

であるための必要十分条件は、凸共役 f^* が G に関して対称であることである。

代表的な凸共役の表

次の表では、多くの有名な函数のルジャンドル変換で、有用な性質を持つものが示されている。

$g(x)$	$\mathrm{dom}(g)$	$g^{*}(x^{*})$	$\mathrm{dom}(g^{*})$
$f(ax)$ (where $a\ne 0$)	$X$	$f^{*}\left(\frac{x^{*}}{a}\right)$	$X^{*}$
$f(x+b)$	$X$	$f^{*}(x^{*})-⟨b,x^{*}⟩$	$X^{*}$
$af(x)$ (where $a>0$)	$X$	$a{f}^{*}\left(\frac{x^{*}}{a}\right)$	$X^{*}$
$\alpha +\beta x+\gamma \cdot f(\lambda x+\delta )$	$X$	$-\alpha -\delta \frac{x^{*}-\beta }{\lambda }+\gamma \cdot f^{*}\left(\frac{x^{*}-\beta }{\gamma \lambda }\right)(\gamma >0)$	$X^{*}$
$\frac{|x{|}^p}{p}$ (where $p>1$)	$ℝ$	$\frac{|x^{*}{|}^q}{q}$ (where $\frac{1}{p}+\frac{1}{q}=1$)	$ℝ$
$\frac{-x^p}{p}$ (where $0<p<1$)	${ℝ}_{+}$	$\frac{-(-x^{*}{)}^q}{q}$ (where $\frac{1}{p}+\frac{1}{q}=1$)	${ℝ}_{--}$
$\sqrt{1+x^2}$	$ℝ$	$-\sqrt{1-(x^{*}{)}^2}$	$[-1,1]$
$-\log (x)$	${ℝ}_{++}$	$-(1+\log (-x^{*}))$	${ℝ}_{--}$
$e^x$	$ℝ$	$\{\begin{array}{cc}{x}^{*}\log (x^{*})-x^{*}& \text{if }{x}^{*}>0\\ 0& \text{if }{x}^{*}=0\end{array}$	${ℝ}_{+}$
$\log (1+e^x)$	$ℝ$	$\{\begin{array}{cc}{x}^{*}\log (x^{*})+(1-x^{*})\log (1-x^{*})& \text{if }0<x^{*}<1\\ 0& \text{if }{x}^{*}=0,1\end{array}$	$[0,1]$
$-\log (1-e^x)$	$ℝ$	$\{\begin{array}{cc}{x}^{*}\log (x^{*})-(1+x^{*})\log (1+x^{*})& \text{if }{x}^{*}>0\\ 0& \text{if }{x}^{*}=0\end{array}$	${ℝ}_{+}$

関連項目

• 双対問題
• フェンシェルの双対性定理
• ルジャンドル変換
• ヤングの不等式

参考文献

• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite web

外部リンク

• テンプレート:Cite web

• テンプレート:Cite web

• テンプレート:Cite web