ラグランジュの未定乗数法

テンプレート:出典の明記 ラグランジュの未定乗数法（ラグランジュのみていじょうすうほう、テンプレート:Lang-en-short）とは、束縛条件のもとで最適化を行うための数学（解析学）的な方法である。いくつかの変数に対して、いくつかの関数の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える。各束縛条件に対して定数（未定乗数、テンプレート:En）を用意し、これらを係数とする線形結合を新しい関数（未定乗数も新たな変数とする）として考えることで、束縛問題を普通の極値問題として解くことができる方法である。

定理

ラグランジュの未定乗数法は、次のような定理として記述される。

2次元の場合

束縛条件 テンプレート:Math の下で、テンプレート:Math が最大値となる点 テンプレート:Math を求める問題、つまり

maximize $f(x,y),$

subject to $g(x,y)=0$

という問題を考える。ラグランジュ乗数を テンプレート:Mvar とし、 テンプレート:Indent とおく。点 テンプレート:Math で テンプレート:Math と テンプレート:Math の少なくとも一方が 0 でないならば、テンプレート:Mvar が存在して点 テンプレート:Math で

$\frac{\partial F}{\partial x}=\frac{\partial F}{\partial y}=\frac{\partial F}{\partial \lambda }=0$

が成り立つ。

一般の多次元の場合

テンプレート:Mvar 次元空間の点 テンプレート:Math2 のある領域 テンプレート:Mvar を定義域とする被評価関数 テンプレート:Math2 が、同じ領域を定義域とする テンプレート:Mvar 次元ベクトル値関数

$𝑮(𝒙)=\left(\begin{array}{c}{g}_1(x_1,\dots ,x_n)\\ ⋮\\ g_m(x_1,\dots ,x_n)\end{array}\right)=0(1)$

の下で、テンプレート:Mvar 内の点 テンプレート:Mvar において極値をとるための必要条件は、その点における テンプレート:Mvar の勾配ベクトル

$\mathrm{\nabla }f={}^t\left(\begin{array}{c}\frac{\partial f}{\partial x_1},\dots ,\frac{\partial f}{\partial x_n}\end{array}\right)$

が、その点で、テンプレート:Mvar 個の テンプレート:Mvar それぞれの勾配ベクトルが張る テンプレート:Mvar 次元線型部分空間に含まれること、すなわち、スカラーの組 テンプレート:Math2 を用いて、

$\mathrm{\nabla }f=\sum _{i=1}^m{\lambda }_i\mathrm{\nabla }{g}_i(2)$

が成り立つことである。移項して テンプレート:Math を取れば、

$f(𝒙)-\sum _{i=1}^m{\lambda }_i{g}_i(𝒙)$

が停留点をとることである。ただし、テンプレート:Math は一次独立、すなわち

$\dim (\mathrm{\nabla }{g}_1,\dots ,\mathrm{\nabla }{g}_m)=m$

でなければならない。式(1)の テンプレート:Mvar 本と式(2)の テンプレート:Mvar 本の式を連立させて、テンプレート:Mvar と テンプレート:Math の テンプレート:Math2 個の未知数について解けば、テンプレート:Mvar の極値を与える候補点が得られる。

解釈

幾何学的な説明

図1：束縛条件 テンプレート:Math2 に対して関数 テンプレート:Math を最大化する場合。

図2：図1の等高線地図。赤い線は束縛条件 テンプレート:Math2 を示す。青い線は テンプレート:Math の等高線。赤い線が青い等高線に接する点が解。

簡単のため2次元の場合を考えよう。テンプレート:Math2（ここで テンプレート:Mvar は与えられた定数である）という条件の下、関数 テンプレート:Math を最大化するものとしよう。テンプレート:Mvar の値を高さとしたグラフを考えると、高さが テンプレート:Mvar の テンプレート:Mvar の等高線は テンプレート:Math2 で与えられる。ここで、任意の曲線に沿って移動する点を考えると、この点が等高線を横切る場合、必ず テンプレート:Math は増加、もしくは減少するが、この点が等高線に沿って移動する場合は テンプレート:Math は変化しないことが分かる。この条件と通常の極値の条件を合わせて考えれば、曲線上で テンプレート:Math が最大をとる点では、テンプレート:Mvar の等高線の接線と曲線の接線が平行となっているか、テンプレート:Mvar の勾配がゼロとなっていることが分かる。ここで テンプレート:Math2 の接線は、テンプレート:Mvar の勾配ベクトル テンプレート:Math と直交し、また テンプレート:Mvar の等高線 テンプレート:Math2 の接線は テンプレート:Mvar の勾配ベクトル テンプレート:Math と直交することを踏まえると、前述の条件は

${\mathrm{\nabla }}_{x,y}f=\lambda {\mathrm{\nabla }}_{x,y}g$

と書ける。ここで

${\mathrm{\nabla }}_{x,y}f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}),{\mathrm{\nabla }}_{x,y}g=(\frac{\partial g}{\partial x},\frac{\partial g}{\partial y})$

である。定数 テンプレート:Mvar は テンプレート:Mvar の勾配ベクトルと テンプレート:Mvar の勾配ベクトルが平行ではあるが長さが一般に異なるために必要である。テンプレート:Math2 の場合、テンプレート:Math の勾配がゼロとなる条件になる。これは テンプレート:Math2 の曲線上にちょうど テンプレート:Mvar の最大値があるため、曲線上で テンプレート:Math が最大を取る点と通常の テンプレート:Math の最大値が一致する場合である。

前述の式を変形すると

${\mathrm{\nabla }}_{x,y}(f-\lambda g)=0$

となることから、テンプレート:Math の極値を求めればいいことになる。

束縛条件のない問題への変換

次の類似した２つの問題を考える

問題Ａ
$x\in {ℝ}^n$が束縛条件$g(x)=0$を満たす条件下で、$f(x)$を極大にする点を求めよ。

問題Ｂ
$\lambda$を定数とし、$x\in {ℝ}^n$が$h(x)=f(x)-\lambda g(x)$を極大にする点を求めよ。

問題Ａは、束縛条件が存在するため「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使えないのに対し、問題Ｂには束縛条件がないので、「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使える。ラグランジュの未定乗数法は、問題Ａと問題Ｂが、実質的に同じであることを言うものである。

問題Ｂ→問題Ａ
$X\in {ℝ}^n$をある$\lambda$についての問題Ｂの極大点とし、加えて$X$が$g(X)=0$を満たせば、$X$は問題Ａの解である。
なぜなら、$X$の近傍で$g(x)=0$となる点$x$を考えると、
$f(x)=f(x)-\lambda g(x)\le f(X)-\lambda g(X)=f(X)$ となるため、$X$は問題Ａの極大点でもある。

問題Ａ→問題Ｂ
$X\in {ℝ}^n$を問題Ａの極大点とする。
$c(t)\in {ℝ}^n$、$t\in (-1,1)$を、$g(c(t))=0$を満たし$X$を通る曲線とし、$c(0)=X$とする。
$F(t)=f(c(t))$を$t$の関数と考える。
$\frac{dF}{dt}=\sum _{i=1}^n\frac{\partial f}{\partial x_i}\frac{d{c}_i}{dt}=\mathrm{\nabla }f\cdot c^{\prime }(t)$
ただし、$\mathrm{\nabla }f=(\partial f/\partial x_1,\cdots ,\partial f/\partial x_n)$、$c^{\prime }(t)=(d{c}_1/dt,\cdots ,d{c}_n/dt)$、「$\cdot$」はベクトルの内積である。
一方、$g(c(t))=0$の両辺を$t$で微分すれば、
$\mathrm{\nabla }g\cdot c^{\prime }(t)=0$が言える。
$g(c(t))=0$を満たし$X$を通るどのような曲線でも、$t=0$は、$c(0)=X$のため$F(t)=f(c(t))$の極大点であり、$dF/dt(0)=\mathrm{\nabla }f(X)\cdot c^{\prime }(0)=0$
が言える。ただし$c^{\prime }(0)$は、曲線の$X$での接線ベクトルである。

$X$が問題Ａの極大点であれば、

$\mathrm{\nabla }g(X)\cdot v=0$を満たすどのような$v\in {ℝ}^n$についても、

$\mathrm{\nabla }f(X)\cdot v=0$である。

$\mathrm{\nabla }g(X)\ne 0$と仮定し、$\mathrm{\nabla }f(X)$を、$\mathrm{\nabla }g(X)$に平行な成分$a$と、$\mathrm{\nabla }g(X)$に垂直な成分$b$に分解する。（$\mathrm{\nabla }g(X)$方向の単位ベクトルを$e$とすると、$a=(\mathrm{\nabla }f(X)\cdot e)e$、$b=\mathrm{\nabla }f(X)-a$である。）$\mathrm{\nabla }f(X)=a+b$
$\mathrm{\nabla }g(X)\cdot b=0$であるため$v=b$として代入すると、 $0=\mathrm{\nabla }f(X)\cdot b=a\cdot b+b\cdot b=b\cdot b$、よって$b=0$
このため、$\mathrm{\nabla }f(X)$と$\mathrm{\nabla }g(X)$は平行である。

$\mathrm{\nabla }f(X)=\lambda \mathrm{\nabla }g(X)$、（ただし$\mathrm{\nabla }g(X)\ne 0$を仮定した。）

この$\lambda$について問題Ｂを考えると、$\mathrm{\nabla }f(X)-\lambda \mathrm{\nabla }g(X)=0$であるため、 $\frac{\partial h}{\partial x_i}(X)=\frac{\partial f}{\partial x_i}(X)-\lambda \frac{\partial g}{\partial x_i}(X)=0$ となり、全ての偏微分係数がゼロとなるため、$X$は問題Ｂの極大点でもある。

変則版

2次元問題で、束縛条件が1つの場合には、以下のように連立方程式を作ってもよい：

$\frac{\partial f}{\partial x}+{\lambda }^{\prime }\frac{\partial f}{\partial y}=0$

$\frac{\partial g}{\partial x}+{\lambda }^{\prime }\frac{\partial g}{\partial y}=0$

$g(x,y)=0$

ただしこの場合の テンプレート:Mvar は、もとの定理の テンプレート:Mvar とは異なる。

この変則版は、極値となる点で全微分 テンプレート:Math となる方向と、テンプレート:Math となる方向が平行であることから導かれる。

応用例

物理学の問題を解くとき、ラグランジュの未定乗数は単なる方便ではなく、ある物理量を表すことが多い。

流体力学

流体力学において、非圧縮性流れのナビエ-ストークス方程式を解く場合、圧力は速度ベクトル場が連続の式という束縛条件を満たすための未定乗数として求められる。 連続の式を満たさない速度場 テンプレート:Math が与えられたとき、ここから連続の式 テンプレート:Math を満たす速度場 テンプレート:Math を求めることは、未定乗数（最終的に圧力場となる）を テンプレート:Mvar として

$R:=\frac{1}{2}\underset{\mathrm{\Omega }}{\int }(𝒗-{𝒗}^{*}{)}^2\mathrm{d}\mathrm{\Omega }-\underset{\mathrm{\Omega }}{\int }p\mathrm{\nabla }\cdot 𝒗\mathrm{d}\mathrm{\Omega }$

を最小化する問題に置き換えられる。ここで テンプレート:Math は速度場が定義されている領域である。

テンプレート:Mvar を最小化する速度場を テンプレート:Math とし、任意の微小変化 テンプレート:Math を考えると、発散定理を使って

$\delta R=\underset{\mathrm{\Omega }}{\int }\delta 𝒗\cdot ({𝒗}^{+}-{𝒗}^{*}+\mathrm{\nabla }p)\mathrm{d}\mathrm{\Omega }+{\oint }_{\partial \mathrm{\Omega }}p\delta 𝒗\cdot \mathrm{d}𝑺.$

テンプレート:Math の任意性より右辺第1項の括弧の中身が 0 であることと、テンプレート:Math から

${\mathrm{\nabla }}^{2}p=\mathrm{\nabla }\cdot {𝒗}^{*}$

というポアソン方程式が導かれ、これを解いて得られる テンプレート:Mvar を用いて

${𝒗}^{+}={𝒗}^{*}-\mathrm{\nabla }p$

より速度場が求められる。

情報理論

情報理論的エントロピーが最大となる離散的確率分布を見出すことを考えよう。このときエントロピーは確率を変数とする関数で、

$f(p_1,p_2,\dots ,p_n)=-\sum _{k=1}^n{p}_k{\log }_2{p}_k$

となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は

$g(p_1,p_2,\dots ,p_n)=\sum _{k=1}^n{p}_k-1$

となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての テンプレート:Mvar（1から テンプレート:Mvar をとる）に対して次の条件が必要である：

$\frac{\partial }{\partial p_i}(f+\lambda g)=0.$

従って

$\frac{\partial }{\partial p_i}(-\sum _{k=1}^n{p}_k{\log }_2{p}_k+\lambda (\sum _{k=1}^n{p}_k-1))=0.$

これら テンプレート:Mvar 個の方程式から次の式が得られる：

$-(\frac{1}{\ln 2}+{\log }_2{p}_i)+\lambda =0.$

これは、すべての テンプレート:Mvar が等しいということを示している（変数は テンプレート:Mvar だけだから）。

束縛条件 テンプレート:Math を使って、

$p_i=\frac{1}{n}$

が分かる。すなわち、すべての事象が等確率の一様分布がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値が大きいということである。

ミクロ経済学

制約条件を予算制約線、函数を効用関数、極値を最適消費点と置き換えることでミクロ経済学における最適消費点を求める事に利用される。この際、ラグランジュの未定乗数は、貨幣の限界効用として解釈することができる。

統計力学

統計力学においては、統計集団があるエネルギー状態をとる確率を導出するために未定乗数法が用いられる。 テンプレート:節stub

解析力学

作用積分が テンプレート:Math で与えられる物理系に テンプレート:Mvar 個の拘束条件 テンプレート:Math が課せられているとき、この系の運動方程式は テンプレート:Math を未定乗数とする条件付き変分

$\frac{\delta S}{\delta q}+\sum _{a=1}^n{\lambda }_a\frac{\partial {\varphi }^a}{\partial q}=0$

により表される。ここで テンプレート:Math は汎関数微分である。ラグランジュの運動方程式で表すなら、ラグランジアンを

$L(q,\dot{q},t)+\sum _{a=1}^n{\lambda }_a{\varphi }^a(q,t)$

に置き換えることで拘束を考慮した運動方程式が得られる。

関連項目

• カルーシュ・クーン・タッカー条件（KKT条件）- ラグランジュの未定乗数法の一般化
• 極値
• 最適化問題
• ジョゼフ＝ルイ・ラグランジュ
• 縁つきヘッセ行列 - 条件つき極値の十分条件を記述するのに用いられる

外部リンク

• テンプレート:高校数学の美しい物語
• ラグランジュの未定乗数法の解説と直感的な証明
• ラグランジュの未定乗数法とは？ - Qiita
• ラグランジェの未定乗数法 - 物理のかぎしっぽ
• テンプレート:PDFlink - 京都大学
• テンプレート:PDFlink - 名古屋大学
• テンプレート:MathWorld