ラグランジュの未定乗数法のソースを表示

{{出典の明記|date=2011-07}}
'''ラグランジュの未定乗数法'''（ラグランジュのみていじょうすうほう、{{lang-en-short|method of Lagrange multiplier}}）とは、束縛条件のもとで[[最適化問題|最適化]]を行うための[[数学]]（[[解析学]]）的な方法である。いくつかの[[変数 (数学)|変数]]に対して、いくつかの[[関数 (数学)|関数]]の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える。各束縛条件に対して定数（'''未定乗数'''、{{en|Lagrange multiplier}}）を用意し、これらを係数とする[[線形結合]]を新しい関数（未定乗数も新たな変数とする）として考えることで、束縛問題を普通の[[極値]]問題として解くことができる方法である。

== 定理 ==
ラグランジュの未定乗数法は、次のような定理として記述される。

=== 2次元の場合 ===
束縛条件 {{math|1=''g''(''x'', ''y'') = 0}} の下で、{{math|''f''(''x'', ''y'')}} が最大値となる点 {{math|(''a'' , ''b'')}} を求める問題、つまり
:maximize <math>f(x,y),</math>
:subject to <math>g(x,y) = 0</math>
という問題を考える。'''ラグランジュ乗数'''を {{mvar|λ}} とし、
{{Indent|<math>F(x,y,\lambda) = f(x,y) - \lambda g(x,y)</math>}}
とおく。点 {{math|(''a'', ''b'')}} で {{math|{{sfrac|∂''g''|∂''x''}}}} と {{math|{{sfrac|∂''g''|∂''y''}}}} の少なくとも一方が 0 でないならば、{{mvar|α}} が存在して点 {{math|(''a'', ''b'', ''α'')}} で
:<math>\frac{\partial F}{\partial x} = \frac{\partial F}{\partial y} = \frac{\partial F}{\partial \lambda} = 0</math>
が成り立つ<ref>{{Cite book |author=三宅敏恒 |year=1992 |title=入門微分積分 |page=104 |publisher=培風館 |isbn=4-563-00221-6}}</ref>。

=== 一般の多次元の場合 ===
{{mvar|''n''}} 次元空間の点 {{math2|1='''''x''''' = (''x''{{sub|1}}, …, ''x{{sub|n}}'')}} のある領域 {{mvar|R}} を定義域とする被評価関数 {{math2|1=''z'' = ''f''('''''x''''')}} が、同じ領域を定義域とする {{mvar|m}} 次元ベクトル値関数
:<math>\boldsymbol{G}(\boldsymbol{x}) = \begin{pmatrix}
g_1(x_1,\dots,x_n) \\
\vdots \\ g_m(x_1,\dots,x_n)
\end{pmatrix} = \boldsymbol{0}\qquad (1)</math>
の下で、{{mvar|R}} 内の点 {{mvar|'''x'''}} において極値をとるための[[必要条件]]は、その点における {{mvar|f}} の[[勾配]]ベクトル
:<math>\nabla f = {}^t\begin{pmatrix}
\dfrac{\partial f}{\partial x_1},\dots,\dfrac{\partial f}{\partial x_n}
\end{pmatrix}</math>
が、その点で、{{mvar|m}} 個の {{mvar|g{{sub|i}}}} それぞれの勾配ベクトルが張る {{mvar|m}} 次元[[線型部分空間]]に含まれること、すなわち、スカラーの組 {{math2|1='''''λ''''' = (''λ''{{sub|1}}, …, ''λ{{sub|m}}'')}} を用いて、
:<math>\nabla f = \sum_{i=1}^m \lambda_i \nabla g_i \qquad (2)</math>
が成り立つことである。移項して {{math|∇}} を取れば、
:<math>f(\boldsymbol{x}) - \sum_{i=1}^m \lambda_i g_i(\boldsymbol{x})</math>
が[[極値#極値点の判定|停留点]]をとることである。ただし、{{math|{{mset|∇''g''{{sub|1}}, …, ∇''g{{sub|m}}''}}}} は[[線型独立|一次独立]]、すなわち
:<math>\dim(\nabla g_1,\dots,\nabla g_m) = m</math>
でなければならない。式(1)の {{mvar|m}} 本と式(2)の {{mvar|n}} 本の式を連立させて、{{mvar|'''x'''}} と {{math|'''λ'''}} の {{math2|(''n'' + ''m'')}} 個の未知数について解けば、{{mvar|f}} の極値を与える候補点が得られる<ref>{{Cite journal|和書 |author=清水昭比古 |title=学力低下時代の教え方 第4回 ラグランジの未定係数法 |date=2009-12 |publisher=一般社団法人日本機械学会 |journal=日本機械学会誌  |volume=112 |number=1093 |pages=987-992}}</ref>。

== 解釈 ==
=== 幾何学的な説明 ===
[[画像:LagrangeMultipliers3D.png|250px|thumb|図1：束縛条件 {{math2|1=''g'' (''x'',''y'' ) = ''c''}} に対して関数 {{math|''f'' (''x'',''y'' )}} を最大化する場合。]]
[[画像:LagrangeMultipliers2D.svg|250px|thumb|図2：図1の等高線地図。赤い線は束縛条件 {{math2|1=''g''(''x'', ''y'') = ''c''}} を示す。青い線は {{math|''f''(''x'', ''y'')}} の等高線。赤い線が青い等高線に接する点が解。]]
簡単のため2[[次元]]の場合を考えよう。{{math2|1=''g'' (''x'', ''y'') = ''c''}}（ここで {{mvar|c}} は与えられた定数である）という条件の下、関数 {{math|''f'' (''x'', ''y'')}} を最大化するものとしよう。{{mvar|f}} の値を高さとしたグラフを考えると、高さが {{mvar|d}} の {{mvar|f}} の等高線は {{math2|1=''f'' (''x'', ''y'') = ''d''}} で与えられる。ここで、任意の曲線に沿って移動する点を考えると、この点が等高線を横切る場合、必ず {{math|''f'' (''x'', ''y'')}} は増加、もしくは減少するが、この点が等高線に沿って移動する場合は {{math|''f'' (''x'', ''y'')}} は変化しないことが分かる。この条件と通常の極値の条件を合わせて考えれば、曲線上で {{math|''f'' (''x'', ''y'')}} が最大をとる点では、{{mvar|f}} の等高線の接線と曲線の接線が平行となっているか、{{mvar|f}} の勾配がゼロとなっていることが分かる。ここで {{math2|1=''g'' (''x'', ''y'') = ''c''}} の接線は、{{mvar|g}} の勾配ベクトル {{math|∇{{sub|''x'',''y''}} ''g''}} と直交し、また {{mvar|f}} の等高線 {{math2|1=''f'' (''x'', ''y'') = ''d''}} の接線は {{mvar|f}} の勾配ベクトル {{math|∇{{sub|''x'',''y''}} ''f''}} と直交することを踏まえると、前述の条件は
:<math>\nabla_{x,y} f = \lambda \nabla_{x,y} g</math>
と書ける。ここで
:<math>\nabla_{x,y} f= \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right), \qquad \nabla_{x,y} g= \left( \frac{\partial g}{\partial x}, \frac{\partial g}{\partial y} \right)</math>
である。定数 {{mvar|λ}} は {{mvar|f}} の勾配ベクトルと {{mvar|g}} の勾配ベクトルが平行ではあるが長さが一般に異なるために必要である。{{math2|1=''λ'' = 0}} の場合、{{math|''f'' (''x'', ''y'')}} の勾配がゼロとなる条件になる。これは {{math2|1=''g'' (''x'', ''y'') = ''c''}} の曲線上にちょうど {{mvar|f}} の最大値があるため、曲線上で {{math|''f'' (''x'',''y'' )}} が最大を取る点と通常の {{math|''f'' (''x'', ''y'' )}} の最大値が一致する場合である。

前述の式を変形すると
:<math>\nabla_{x,y} (f-\lambda g)=0</math>
となることから、{{math|''f'' &minus; ''λ g''}} の極値を求めればいいことになる。

=== 束縛条件のない問題への変換 ===
次の類似した２つの問題を考える

問題Ａ<br/>
<math>x\in \mathbb{R}^n</math>が束縛条件<math>g(x)=0</math>を満たす条件下で、<math>f(x)</math>を極大にする点を求めよ。

問題Ｂ<br/>
<math>\lambda</math>を定数とし、<math>x\in \mathbb{R}^n</math>が<math>h(x)=f(x)-\lambda g(x)</math>を極大にする点を求めよ。

問題Ａは、束縛条件が存在するため「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使えないのに対し、問題Ｂには束縛条件がないので、「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使える。ラグランジュの未定乗数法は、問題Ａと問題Ｂが、実質的に同じであることを言うものである。

問題Ｂ→問題Ａ<br/>
<math>X\in \mathbb{R}^n</math>をある<math>\lambda</math>についての問題Ｂの極大点とし、加えて<math>X</math>が<math>g(X)=0</math>を満たせば、<math>X</math>は問題Ａの解である。<br/>
なぜなら、<math>X</math>の近傍で<math>g(x)=0</math>となる点<math>x</math>を考えると、<br/>
<math>f(x)=f(x)-\lambda g(x)\le f(X)-\lambda g(X)=f(X)</math>
となるため、<math>X</math>は問題Ａの極大点でもある。

問題Ａ→問題Ｂ<br/>
<math>X\in \mathbb{R}^n</math>を問題Ａの極大点とする。<br/>
<math>c(t) \in \mathbb{R}^n</math>、<math>t \in (-1,1)</math>を、<math>g( c(t) )=0</math>を満たし<math>X</math>を通る曲線とし、<math>c(0)=X</math>とする。<br/>
<math>F(t)=f( c(t) )</math>を<math>t</math>の関数と考える。<br/>
<math>\frac{dF}{dt}=\sum_{i=1}^n\frac{\partial f}{\partial x_i} \frac{d c_i}{dt}=\nabla f \cdot c'(t)</math><br/>
ただし、<math>\nabla f= (\partial f/\partial x_1,\cdots , \partial f/\partial x_n)</math>、<math>c'(t)= (d c_1/dt,\cdots ,dc_n/dt)</math>、「<math>\cdot</math>」はベクトルの内積である。<br/>
一方、<math>g( c(t) )=0</math>の両辺を<math>t</math>で微分すれば、<br/>
<math>\nabla g \cdot c'(t)=0</math>が言える。<br/>
<math>g( c(t) )=0</math>を満たし<math>X</math>を通るどのような曲線でも、<math>t=0</math>は、<math>c(0)=X</math>のため<math>F(t)=f( c(t) )</math>の極大点であり、<math>dF/dt(0)=\nabla f (X)\cdot c'(0)=0</math><br/>が言える。ただし<math>c'(0)</math>は、曲線の<math>X</math>での接線ベクトルである。
:<math>X</math>が問題Ａの極大点であれば、<br/>
:<math>\nabla g(X) \cdot v=0</math>を満たすどのような<math>v\in \mathbb{R}^n</math>についても、<br/>
:<math>\nabla f(X) \cdot v=0</math>である。<br/>
<math>\nabla g(X)\ne 0</math>と仮定し、<math>\nabla f(X)</math>を、<math>\nabla g(X)</math>に平行な成分<math>a</math>と、<math>\nabla g(X)</math>に垂直な成分<math>b</math>に分解する。（<math>\nabla g(X)</math>方向の単位ベクトルを<math>e</math>とすると、<math>a=(\nabla f(X)\cdot e)e</math>、<math>b=\nabla f(X)-a</math>である。）<math>\nabla f(X)=a+b</math><br/>
<math>\nabla g(X) \cdot b=0</math>であるため<math>v=b</math>として代入すると、
<math>0=\nabla f(X) \cdot b=a\cdot b+b\cdot b=b\cdot b</math>、よって<math>b=0</math><br/>
このため、<math>\nabla f(X)</math>と<math>\nabla g(X)</math>は平行である。
:<math>\nabla f(X)=\lambda \nabla g(X)</math>、（ただし<math>\nabla g(X)\ne 0</math>を仮定した。）
この<math>\lambda</math>について問題Ｂを考えると、<math>\nabla f(X)-\lambda \nabla g(X)=0</math>であるため、
<math>\frac{\partial h}{\partial x_i}(X)=\frac{\partial f}{\partial x_i}(X)-\lambda \frac{\partial g}{\partial x_i}(X)=0</math>
となり、全ての偏微分係数がゼロとなるため、<math>X</math>は問題Ｂの極大点でもある。

== 変則版 ==
'''2次元問題で、束縛条件が1つの場合には'''、以下のように連立方程式を作ってもよい：
:<math>\frac{\partial f}{\partial x} + \lambda' \frac{\partial f}{\partial y} = 0</math>
:<math>\frac{\partial g}{\partial x} + \lambda' \frac{\partial g}{\partial y} = 0</math>
:<math>g(x,y) = 0</math>
ただしこの場合の {{mvar|λ}} は、もとの定理の {{mvar|λ}} とは異なる。

この変則版は、極値となる点で[[偏微分#全微分|全微分]] {{math|1=d''f'' = 0}} となる方向と、{{math|1=d''g'' = 0}} となる方向が平行であることから導かれる。

== 応用例 ==
[[物理学]]の問題を解くとき、ラグランジュの未定乗数は単なる方便ではなく、ある[[物理量]]を表すことが多い。

=== 流体力学 ===
[[流体力学]]において、[[非圧縮性流れ]]の[[ナビエ-ストークス方程式]]を解く場合、[[圧力]]は速度ベクトル場が[[連続の式]]という束縛条件を満たすための未定乗数として求められる<ref>{{Cite|和書 |title=コンピュータによる流体力学 |author=Joel H. Ferziger |author2=Milovan Peri&#x107; |translator=小林敏雄、谷口伸行、坪倉誠 |publisher=シュプリンガー・フェアラーク東京 |year=2003 |isbn=4-431-70842-1 |pages=195-197}}</ref>。
連続の式を満たさない速度場 {{math|'''''v'''''{{sup|*}}}} が与えられたとき、ここから連続の式 {{math|1=&nabla;&middot;'''''v''''' = 0}} を満たす速度場 {{math|'''''v'''''}} を求めることは、未定乗数（最終的に圧力場となる）を {{mvar|p}} として
:<math>R:=\frac{1}{2}\int_\Omega(\boldsymbol{v}-\boldsymbol{v}^*)^2 \mathrm{d}\Omega - \int_\Omega p \, \nabla\cdot\boldsymbol{v} \, \mathrm{d}\Omega</math>
を最小化する問題に置き換えられる。ここで {{math|&Omega;}} は速度場が定義されている領域である。

{{mvar|R}} を最小化する速度場を {{math|'''''v'''''{{sup|+}}}} とし、任意の微小変化 {{math|1='''''v''''' = '''''v'''''{{sup|+}} + &delta;'''''v'''''}} を考えると、[[発散定理]]を使って
:<math>\delta R=\int_\Omega \delta\boldsymbol{v}\cdot(\boldsymbol{v}^{+} -\boldsymbol{v}^{*}+\nabla p)\mathrm{d}\Omega + \oint_{\partial\Omega}p\delta\boldsymbol{v}\cdot\mathrm{d}\boldsymbol{S}.</math>

{{math|&delta;'''''v'''''}} の任意性より右辺第1項の括弧の中身が 0 であることと、{{math|1=&nabla;&middot;'''''v'''''{{sup|+}} = 0}} から
:<math>\nabla^2 p = \nabla\cdot\boldsymbol{v}^*</math>
という[[ポアソン方程式]]が導かれ、これを解いて得られる {{mvar|p}} を用いて
:<math>\boldsymbol{v}^{+} = \boldsymbol{v}^{*} - \nabla p</math>
より速度場が求められる。

=== 情報理論 ===
[[情報理論]]的[[情報量|エントロピー]]が最大となる離散的[[確率分布]]を見出すことを考えよう。このときエントロピーは[[確率]]を変数とする関数で、
:<math>f(p_1,p_2,\dots,p_n) = -\sum_{k=1}^n p_k\log_2 p_k</math>
となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は
:<math>g(p_1,p_2,\dots,p_n)=\sum_{k=1}^n p_k -1</math>
となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての {{mvar|i}}（1から {{mvar|n}} をとる）に対して次の条件が必要である：
:<math>\frac{\partial}{\partial p_i}(f+\lambda g)=0.</math>
従って
:<math>\frac{\partial}{\partial p_i}\left(-\sum_{k=1}^n p_k \log_2 p_k + \lambda(\sum_{k=1}^n p_k-1)\right) = 0.</math>
これら {{mvar|n}} 個の[[方程式]]から次の式が得られる：
:<math>-\left(\frac{1}{\ln 2}+\log_2 p_i \right) + \lambda = 0.</math>
これは、すべての {{mvar|p{{sub|i}}}} が等しいということを示している（変数は {{mvar|λ}} だけだから）。

束縛条件 {{math|1=&sum;{{sub|''k''}} ''p{{sub|k}}'' = 1}} を使って、
:<math>p_i = \frac{1}{n}</math>
が分かる。すなわち、すべての事象が等確率の[[一様分布]]がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の[[期待値]]が大きいということである。

=== ミクロ経済学 ===
制約条件を[[予算制約線]]、函数を[[効用関数]]、極値を[[効用最大化|最適消費点]]と置き換えることで[[ミクロ経済学]]における最適消費点を求める事に利用される<ref>{{Cite web|和書|author=北国宗太郎 |title=ラグランジュ未定乗数法でミクロ経済学の効用最大化問題を解く |url=https://kitaguni-economics.com/method-of-lagrange-multiplier/ |website=どさんこ北国の経済教室 |date=2019-11-04 |accessdate=2022-05-20}}</ref>。この際、ラグランジュの未定乗数は、貨幣の限界効用として解釈することができる。

=== 統計力学 ===
[[統計力学]]においては、[[統計集団]]がある[[エネルギー状態]]をとる確率を導出するために未定乗数法が用いられる。
{{節stub|date=2021-10}}

=== 解析力学 ===
[[作用積分]]が {{math|''S''[''q'']}} で与えられる物理系に {{mvar|n}} 個の拘束条件 {{math|&varphi;{{sup|''a''}}(''q'', ''t'') {{=}} 0, (''a'' {{=}} 1, ..., ''n'')}} が課せられているとき、この系の運動方程式は {{math|&lambda;{{sub|''a''}}}} を未定乗数とする条件付き[[変分]]
:<math>\frac{\delta S}{\delta q} + \sum_{a=1}^n \lambda_a \frac{\partial \phi^a}{\partial q} = 0</math>
により表される<ref>{{cite|和書 |editor= |author=井田大輔 |title=現代解析力学入門 |edition= |publisher=朝倉書店 |year=2020 |isbn=978-4-254-13132-1 |pages=43-47}}</ref>。ここで {{math|&delta;''S''/&delta;''q''}} は[[汎関数微分]]である。[[ラグランジュの運動方程式]]で表すなら、[[ラグランジアン]]を
:<math>L(q,\dot{q},t) + \sum_{a=1}^n \lambda_a \phi^a(q,t)</math>
に置き換えることで拘束を考慮した運動方程式が得られる。

== 参考文献 ==
{{Reflist}}

== 関連項目 ==
*[[カルーシュ・クーン・タッカー条件]]（KKT条件）- ラグランジュの未定乗数法の一般化
*[[極値]]
*[[最適化問題]]
*[[ジョゼフ＝ルイ・ラグランジュ]]
*[[ヘッセ行列#境界条件のついたヘッセ行列|縁つきヘッセ行列]] - 条件つき極値の[[十分条件]]を記述するのに用いられる

== 外部リンク ==
*{{高校数学の美しい物語|879|ラグランジュの未定乗数法と例題}}
*[https://www.yunabe.jp/docs/lagrange_multiplier.html ラグランジュの未定乗数法の解説と直感的な証明]
*[https://qiita.com/japanesebonobo/items/5a6f22dfb5347b96d8c9 ラグランジュの未定乗数法とは？] - Qiita
*[http://hooktail.sub.jp/mathInPhys/lagrangeUndetermin/ ラグランジェの未定乗数法] - 物理のかぎしっぽ
*{{PDFlink|[http://fd.kuaero.kyoto-u.ac.jp/sites/default/files/Lagrange1.pdf ラグランジュの未定乗数法について]}} - [[京都大学]]
*{{PDFlink|[https://www.math.nagoya-u.ac.jp/~yanagida/16W/yanagida-2W16-10.pdf ラグランジュの未定乗数法]}} - [[名古屋大学]]
*{{MathWorld|last=Gluss |first=David |last2=Weisstein |first2=Eric W.|title=Lagrange Multiplier|urlname=LagrangeMultiplier}}
{{最適化アルゴリズム}}

{{DEFAULTSORT:らくらんしゆのみていしようすうほう}}
[[Category:解析学]]
[[Category:最適化]]
[[Category:数学に関する記事]]
[[Category:ジョゼフ＝ルイ・ラグランジュ]]
[[Category:数学のエポニム]]