近接勾配法のソースを表示

{{Expand English|date=2025-03}}
{{more footnotes|date=2013-11}}

'''近接勾配法'''（きんせつこうばいほう、{{Lang-en-short|Proximal gradient methods}}）とは微分不可能[[凸最適化]]問題を解くための射影を用いた解法である。以下のような凸最適化問題として定式化されたとする:
[[File:Frank_Wolfe_vs_Projected_Gradient.webm|thumb|各反復における射影勾配法（赤）と[[簡約勾配法]]（緑）の比較。]]

<math>
\operatorname{min}\limits_{x \in \mathbb{R}^N} \sum_{i=1}^n f_i(x) 
</math>

ただし、<math>f_i: \mathbb{R}^N  \rightarrow \mathbb{R},\ i = 1, \dots, n</math> は微分不可能な[[凸関数]]を含んでいるとする。微分不可能な凸関数を含んでいる場合は[[最急降下法]]や[[共役勾配法]]は使用できないため、この場合に近接勾配法が使用される。

近接勾配法は分離ステップから開始され、関数 <math>f_1, . . . , f_n</math> を個別の問題として扱うことで実装が容易なアルゴリズムによって問題を解く。近接という名称は <math>f_1, . . . , f_n</math> に含まれる微分不可能な関数それぞれが{{仮リンク|近接作用素|en|proximity operator}}を介して扱うことから名づけられている。反復縮小しきい値アルゴリズム（{{Lang-en-short|Iterative shrinkage thresholding algorithm}}）<ref>{{cite journal |last1=Daubechies |first1=I |last2=Defrise |first2=M |last3=De Mol|first3=C |author3-link=:en:Christine De Mol |title=An iterative thresholding algorithm for linear inverse problems with a sparsity constraint |journal=Communications on Pure and Applied Mathematics |volume=57 |issue=11 |year=2004 |pages=1413–1457 |bibcode=2003math......7152D |arxiv=math/0307152 |doi=10.1002/cpa.20042 }}</ref>、{{仮リンク|ランドウェバー反復法|en|Landweber iteration|label=射影ランドウェバー法}}、射影勾配法、{{仮リンク|交互射影法|en|alternating projection}}、 [[拡張ラグランジュ関数法|交互乗数法]]、交互分離{{仮リンク|ブレグマン法|en|Bregman method}}は近接勾配法の特別な例として知られている<ref>{{cite arXiv |last1=Combettes |first1=Patrick L. |last2= Pesquet |first2=Jean-Christophe |title=Proximal Splitting Methods in Signal Processing|page=|year=2009 |eprint=0912.3522 |class=math.OC }}</ref>。

近接勾配法の理論は{{仮リンク|統計的学習理論|en|statistical learning theory}}に応用されており、詳細は{{仮リンク|近接勾配法による学習|en|proximal gradient methods for learning}}を参照。

== 例 ==
近接勾配法の例として:
*{{仮リンク|ランドウェバー反復法|en|Landweber iteration|label=射影ランドウェバー法}}
*{{仮リンク|交互射影法|en|Alternating projection}}
*[[拡張ラグランジュ関数法|交互乗数法]]

== 脚注 ==
{{脚注ヘルプ}}
{{Reflist}}

== 参考文献 ==
*{{cite book |last=Rockafellar |first=R. T. |author-link=:en:R. Tyrrell Rockafellar |title=Convex analysis
 |publisher=Princeton University Press |year=1970 |location=Princeton }}
*{{cite book |last1=Combettes |first1=Patrick L. |last2=Pesquet |first2=Jean-Christophe |title=Fixed-Point Algorithms for Inverse Problems in Science and Engineering |volume=49 |year=2011 |pages=185–212 }}

== 関連項目 ==
* {{仮リンク|近接作用素|en|proximity operator}}
* {{仮リンク|近接勾配法による学習|en|proximal gradient methods for learning}}
* [[簡約勾配法]]

== 外部リンク ==
* Stephen Boyd and Lieven Vandenberghe Book, [https://web.stanford.edu/~boyd/cvxbook/ ''Convex optimization'']
* [https://web.stanford.edu/class/ee364a/ EE364a: Convex Optimization I] and [https://web.stanford.edu/class/ee364b/ EE364b: Convex Optimization II], Stanford course homepages
* [https://people.eecs.berkeley.edu/~elghaoui/Teaching/EE227A/lecture18.pdf EE227A: Lieven Vandenberghe Notes] Lecture 18
* [https://github.com/kul-forbes/ProximalOperators.jl ProximalOperators.jl]: a [[Julia (プログラミング言語)|Julia]] package implementing proximal operators.
* [https://github.com/kul-forbes/ProximalAlgorithms.jl ProximalAlgorithms.jl]: a [[Julia (プログラミング言語)|Julia]] package implementing algorithms based on the proximal operator, including the proximal gradient method.
* [http://proximity-operator.net/ Proximity Operator repository]: a collection of proximity operators implemented in [[MATLAB]] and [[Python]].

{{最適化アルゴリズム}}

{{DEFAULTSORT:きんせつこうはいほう}}
[[Category:最適化アルゴリズムとメソッド]]
[[Category:勾配法]]
[[Category:数学に関する記事]]