最適制御のソースを表示

'''最適制御'''（さいてきせいぎょ、{{lang-en-short|optimal control}}）は、特定の時間区間における評価関数の値を最小化（あるいは最大化）するように制御入力を決定する、[[動的システム]]に対する制御手法のひとつである。
形式的には、制御対象である動的システムの動特性を記述する状態方程式を拘束条件のひとつとして持つ汎関数の最適化問題として定式化される。
しばしばこの問題には、各時刻における状態ベクトルや制御入力に対する制約条件が含まれる。
最適制御理論は[[変分法]]の拡張であり、[[制御工学]]のみでなく[[応用数学]]（特に[[数理最適化]]）や[[数理物理学]]とも強い関わりを持つ。

== 歴史 ==
{{See also|変分法#歴史}}
最大原理と動的計画法は、1950年代の半ば頃にほぼ同時かつ独立に開発された。その基礎となる考え方は非常に古く、それらは先史から深く結びついている。

最大原理は、変分法における[[ワイエルシュトラス]]の強い極値に関する必要条件を一般化したものであり、ハミルトニアンを"疑似"ハミルトニアン ({{lang-en-short|pseudo-Hamiltonian}})に置き換えることで得られる。この原理は[[コンスタンティン・カラテオドリ]]によって1935年には既に垣間見えており、1950年には{{仮リンク|マグナス・ヘステネス|en|Magnus Hestenes}}によって、より精緻なものとなった。しかし、今日我々が知る形の最大原理は[[レフ・ポントリャーギン]]の洞察が基礎にある。彼は最初に最短時間問題に対しこの問題を定式化し、その後{{仮リンク|ウラジミール・ボルチャンスキー|en|Vladimir Boltyansky}} {{仮リンク|レバス・ガムクレリゼ|en|Revaz Gamkrelidze}}および レフ・ロゾノエルらによって 1955 年から 1959 年に一般的なケースへと拡張された。ここで用いられた「針状の変分 ({{lang-en-short|needle variations}})」による手法は{{仮リンク|エドワード・マクシェーン|en|Edward J. McShane}}によって 1939 年には既に用いられていたが、ボルチャンスキーはこれに加えて最大原理が最適性の必要条件にすぎないことを示した。彼は最大原理を、ポントリャーギンと共同研究者によって書かれたその有名な書籍において現在の形式で与えた<ref name=Pontryagin1962 /><ref>{{cite journal|lang=en|last1=R.V.|first1=Gamkrelidze|title=Discovery of the Maximum Principle|journal=Journal of Dynamical and Control Systems|volume=5|number=4|pages=85-89|date=1999}}</ref><ref>{{citation|lang=en|first1=Hans Joseph|last1=Pesh|first2=Michael|last2=Plail|title=The maximal principle of optimal control: A history of ingenious ideas and missed opportunities|journal=Control and Cybernetics|volume=38|number=4A|pages=973-995|date=2009|url=http://matwbn.icm.edu.pl/ksiazki/cc/cc38/cc3844.pdf}}</ref>。この本では、四番目の著者であるイェ・エフ・ミシチェンコによって確率的な最適制御問題が解かれている。

その後の研究によって、理論の根本的な修正を行うことなくアプローチを一般化することが可能になった。ひとつは{{仮リンク|フランシス・クラーク|en|Francis Clarke (mathematician)}}によって始められた「非平滑解析 ({{lang-en-short|nonsmooth analysis}})」によるものであり、これは彼によって導入された一般化勾配 ({{lang-en-short|generalized gradient}}) または{{仮リンク|一般化微分|en|Clarke generalized derivative}} ({{lang-en-short|generalized derivative}}) を用いることで微分可能性の条件を弱めることにフォーカスする<ref>{{cite journal |last =Clarke |first =Frank H. |lang =en |title =The maximum Principle under Minimal Hypotheses |journal =SIAM J. Control Opｔim. |volume =14 |issue =6 |pages =1078-1091 |year =1976|ref=harv }}</ref><ref>{{citation |last =Clarke |first =Frank H. |lang =en |title =Optimization and Nonsmooth Analysis |publisher =Society for Industrial & Applied Mathematics, U. S. |year =1987 |isbn =0898712564 |pages =360 }}</ref><ref>{{citation |last =Vinter |first =Richard |lang =en |title =Optimal Control |publisher =Birkhäuser |year =2000 |isbn =0817640754 }}</ref>。これにより、ポントリャーギンらによる結果で得られていた区分的な連続関数よりも広いクラス（特に[[ルベーグ可測]]な関数）を制御入力に用いることが可能になった。その他の拡張の方向性としては、時間遅れをもつシステム<ref>{{citation |last1 =Gorecki |first1 =Henrik |first2 =Stanislaw |last2 =Fuksa |first3 =Adam |last3 =Korytowski |title =Analysis and Synthesis of Time Delay Systems |publisher =John Wiley & Sons |year =1989 |isbn =0471276227 |pages =382 }}</ref>や無限次元システム<ref>{{citation |last1 =Li |first1 =Xunjing |first2 =Jiongmin |last2 =Yong |title =Optimal Control Theory for Infinite Dimensional Systems |publisher =Birkhäuser |year =1994 |isbn =0817637222 |pages =448 }}</ref>などがある。

ボルチャンスキーは、離散時間システムに対する最大原理の「弱い」バージョンを（このために必要となる数学的手法を開発した後で）示した<ref>{{citation |last =Boltyanskii |first =L. S. |lang =fr |title =Commande optimale des systèmes discrets |publisher =Mir |year =1976 |pages =467 |}}</ref>。今日において、この結果は[[カルーシュ・クーン・タッカー条件]]を用いることで容易に示すことが出来るが、適当な[[凸性]]の仮定のもとで「真の」最大原理である十分条件を得ることが出来る<ref>{{citation |last =Neustadt |first =Lucien W. |lang =en |title =Optimization, A, Theory of Cecessary Conditions |publisher =Princeton Univ. Press |year =1976 |isbn =0691081417 |pages =440 }}</ref>。

== 一般的な定式化 ==
最適制御問題は、対象となる動的システムの状態方程式を拘束条件としてもつ汎関数の制約付き最小化問題として定式化される。
いま、システムの状態ベクトルと制御入力ベクトルを <math>\boldsymbol{x}, \boldsymbol{u}</math> と表記し、それらの時刻 <math>t</math> における値を <math>\boldsymbol{x}(t) \in \mathbb{R}^n</math> および <math>\boldsymbol{u}(t) \in \mathbb{R}^m</math> によって表わす。
このとき、ある時間区間 <math>[t_0, t_f]</math> における最適制御問題の一般形は次のように記述することが出来る。
* 決定変数: <math>\{ \boldsymbol{x}(t) \in \mathbb{R}^n \mid t \in [t_0, t_f] \}, \quad \{ \boldsymbol{u}(t) \in \mathbb{R}^m \mid t \in [t_0, t_f] \}</math>
* 目的関数:
{{NumBlk|:|<math display="block">
  J[\boldsymbol{x}, \boldsymbol{u}, t_0, t_f]
    = E(\boldsymbol{x}(t_0), t_0; \boldsymbol{x}(t_f), t_f)
    + \int_{t_0}^{t_f} F(\boldsymbol{x}(t), \boldsymbol{u}(t), t) \, \mathrm{d}t
</math>|{{EquationRef|objective|1-1}}}}
* 制約条件:
{{NumBlk|:|<math display="block">
  \dot{\boldsymbol{x}}(t) = \boldsymbol{f}(\boldsymbol{x}(t), \boldsymbol{u}(t), t), \quad \forall t \in [t_0, t_f]
</math>|{{EquationRef|state-equation|1-2}}}}
{{NumBlk|:|<math display="block">
  \boldsymbol{e}(\boldsymbol{x}(t_0), t_0; \boldsymbol{x}(t_f), t_f) = \boldsymbol{0}
</math>|{{EquationRef|terminal-constraint|1-3}}}}
{{NumBlk|:|<math display="block">
  \boldsymbol{g}(\boldsymbol{x}(t), \boldsymbol{u}(t), t) \leq \boldsymbol{0}, \quad \forall t \in [t_0, t_f]
</math>|{{EquationRef|stage-inequality-constraint|1-4}}}}
{{NumBlk|:|<math display="block">
  \boldsymbol{h}(\boldsymbol{x}(t), \boldsymbol{u}(t), t) = \boldsymbol{0}, \quad \forall t \in [t_0, t_f]
</math>|{{EquationRef|stage-equality-constraint|1-5}}}}

式 ({{EquationNote|objective|1-1}}) で定義される汎関数 <math>J</math> において、関数 <math>E, F</math> はそれぞれ'''終端コスト''' ('''terminal cost''') および'''ステージコスト''' ('''stage cost''') と呼ばれる。
また、式({{EquationNote|state-equation|1-2}}) は対象となるシステムの状態方程式である。
式({{EquationNote|terminal-constraint|1-3}}) は状態ベクトルに関する'''終端拘束条件''' ('''terminal constraint''') であり、式 ({{EquationNote|stage-inequality-constraint|1-4}}) および ({{EquationNote|stage-equality-constraint|1-5}}) は各時刻における状態ベクトルおよび制御入力に課せられる制約条件を意味する。

上のように記述される最適制御問題は、特にボルザ問題 (Bolza problem) と呼ばれる。
特別な場合として、第一項すなわち <math>E</math> が恒等的にゼロであるような場合をラグランジュ問題 (Lagrange problem)、第二項すなわち <math>F</math> が恒等的にゼロである場合をメイヤー問題 (Mayer problem) と言う。

== 一般的な解法 ==
一般的な最適制御問題の解法は、[[レフ・ポントリャーギン]]とその共同研究者による'''最大原理'''<ref name=Pontryagin1962> {{citation |title =The Mathematical Theory of Optimal Processes |last1 =Pontryagin |first1 =L. S. |authorlink =レフ・ポントリャーギン |last2 =Boltyanskii |first2 =V. G. |last3 =Gamkrelidze |first3 =R. V. |last4 =Mishchenko |first4 =E. F. |editor =Interscience |year =1962 |isbn =2881240771 }}, 日本語訳: {{cite book|和書|title=最適過程の数学的理論|others= 関根 智明(訳)|publisher=文一総合出版|year=1967-05|isbn=978-4829920701}}</ref>と、[[リチャード・E・ベルマン]]による'''動的計画法'''によるアプローチ<ref name=Bellman1957>{{citation |first =Richard |last =Bellman |authorlink =リチャード・E・ベルマン|title =Dynamic Programming |editor =Princeton University Press |year =1957 |isbn =0486428095 }}</ref>に大別される。
説明のため、本節では初期・終端時刻 <math>t_0, t_f</math> が固定された次のような最適制御問題を対象とする。
<math display="block">
\begin{align}
  \text{minimize} \quad & J[\boldsymbol{x}, \boldsymbol{u}]
    = E(\boldsymbol{x}(t_f))
      + \int_{t_0}^{t_f} F(\boldsymbol{x}(t), \boldsymbol{u}(t), t) \, \mathrm{d}t \\
  \text{subject to} \quad
    & \dot{\boldsymbol{x}}(t) = \boldsymbol{f}(\boldsymbol{x}(t), \boldsymbol{u}(t), t), \quad
      \boldsymbol{u}(t) \in \mathcal{U}, \quad
      \forall t \in [t_0, t_f] \\
    & \boldsymbol{x}(t_0) = \boldsymbol{x}_0
\end{align}
</math>

=== 動的計画法 ===
{{See also|動的計画法|ハミルトン・ヤコビ・ベルマン方程式}}
動的計画法による解法では、最適制御問題を[[ハミルトン・ヤコビ・ベルマン方程式]]と呼ばれる偏微分方程式へと帰着させる。
いま、上の最適制御問題に対し次のような関数を定義する（<math display="inline">\min_{\boldsymbol{u}[t_,t_f]} I(\boldsymbol{u})</math> は汎関数 <math>I</math> を区間 <math>[t,t_f]</math> における <math>\boldsymbol{u}(t)</math> の値について最小化することを意味する）:
<math display="block">
  V(\boldsymbol{x}, t) = \min_{\boldsymbol{u}[t, t_f]} \bigg\{ E(\boldsymbol{x}(t_f)) + \int_{t}^{t_f} F(\boldsymbol{x}(t), \boldsymbol{u}(t), t) \, \mathrm{d}t \bigg\} \bigg|_{\boldsymbol{x}(t) = \boldsymbol{x}}
</math>
この関数は初期時刻 <math>t</math> における状態が <math>\boldsymbol{x}</math> であった場合における目的関数の最小値を意味しており、'''価値関数''' ('''value function''') と呼ばれる。
目的関数の定義より、<math>V(\boldsymbol{x}_0, 0)</math> は元々の最適制御問題における目的関数の最小値に対応する。
また、終端時刻 <math>t_f</math> における価値関数は次式を満たす。
{{NumBlk||<math display="block">
  V(\boldsymbol{x}, t_f) = E(\boldsymbol{x}), \quad \forall \boldsymbol{x} \in \mathbb{R}^n
</math>|{{EquationRef|HJB-terminal|2-1}}}}

さらに、上のように定義された価値関数 <math>V</math> は次のハミルトン・ヤコビ・ベルマン方程式を満たす。
{{NumBlk||<math display="block">
  \frac{\partial V}{\partial t}(\boldsymbol{x}, t) + \min_{\boldsymbol{u} \in \mathcal{U}} H \bigg( \boldsymbol{x}, \frac{\partial V}{\partial \boldsymbol{x}}(\boldsymbol{x}, t), \boldsymbol{u}, t \bigg) = 0, \quad \forall t \in [t_0, t_f], \, \boldsymbol{x} \in \mathbb{R}^n
</math>|{{EquationRef|HJB|2-2}}}}
ここで関数 <math>H</math> は '''ハミルトニアン''' ('''Hamiltonian''') と呼ばれ、次のように定義される。
{{NumBlk||<math display="block">
  H(\boldsymbol{x}, \boldsymbol{p}, \boldsymbol{u}, t) = F(\boldsymbol{x}, \boldsymbol{u}, t) + \boldsymbol{p}^{\mathsf{T}} \boldsymbol{f}(\boldsymbol{x}, \boldsymbol{u}, t)
</math>|{{EquationRef|Hamiltonian|2-3}}}}
すなわち、偏微分方程式 ({{EquationNote|HJB|2-2}}) と終端時刻 <math>t_f</math> における境界条件 ({{EquationNote|HJB-terminal|2-1}}) を満たす価値関数 <math>V(\boldsymbol{x}, t)</math> を求めることが出来れば、各時刻における最適な制御入力は次のように求められる。
<math display="block">
  \boldsymbol{u}^{*}(t) = \arg\min_{\boldsymbol{u} \in \mathcal{U}} H \bigg( \boldsymbol{x}(t), \frac{\partial V}{\partial \boldsymbol{x}}(\boldsymbol{x}(t), t), \boldsymbol{u}, t \bigg)
</math>

=== 最大原理 ===
{{See also|{{仮リンク|ポントリャーギンの最大原理|en|Pontryagin's maximum principle}}}}

最大原理は、変分法を適用することで得られる最適性の必要条件である。
いま、<math>\boldsymbol{u}^{*}(t)</math> を最適な制御入力とし、そのときの状態ベクトルを <math>\boldsymbol{x}^{*}(t) </math> と表記する。
このとき、これらの変数は時間区間 <math>[t_0, t_f]</math> において次に与えられる関係式をすべて満たす。
<math display="block">
  \dot{\boldsymbol{x}}^{*}(t) = \frac{\partial H}{\partial \boldsymbol{p}}(\boldsymbol{x}^{*}(t), \boldsymbol{p}^{*}(t), \boldsymbol{u}^{*}(t), t), \quad
  \boldsymbol{x}^{*}(t_0) = \boldsymbol{x}_0
</math>
<math display="block">
  \dot{\boldsymbol{p}}^{*}(t) = - \frac{\partial H}{\partial \boldsymbol{x}}(\boldsymbol{x}^{*}(t), \boldsymbol{p}^{*}(t), \boldsymbol{u}^{*}(t), t), \quad
  \boldsymbol{p}^{*}(t_f) = \frac{\partial E}{\partial \boldsymbol{x}}(\boldsymbol{x}^{*}(t_f), t)
</math>
<math display="block">
  H(\boldsymbol{x}^{*}(t), \boldsymbol{p}^{*}(t), \boldsymbol{u}^{*}(t), t) \leq H(\boldsymbol{x}^{*}(t), \boldsymbol{p}^{*}(t), \boldsymbol{u}', t), \quad \forall \boldsymbol{u}' \in \mathcal{U}
</math>
ここで関数 <math>H</math> は式 ({{EquationNote|Hamiltonian|2-3}}) で定義されたハミルトニアンである。
また、変数 <math>\boldsymbol{p} \in \mathbb{R}^n</math> は'''随伴変数''' (adjacent variable) や'''共状態''' (costate) と呼ばれる。
随伴変数は、状態方程式を最適化問題の等式制約とみなした場合におけるラグランジュ乗数に対応する。

=== 最大原理と動的計画法の比較 ===
ポントリャーギンの最大原理は最適性の必要条件であり、その解は時間の関数、すなわち開ループ制御となる。
一方、動的計画法は最適性の十分条件を与え、最適な制御入力はシステムの状態の関数、すなわち閉ループ制御として記述される。

動的計画法では、任意の状態に対する制御入力を得るために[[ハミルトン-ヤコビ-ベルマン方程式]]を解く必要がある。これは偏微分方程式であるため、解析的に解くことは一般的に不可能である。数値的に解く場合であっても、偏微分方程式の解を保持するために必要となる計算量は状態の次元に対し指数的に増大する。動的計画法におけるこのような問題は一般に[[次元の呪い]]として知られている。
一方、最大原理では解くべき問題は常微分方程式として与えられるため、HJB 方程式と比べて解を求めるのは容易である。

動的計画法は、システムが確定的・確率的な場合いずれにおいても適用することができる<ref name=Bellman1957 /><ref>{{cite book |last1 =Fleming |first1 =Wendell Helms |last2 =Rishel |first2 =Raymond W. |year =1975 |title =Deterministic and Stochastic Optimal Control |publisher =Springer |page =320 |isbn =3540901558 |ref =harv }}</ref>。
一方、最大原理は（特殊な場合を除き<ref>{{cite journal |last =Haussmann |first =V. G. |year =1978 |title =On the Stochastic Maximum Principle |journal =SIAM J. Control and Optimization |volume =16 |issue =2 |pages =236-269 |ref =harv |lang =en}}</ref>）確率システムには適用できない。

== LQ 制御問題 ==
{{See also|{{仮リンク|線形二次レギュレータ|en|linear-quadratic regulator}}}}
解析的に求められる最適制御問題の例として、'''線形二次制御''' (linear-quadratic control; LQ control) が広く知られている。
LQ 制御問題では、次のような線形システムを制御対象とする:
<math display="block">
  \dot{\boldsymbol{x}}(t) = \boldsymbol{A}(t) \boldsymbol{x}(t) + \boldsymbol{B}(t) \boldsymbol{u}(t)
</math>
また、目的関数は状態ベクトルと制御入力に関する二次形式として与えられる:
<math display="block">
  J[\boldsymbol{x}, \boldsymbol{u}]
    = \frac{1}{2} \boldsymbol{x}^{\mathsf{T}}(t_f) \boldsymbol{S}_f \boldsymbol{x}(t_f)
    + \frac{1}{2} \int_{t_0}^{t_f} \bigg[ \boldsymbol{x}^{\mathsf{T}}(t) \boldsymbol{Q}(t) \boldsymbol{x}(t) + \boldsymbol{u}^{\mathsf{T}}(t) \boldsymbol{R}(t) \boldsymbol{u}(t) \bigg] \mathrm{d}t
</math>
ただし、<math>\boldsymbol{Q}(t), \boldsymbol{S}_f \in \mathbb{R}^{n \times n}</math> および <math>\boldsymbol{R}(t) \in \mathbb{R}^{m \times m}</math> は対称行列であり、一般に（準）正定値行列として与えられる（<math>\boldsymbol{R}(t)</math> は正則である必要があるため、一般には正定値行列と仮定される）。
この最適制御問題における最適な制御入力は、次のように与えられる。
<math display="block">
  \boldsymbol{u}(t) = - \boldsymbol{R}^{-1}(t) \boldsymbol{B}^{\mathsf{T}}(t) \boldsymbol{S}(t) \boldsymbol{x}(t)
</math>
ただし、<math>\boldsymbol{S}(t) \in \mathbb{R}^{n \times n}</math> は次の行列微分方程式の解として与えられる対称行列である。
<math display="block">
  \dot{\boldsymbol{S}}(t)
    + \boldsymbol{S}(t) \boldsymbol{A}(t)
    + \boldsymbol{A}^{\mathsf{T}} \boldsymbol{S}(t)
    - \boldsymbol{S}(t) \boldsymbol{B}(t) \boldsymbol{R}^{-1}(t) \boldsymbol{B}^{\mathsf{T}} \boldsymbol{S}(t)
    + \boldsymbol{Q}(t) = \boldsymbol{0}, \quad
  \boldsymbol{S}(t_f) = \boldsymbol{S}_f
</math>
上の微分方程式は'''リッカチ微分方程式''' (Riccati differential equation) と呼ばれ、終端時刻 <math>t_f</math> から始めて逆向きに進むことで数値的に解くことが出来る。
上のように設計される制御器は、特に（有限時間区間における）'''線形二次レギュレータ'''（linear-quadratic regulator; LQR）または '''最適レギュレータ'''（optimal regulator）と呼ばれている。

無限時間区間における最適レギュレータ問題についても、同様に議論することが出来る:
* 状態方程式:
<math display="block">
  \dot{\boldsymbol{x}}(t) = \boldsymbol{A} \boldsymbol{x}(t) + \boldsymbol{B} \boldsymbol{u}(t), \quad \boldsymbol{x}(0) = \boldsymbol{x}_0
</math>
* 目的関数:
<math display="block">
  J = \frac{1}{2} \int_{0}^{\infty} \big[ \boldsymbol{x}^{\mathsf{T}}(t) \boldsymbol{Q} \boldsymbol{x}(t) + \boldsymbol{u}^{\mathsf{T}}(t) \boldsymbol{R} \boldsymbol{u}(t) \big] \mathrm{d}t
</math>
ただし、定数行列 <math>\boldsymbol{Q} \in \mathbb{R}^{n \times n}</math> と <math>\boldsymbol{R} \in \mathbb{R}^{m \times m}</math> はそれぞれ準正定値、正定値行列であり、<math>(\boldsymbol{A}, \boldsymbol{B})</math> は可制御であると仮定する。
このとき、最適な制御入力は次のように記述される。
<math display="block">
  \boldsymbol{u}(t) = - \boldsymbol{R}^{-1} \boldsymbol{B}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{x}(t)
</math>
ただし、<math>\boldsymbol{S} \in \mathbb{R}^{n \times n}</math> は次の'''リッカチ代数方程式''' (algebraic Riccati equation) を満たす唯一の正定値行列である。
<math display="block">
  \boldsymbol{S} \boldsymbol{A} + \boldsymbol{A}^{\mathsf{T}} \boldsymbol{S} - \boldsymbol{S} \boldsymbol{B} \boldsymbol{R}^{-1} \boldsymbol{B}^{\mathsf{T}} \boldsymbol{S} + \boldsymbol{Q} = \boldsymbol{0}
</math>
上の最適制御入力を用いたときの閉ループ系
<math display="block">
  \boldsymbol{x}(t) = (\boldsymbol{A} - \boldsymbol{B}\boldsymbol{R}^{-1} \boldsymbol{B}^{\mathsf{T}} \boldsymbol{S}) \boldsymbol{x}(t)
</math>
における原点は漸近安定な平衡点となることが知られている。

== 数値解法 ==
一般的な最適制御問題は非線形であり、LQ 制御問題のような解析解をもつとは限らない。
そのため、数値計算を用いて最適制御問題を解くアプローチが必要となる。

=== 間接法 ===
最適制御理論の初期（およそ1950年代から1980年代まで）に好まれたアプローチは'''間接法'''（{{lang-en-short|indirect method}}）である。
間接法では、変分法によって得られる一次の最適性条件を満たすような制御入力（および最適軌道）を求める。
この条件は二点（複雑な問題の場合はさらに多くの）[[境界値問題]]で与えられ、{{仮リンク|ハミルトニアン (制御理論)|en|Hamiltonian (control theory)|label=ハミルトニアン}}の微分を含むことに起因する特殊な構造をもつ。
この境界値問題は、適切な境界条件あるいは横断性条件（{{lang-en-short|transversality condition}}）の下で解かれる。

間接法を使う利点は、境界値問題を解くことで得られる状態と随伴変数が最適性の必要条件を満たす極値軌道（{{lang-en-short|extremal trajectory}}）を取ることが保証されることである。
欠点は、元の最適制御問題の複雑さによっては（時間区間が長い場合、内点の制約条件のある場合など）境界値問題を解くことが極端に難しくなることである。
間接法を実装したソフトウェアとして有名なものは BNDSCO<ref>{{citation |last1 =Oberle |first1 =H. J. |last2 =Grmm |first =W. |title =BNDSCO - A Program for the Numerical Solution of Optimal Control Problems |work =Institute for Flight Systems Dynamics |publisher =DLR |location =Oberpfaffenhofen |year =1989 }}</ref> である。

=== 直接法 ===
1980年代以降において、数値最適制御で注目を集めているアプローチは'''直接法'''（{{lang-en-short|direct method}}）と呼ばれる。
これらの手法は、連続関数である制御入力や状態・随伴変数の軌道を（多項式近似や区分線形近似などを用いて）有限次元ベクトル空間の点として近似し、汎関数最小化問題を（有限次元の）[[非線形計画問題]] (nonlinear programming; NLP) へと帰着させることで最適解を求める。

採用する直接法の種類によって、解くべき NLP の規模は大きく左右される。
直接シューティング法（{{lang-en-short|direct shooting method}}）や準線形化法（{{lang-en-short|quasilinearization method}}）などでは、問題の規模は極めて小さいものとなり、{{仮リンク|擬スペクトル最適制御|en|pseudospectral optimal control}}<ref>{{cite journal |last1 =Ross |first1 =I. M. |authorlink1 =:en:I. Michael Ross |last2 =Karpenko |first2 =M. |title =A Review of Pseudospectral Optimal Control: From Theory to Flight |journal =Annual Reviews in Control |volume =36 |issue =2 |pages =182-197 |year =2012 |doi =10.1016/j.arcontrol.2012.09.002 |ref =harv }}</ref>では中規模となる。
[[選点法|直接選点法]]（{{lang-en-short|direct collocation method}}）<ref>{{cite book |last =Betts |first =J. T. |title =Practical Methods for Optimal Control Using Nonlinear Programming |publisher =SIAM Press |location =Philadelphia, Pennsylvania |edition =2nd |year =2010 |isbn =978-0-89871-688-7 }}</ref>では大規模な問題となり、結果として得られる NLP は文字通り数千・数万規模の決定変数や制約条件を持つ可能性がある。

境界値問題を解くことよりも直接法から導出される大規模な NLP を解くことの方が簡単であるということは直感に反するが、多くの場合において事実である。
特に直接選点法において計算が相対的に容易となる理由は、導出された NLP がスパース性を持ち、そのような性質を持つ大規模な NLP を効率的に解く最適化ソフトウェアが数多く存在するためである。
スパース性を生かした NLP ソルバーとして、例えば {{仮リンク|SNOPT|en|SNOPT}}<ref>{{citation |last1 =Gill |first1 =P. E. |last2 =Murray |first2 =W. M |last3 =Saunders |first3 =M. A. |date =2007-04-24 |title =User's Manual for SNOPT Version 7: Software for Large-Scale Nonlinear Programming |journal =University of California, San Diego Report |ref =harv }}</ref> が良く知られている。
その結果として、直接法（特に近年において非常に人気のある直接選点法）によって解くことが出来る問題の範囲は、間接法と比較して非常に大きくなる。

今日における直接法の人気は非常に高まっており、これらの手法を採用した精巧なソフトウェアが数多く開発されている。
良く知られているものとして、DIRCOL<ref>von Stryk, O., ''User's Guide for DIRCOL (version 2.1): A Direct Collocation Method for the Numerical Solution of Optimal Control Problems'', Fachgebiet Simulation und Systemoptimierung (SIM), Technische Universität Darmstadt (2000, Version of November 1999).</ref>、SOCS<ref>Betts, J.T. and Huffman, W. P., ''Sparse Optimal Control Software, SOCS'', Boeing Information and Support Services, Seattle, Washington, July 1997</ref>、OTIS<ref>{{cite journal |last1=Hargraves |first1=C. R. |last2=Paris |first2=S. W. |title=Direct Trajectory Optimization Using Nonlinear Programming and Collocation |journal=Journal of Guidance, Control, and Dynamics |volume=10 |issue=4 |year=1987 |pages=338–342 |doi=10.2514/3.20223 |bibcode=1987JGCD...10..338H }}</ref>、GESOP/{{仮リンク |ASTOS |en |ASTOS |label =ASTOS }}<ref>{{citation |last1 =Gash |first1 =P. F. |last2 =Well |first2 =K. H. |year =2001 |title =Trajectory Optimization Using a Combination of Direct Multiple Shoooting and Collocation |postscript =AIAA 2001-4047, AIAA Guidance, Navigation, and Control Conference |location =Montréal, québec, Canada 6-9 August 2001 |ref =harv }}</ref>、DITAN<ref>Vasile M., Bernelli-Zazzera F., Fornasari N., Masarati P., "Design of Interplanetary and Lunar Missions Combining Low-Thrust and Gravity Assists", Final Report of the ESA/ESOC Study Contract No. 14126/00/D/CS, September 2002</ref>、PyGMO/PyKEP<ref>Izzo, Dario. "PyGMO and PyKEP: open source tools for massively parallel optimization in astrodynamics (the case of interplanetary trajectory optimization)." Proceed. Fifth International Conf. Astrodynam. Tools and Techniques, ICATT. 2012.</ref> などが挙げられる。
また、近年における[[MATLAB]]プログラミング言語の台頭に伴い、MATLAB上で使用可能な最適制御ソフトウェアがより一般的なものとなっている。
直接法を実装した学術的に開発された MATLAB ツールの例として、RIOTS<ref>[http://www.schwartz-home.com/RIOTS/ RIOTS] {{Webarchive| url=https://web.archive.org/web/20110716014630/http://www.schwartz-home.com/RIOTS/ |date=16 July 2011 }}, based on {{cite thesis |type=Ph.D. |last=Schwartz |first=Adam |date=1996 |title=Theory and Implementation of Methods based on Runge–Kutta Integration for Solving Optimal Control Problems |publisher=University of California at Berkeley |oclc=35140322 }}</ref>、{{仮リンク|DIDO|en|DIDO (optimal control)|label =DIDO}}<ref>{{citation |last1 =Ross |first1 =I. M. |last2 =Fahroo |first2 =F. |year =2002 |title =User's Manual for DIDO: A MATLAB Package for Dynamic Optimization |work =Dept. of Aeronautics and Astronautics |journal =Naval Postgraduate School Technical Report |ref =harv }}</ref>、DIRECT<ref>Williams, P., ''User's Guide to DIRECT, Version 2.00,'' Melbourne, Australia, 2008</ref>、FALCON.m<ref>[https://www.fsd.ed.tum.de/software/falcon-m/ FALCON.m], described in Rieck, M., Bittner, M., Grüter, B., Diepolder, J., and Piprek, P., ''FALCON.m - User Guide'', Institute of Flight System Dynamics, Technical University of Munich, October 2019</ref>、GPOPS<ref>[http://gpops.sourceforge.net GPOPS] {{Webarchive|url=https://web.archive.org/web/20110724074641/http://gpops.sourceforge.net/ |date=24 July 2011 }}, described in Rao, A. V., Benson, D. A., Huntington, G. T., Francolin, C., Darby, C. L., and Patterson, M. A., ''User's Manual for GPOPS: A MATLAB Package for Dynamic Optimization Using the [[Gauss pseudospectral method|Gauss Pseudospectral Method]]'', University of Florida Report, August 2008.</ref> などがある。
産業界で開発されたツールとしては {{仮リンク|PROPT|en|PROPT|label=PROPT}}<ref>Rutquist, P. and Edvall, M. M, ''PROPT – MATLAB Optimal Control Software," 1260 S.E. Bishop Blvd Ste E, Pullman, WA 99163, USA: Tomlab Optimization, Inc.</ref> などがある。
これらのソフトウェアは、学術研究と産業問題の両面において人々が複雑な最適制御問題を探求する機会を著しく増大させた<ref>I.M. Ross, [https://nps.edu/documents/103424443/116151573/Ross.pdf/2c85d1a1-ff5b-4f60-9700-2ee5e1f3f65f?t=1580766209000 Computational Optimal Control], 3rd Workshop in Computational Issues in Nonlinear Control, October 8th, 2019, Monterey, CA</ref>。
結果として、複雑な最適制御問題におけるコーディングが {{仮リンク|TOMLAB|en|TOMLAB}} などの汎用の MATLAB 最適化環境によって（以前から使用可能であった）[[C言語]]や[[FORTRAN]]のものと比較して著しく簡単に出来るようになったことは注目に値する。

== 出典 ==
{{Reflist|2}}

== 関連項目 ==
* [[数理最適化]]
* [[動的計画法]]
** [[ハミルトン-ヤコビ-ベルマン方程式]]
* [[変分法]]
* [[最速降下曲線]]
* [[カルマンフィルター]]
* [[H∞制御理論]]
* {{仮リンク|モデル予測制御|en|model predictive control|redirect=1}}

{{制御理論}}
{{Applied-math-stub}}
{{DEFAULTSORT:さいてきせいきよ}}
[[Category:制御工学]]
[[Category:最適化]]
[[Category:最適制御]]