強化学習のソースを表示

{{For|心理学における強化学習<!-- reinforcement learning in psychology -->|強化<!-- Reinforcement -->|オペラント条件づけ<!-- Operant conditioning -->}}
{{Machine learning|Reinforcement learning}}

'''強化学習'''（きょうかがくしゅう、{{Lang-en-short|reinforcement learning}}、'''RL'''）は、ある環境内における[[知的エージェント]]が、現在の状態を観測し、得られる収益（累積報酬）を最大化するために、どのような行動をとるべきかを決定する[[機械学習]]の一分野である。強化学習は、[[教師あり学習]]、[[教師なし学習]]と並んで、3つの基本的な機械学習[[パラダイム]]の一つである。

強化学習が教師あり学習と異なる点は、ラベル付きの入力／出力の組を提示する必要がなく、最適でない行動を明示的に修正する必要もない。その代わり、未知の領域の'''探索'''と、現在の知識の'''活用'''の間のバランスを見つけることに重点が置かれる<ref name="kaelbling">{{cite journal|last1=Kaelbling|first1=Leslie P.|last2=Littman|first2=Michael L.|author-link2=Michael L. Littman|last3=Moore|first3=Andrew W.|author-link3=Andrew W. Moore|year=1996|title=Reinforcement Learning: A Survey|url=http://www.cs.washington.edu/research/jair/abstracts/kaelbling96a.html|url-status=dead|journal=Journal of Artificial Intelligence Research|volume=4|pages=237–285|doi=10.1613/jair.301|archive-url=http://webarchive.loc.gov/all/20011120234539/http://www.cs.washington.edu/research/jair/abstracts/kaelbling96a.html|archive-date=2001-11-20 |author-link1=Leslie P. Kaelbling|arxiv=cs/9605103|s2cid=1708582}}</ref>。

この文脈の強化学習アルゴリズムの多くは[[動的計画法]]を使用するため、この環境は通常[[マルコフ決定過程]]（MDP）として定式化される<ref>{{Cite book|title=Reinforcement learning and markov decision processes|author1=van Otterlo, M.|author2=Wiering, M.|journal=Reinforcement Learning |volume=12|pages=3–42 |year=2012 |doi=10.1007/978-3-642-27645-3_1|series=Adaptation, Learning, and Optimization|isbn=978-3-642-27644-6}}</ref>。古典的な動的計画法と強化学習アルゴリズムとの主な違いは、後者はMDPの正確な数学的モデルの知識を必要とせず、正確な方法では実行不可能な大規模MDPを対象にできることである。代表的なアルゴリズムとして[[時間差分学習]]（TD学習）や[[Q学習]]が知られている。

{{toclimit|3}}

== 導入 ==
[[File: Reinforcement learning diagram.svg|thumb|right|250px| 強化学習シナリオの典型的な構成: エージェントは環境内で行動をおこし、それは報酬や状態の表現に解釈され、エージェントにフィードバックされる。]]

強化学習はその一般性から、[[ゲーム理論]]、[[制御理論]]、[[オペレーションズ・リサーチ]]、[[情報理論]]、{{Ill2|シミュレーションに基づく最適化|en|Simulation-based optimization}}、[[マルチエージェントシステム]]、[[群知能]]、[[統計学]]など、多くの分野で研究されている。オペレーションズ・リサーチや制御の文献では、強化学習は近似動的計画法（approximate dynamic programming）あるいはニューロダイナミック・プログラミング（neuro-dynamic programming）と呼ばれている。強化学習の問題は[[最適制御理論]]でも研究されており、主に最適解の存在と特徴づけや、その厳密な計算のためのアルゴリズムを対象するが、（特に環境の数学的モデルがない場合の）学習や近似への関心は高くない。また、[[経済学]]やゲーム理論では、[[限定合理性]]のもとで均衡がどのように生じるかを説明するために、強化学習が用いられることがある。

基本的な強化学習は、[[マルコフ決定過程]]（Markov decision process、'''MDP'''）としてモデル化される。

* <math>\mathcal{S}</math>：環境とエージェントの状態の集合
* <math>\mathcal{A}</math>：エージェントの行動の集合
* <math>P_a(s,s')=\Pr(S_{t+1}=s'\mid S_t=s, A_t=a)</math>：状態 <math>s</math> から行動 <math>a</math> にて状態 <math>s'</math> に遷移する確率
* <math>R_a(s,s')</math>：行動 <math>a</math> で状態 <math>s</math> から状態 <math>s'</math> に遷移した後の即時報酬（immediate reward）

強化学習の目標は、エージェントが、即時報酬から蓄積される'''報酬関数'''（reward function）または他のユーザ提供の強化信号を最大化するような、最適または最適に近い方策を学習することである。これは、[[動物心理学]]で起こっていると思われるプロセスに似ている。たとえば、生物の脳は、痛みや空腹などの信号を負の強化、喜びや食物摂取を正の強化として解釈するように配線（hardwired）されている。いくつかの状況では、動物はこれらの報酬を最適化するような行動を学習することができる。このことは、動物は強化学習が可能であることを示唆している<ref>{{cite book |last1=Russell |first1=Stuart J. |last2=Norvig |first2=Peter |title=Artificial intelligence : a modern approach |date=2010 |location=Upper Saddle River, New Jersey |isbn=978-0-13-604259-4 |pages=830, 831 |edition=Third}}</ref><ref>{{cite journal |last1=Lee |first1=Daeyeol |last2=Seo |first2=Hyojung |last3=Jung |first3=Min Whan |title=Neural Basis of Reinforcement Learning and Decision Making |journal=Annual Review of Neuroscience |date=21 July 2012 |volume=35 |issue=1 |pages=287–308 |doi=10.1146/annurev-neuro-062111-150512|pmid=22462543 |pmc=3490621 }}</ref>。

基本的な強化学習エージェント型[[人工知能]]（AI）は、離散的な時間ステップで環境と相互作用を行う。各時刻 {{mvar|t}} において、エージェントは現在の状態 <math>S_t</math> と報酬 <math>R_t</math> を受け取る。次に選択可能な行動の集合から、1つの行動 <math>A_t</math> を選択し、それを環境に送信する。環境は新しい状態 <math>S_{t+1}</math> に移動し、遷移（transition） <math>(S_t,A_t,S_{t+1})</math> に関連付けられる報酬 <math>R_{t+1}</math> が決定される。強化学習エージェントの目標は、期待累積報酬を最大化する方策 <math>\pi: \mathcal{S} \times \mathcal{A} \rightarrow [0,1] </math>, <math>\pi(s,a) = \Pr(A_t = a \mid S_t =s)</math> を学習することである。

この問題をMDPとして定式化すると、エージェントが環境の現在の状態を直接観測することを仮定し、この場合、問題は完全観測可能（full observability）であると言う。しかし、エージェントが一部の状態しか観測できない場合、あるいは観測された状態がノイズによって破損している場合、エージェントは部分観測可能（partial observability）であると呼ばれ、正式にはその問題を[[部分観測マルコフ決定過程|部分観測可能マルコフ決定過程]]（partially observable Markov decision process）として定式化しなければならない。どちらの場合も、エージェントが使用できる行動の集合は制限を受ける可能性がある。たとえば、口座残高の状態が正である制約を課すことができる。状態の現在値が3で、状態遷移が値を4だけ減らそうと試みた場合、その遷移は許可されない。

あるエージェントの性能を、最適に行動している別のエージェントの性能と比較すると、その差から{{Ill2|リグレット (決定理論)|en|Regret (decision theory)|label=リグレット}}（regret''、''後悔）という概念が生じる。最適な行動に近づくために、たとえ即時報酬は負であっても、エージェントはその行動の長期的な結果（すなわち将来の収益の最大化）について考えなければならない。

したがって、強化学習は、長期的な報酬と短期的な報酬のトレードオフを伴う問題に特に適している。強化学習は、{{Ill2|ロボット制御|en|Robot control}}<ref>Xie, Zhaoming, et al. "[https://arxiv.org/pdf/2005.04323 ALLSTEPS: Curriculum‐driven Learning of Stepping Stone Skills]." Computer Graphics Forum. Vol. 39. No. 8. 2020.</ref>、[[エレベータアルゴリズム|エレベーターのスケジューリング]]、[[通信|電気通信]]、[[バックギャモン]]、[[チェッカー]]{{Sfn|Sutton|Barto|1998|p=|loc=Chapter 11}}、[[囲碁]]（[[AlphaGo]]）など、さまざまな問題への応用に成功している。

強化学習を強力なものにしている2つの要素として、性能を最適化するためのサンプルの使用と、大規模な環境に対処するための関数近似の使用があげられる。この2つの重要な要素により、強化学習は次のような状況下で、大規模環境に適用することができる。

* 環境のモデルはわかっているが、{{Ill2|閉形式表現|en|Closed-form expression|label=解析解}}が得られない。
* 環境のシミュレーションモデルだけが与えられている（{{Ill2|シミュレーションに基づく最適化|en|Simulation-based optimization}}の対象<ref>{{cite book|url = https://www.springer.com/mathematics/applications/book/978-1-4020-7454-7|title = Simulation-based Optimization: Parametric Optimization Techniques and Reinforcement|last = Gosavi|first = Abhijit|publisher = Springer|year = 2003|isbn = 978-1-4020-7454-7|author-link = Abhijit Gosavi|series = Operations Research/Computer Science Interfaces Series}}</ref>）。
* 環境に関する情報を収集する唯一の方法は、環境と対話することである。
これらの問題のうち、最初の2つは計画問題であり（何らかの形のモデルが利用可能であるため）、最後の1つは真の学習問題であると考えることができる。ただし、強化学習はどちらの計画問題も[[機械学習]]問題に変換する。

== 探索 ==
'''探索'''（exploration）と'''活用'''（exploitation）のトレードオフは、[[多腕バンディット問題]]や、Burnetas and Katehakis（1997）の有限状態空間MDPの研究を通じて、最も詳細に研究されてきた<ref name="Optimal adaptive policies for Marko">{{citation | last1 = Burnetas|first1 = Apostolos N.|last2 = Katehakis|first2 = Michael N.|author-link2 = Michael N. Katehakis|year = 1997|title = Optimal adaptive policies for Markov Decision Processes|journal = Mathematics of Operations Research|volume = 22|pages = 222–255 |doi=10.1287/moor.22.1.222}}</ref>。

強化学習には巧妙な探索機構が不可欠であり、推定された確率分布を参照せず、ランダムに行動を選択すればその性能は低下する。（小規模な）有限MDPについては、比較的よく理解されている。しかし、状態数に応じてうまくスケールする（あるいは状態空間が無限の問題でも対応する）アルゴリズムがないため、単純な探索方法が最も実用的となる。

そのような方法の一つが <math>\varepsilon</math>-貪欲法（イプシロンどんよくほう、<math>\varepsilon</math>-greedy）で、<math>0 < \varepsilon < 1</math> は探索と活用の量を制御するパラメータである。確率 <math>1-\varepsilon</math> で活用が選択され、エージェントは長期的に最も効果があると思われる行動を選択する（行動間の関係は無作為に解消される）。あるいは、確率 <math>\varepsilon</math> で探索が選択され、行動は無作為に選択される。通常、<math>\varepsilon</math> は固定パラメータであるが、スケジュールに従ったり（エージェントが探索を徐々に少なくする）、またはヒューリスティック（経験則）に基づいて適応的に調整することもできる<ref>{{citation | last1 = Tokic | first1 = Michel | last2 = Palm | first2 = Günther | chapter   = Value-Difference Based Exploration: Adaptive Control Between Epsilon-Greedy and Softmax | pages = 335–346 | publisher = Springer | series = Lecture Notes in Computer Science | title = KI 2011: Advances in Artificial Intelligence | volume = 7006 | year = 2011 | chapter-url = http://www.tokic.com/www/tokicm/publikationen/papers/KI2011.pdf | isbn = 978-3-642-24455-1}}</ref>。

== 制御学習アルゴリズム ==
たとえ探索の問題を無視して、状態が観測可能であっても（以下は仮定）、過去の経験を使用して、どの行動がより高い累積報酬につながるかを見つけ出すという問題が残される。

=== 最適性の基準 ===

==== 方策 ====
エージェントの'''行動'''（action）の選択は、'''方策'''（policy）と呼ばれる[[写像]]としてモデル化することができる。
:<math>\pi: \mathcal{S} \times \mathcal{A} \rightarrow [0,1]</math>
:<math>\pi(s,a) = \Pr(A_t = a \mid S_t =s)</math>
方策の写像は、状態 <math>s</math> において行動 <math>a</math> を選択する確率を与える<ref name=":0">{{Cite web |url=http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf |title=Reinforcement learning: An introduction |access-date=2023-05-12}}</ref>{{Rp|61}}。決定論的な方策（全ての確率が 0 または 1）を考えても良い。

==== 状態価値関数 ====
状態価値関数（state-value function） <math>V_\pi(s)</math> は、状態 <math>s</math>、すなわち <math>S_0 = s</math> から出発して、方策 <math>\pi</math> に連続して従う場合の期待割引収益（expected discounted return）と定義される。したがって、大まかに言えば、状態価値関数は、ある状態にあることが「どれくらい良いか」を推定するものである<ref name=":0" />{{Rp|60}}。
:<math>V_\pi(s) = \operatorname \mathbb{E}[G \mid S_0 = s] = \operatorname \mathbb{E}\left[\sum_{t=0}^\infty \gamma^t R_{t+1} \mid S_0 = s\right],</math>
ここで、確率変数 <math>G</math> は'''割引収益'''（discounted return）を表し、報酬（reward）に割引率（discount rate）<math>\gamma </math> を乗じた将来の割引報酬（discounted reward）の和として定義される。
:<math>G=\sum_{t=0}^\infty \gamma^t R_{t+1} = R_1 + \gamma R_2 + \gamma^2 R_3 + \dots</math>
ここで、報酬 <math>R_{t+1}</math> は状態 <math>S_t</math> から <math>S_{t+1}</math> に遷移した際の報酬である。割引率は <math>0<\gamma<1</math> に設定され、遠い未来の報酬ほど重み付けは小さくなる。[[割引率]]の考え方は[[経済学]]でも使われている。

アルゴリズムは、期待割引収益が最大になるような方策を見つける必要がある。MDPの理論から、一般性を損なうことなく、探索をいわゆる「定常方策」（''stationary'' policies）の集合に限定できることが知られている。ある方策が返す行動分布が、（観察しているエージェントの履歴から）最後に訪れた状態にのみ依存する場合、その方策は「定常的」（''stationary''）である。探索はさらに決定論的な定常方策に限定されることがある。「決定論的定常方策」（''deterministic stationary'' policy）は、現在の状態に基づいて「決定論的」に行動を選択する。このような方策は、状態の集合から行動の集合へのマッピングとして識別できるので、一般性を損なうことなく、これらの方策はこのようなマッピングと識別することができる。

=== 総当たり法 ===
総当たり法（brute force method、[[力まかせ探索]]）は、次の2つの段階を伴う。

* 可能性のある各方策について、それに従った場合の収益をサンプリングする
* 期待収益が最大の方策を選択する

この場合の問題の一つは、方策数が増大する、あるいは無限大になる可能性である。また、収益の分散が大きい場合、各方策の収益を正確に推定するために多くのサンプルが必要になることもある。

これらの問題は、何らかの構造を仮定し、ある方策から生成されたサンプルが他の方策の推定に影響を与えるようにすることで改善することができる。これを実現するための2つな主要な手法は、[[強化学習#Value function|価値関数推定]]と[[強化学習#Direct policy search|直接方策探索]]である。

=== {{Anchors|Value function}}価値関数法 ===
{{see also|{{ill2|価値関数|en|Value function}}}}
価値関数法（value function methods）は、ある方策（通常は「現行」（on-policy、方策内）または「最適」（方策外、off-policy）のいずれか）に対する期待収益の推定値の集合を維持することにより、収益を最大化する方策を見つけ出そうとするものである。

これらの方法はマルコフ決定過程の理論に基づいており、最適性は前述したよりも強い意味で定義されている。方策は、'''どのような'''初期状態からでも最大の期待収益を達成する場合、最適であると呼ばれる（つまり、この定義において初期分布は何の役割も果たさない）。繰り返すが、最適方策は常に定常方策の中から見出すことができる。

最適性を正式に定義するために、方策 <math>\pi</math> の下での状態価値（state-value）を、
:<math> V^{\pi} (s) = \operatorname \mathbb{E}[G\mid s,\pi]</math>

で定義する。ここで、<math>G</math> は初期状態 <math>s</math> から <math>\pi</math> に従うことに伴う割引収益を表す。また、<math>\pi</math> が変更しうる場合、<math>V^\pi(s)</math> の最大可能値として<math>V^*(s)</math> を定義すると、
:<math>V^*(s) = \max_\pi V^\pi(s)</math>

となる。

すべての状態において、これらの最適値を達成する方策を'''最適'''（optimal）と呼ぶ。この強い意味で最適な方策は、期待割引収益 <math>\rho^\pi = \mathbb{E} [ V^\pi(s) ]</math> を最大化するという意味でも「最適」であることは明らかである。ここで、<math>s</math> は初期状態の分布 <math>\mu</math> からランダムにサンプリングした状態（したがって <math>\mu(s) = \Pr(S_0 = s)</math>）である。

最適性を定義するには状態価値で十分だが、行動価値（action-value）を定義しておくと有用である。状態 <math>s</math>、行動 <math>a</math>、方策 <math>\pi</math> が与えられたとき、<math>\pi</math> の下での状態-行動ペア <math>(s,a)</math> の行動価値は、
:<math>Q^\pi(s,a) = \operatorname \mathbb{E}[G\mid s,a,\pi],\,</math>
で定義される。ここで <math>G</math> は、状態 <math>s</math> で最初に行動 <math>a</math> を取り、その後 <math>\pi</math> に従っているときの割引収益を表している。

MDPの理論では、<math>\pi^*</math> が最適方策であれば、<math>Q^{\pi^*}(s,\cdot)</math> から各状態 <math>s</math> で最も行動価値の高い行動を選択することで最適に行動する（最適行動を取る）とされている。このような最適方策（<math>Q^{\pi^*}</math>）の行動価値関数（action-value function）を最適行動価値関数（optimal action-value function）といい、一般に <math>Q^*</math> と表わす。要約すると、最適行動価値関数を知っていれば、最適な行動方法を知ることができる。

MDPの完全な知識を前提とすると、最適な行動価値関数を計算するための2つの基本的な手法は、[[マルコフ決定過程#価値反復法|価値反復法]]と[[マルコフ決定過程#方策反復法|方策反復法]]である。どちらのアルゴリズムも、<math>Q^*</math> に収束する一連の関数 <math>Q_k</math> (<math>k=0,1,2,\ldots</math>) を計算する。これらの関数を計算するには、状態空間全体に対する期待行動価値を計算する必要があるが、これは最小の（有限の）MDPを除いては非現実的である。強化学習法では、大きな状態行動空間上の行動価値関数を表現する必要性に対処するために、サンプルの平均化や関数近似の手法を使用して期待値を近似する。

==== モンテカルロ法 ====
[[モンテカルロ法]]（Monte Carlo methods）は、方策反復法を模倣したアルゴリズムに使用することができる。方策反復法は、方策の評価（policy evaluation）と方策の改善（policy improvement）という2つの段階から構成される。モンテカルロ法は、方策評価段階で使用される。この段階での目標は、定常的で決定論的な方策 <math>\pi</math> が与えられたとき、すべての状態-行動ペア <math>(s,a)</math> に対する関数値 <math>Q^\pi(s,a)</math>（またはその適切な近似）を計算することである。ここでは簡単にするために、MDPは有限であり、行動価値を収容するのに十分なメモリがあり、問題は偶発的（{{Lang-en-short|episodic}}）で、各出来事の後にランダムな初期状態から新しい出来事が始まると仮定する。そして、与えられた状態-行動ペア <math>(s,a)</math> の行動価値の推定値は、<math>(s,a)</math> からサンプリングされた収益を時間経過とともに平均化することによって計算することができる。十分な時間があれば、この手順により、行動価値関数 <math>Q^\pi</math> の正確な推定値 <math>Q</math> を構築することができる。これで、方策評価段階の説明を終了する。

方策改善段階では、<math>Q</math> に関する'''貪欲'''な方策（''greedy'' policy）を計算することにより次の方策を得る。状態 <math>s</math> が与えられたとき、この新しい方策は <math>Q(s,\cdot)</math> を最大化する一つの行動を返す。実際には、[[遅延評価]]によって、最大化行動の計算を必要なときまで先送りすることができる。

この手法の問題を次にあげる。

# 最適でない方策を評価するのに時間がかかりすぎる場合がある。
# サンプリングが非効率的に行われる（長い軌跡が、軌跡を開始した'''''単一'''''の状態-行動ペアの推定値を改善するだけである）
# 軌跡上の収益が'''高分散'''（high variance）である場合、収束が遅くなる。
# '''偶発的問題'''（episodic problems）に対してのみ有効である。
# 小規模で有限なMDPでしか使えない。

以降の小節では、それぞれの問題についてさらに議論する。

==== {{Anchors|TD学習}}時間差分法 ====
最初の問題は、価値が収まる前に（一部または全ての状態で）手順が方策を変更できるようにすることによって対応できる。ただし収束を妨げて問題となる可能性もある。現在のほとんどのアルゴリズムではこれを行い、一般化方策反復（generalized policy iteration）という種類のアルゴリズムを作り出すことができる。多くのアクター・クリティック法（actor-critic methods）はこの範疇（はんちゅう）に属する。

2番目の問題は、軌跡がその中の任意の状態-行動ペアに関与できるようにすることで修正できる。これは3番目の問題にもある程度有効であるが、収益の分散が高い場合のより優れた解決策は、再帰的[[ベルマン方程式]]（recursive Bellman equation）に基づくリチャード・サットンが命名した[[時間差分学習]]（temporal difference learning、'''TD学習'''）である<ref>{{cite thesis|last = Sutton|first = Richard S.|title= Temporal Credit Assignment in Reinforcement Learning|degree= PhD|publisher = University of Massachusetts, Amherst, MA|url= http://incompleteideas.net/sutton/publications.html#PhDthesis|author-link = Richard S. Sutton|year= 1984 }}</ref>{{sfn|Sutton|Barto|1998|loc=[http://incompleteideas.net/sutton/book/ebook/node60.html §6. Temporal-Difference Learning]}}。

TD法における計算法には、インクリメンタル法（各遷移後にメモリを変更し、遷移を破棄する）またはバッチ法（遷移をバッチ処理し、バッチに基づいて推定値を一回計算する）がある。最小二乗時間差法（least-squares temporal difference method）のようなバッチ法は<ref>{{cite journal
  | doi = 10.1023/A:1018056104778
  | last1 = Bradtke | first1 = Steven J. | author-link1 = Steven J. Bradtke
  | last2 = Barto | first2 = Andrew G. | author-link2 = Andrew G. Barto
  | title = Learning to predict by the method of temporal differences
  | journal = Machine Learning
  | volume = 22
  | pages = 33–57
  | year = 1996
  | citeseerx = 10.1.1.143.857 | s2cid = 20327856 }}</ref>、サンプル内の情報をより有効に利用できる可能性があるが、インクリメンタル法は、バッチ法が計算量やメモリの複雑性の理由で実行不可能な場合に選択される唯一の方法となる。この2つの方法を組み合わせる手法もある。時間差分に基づく方法は、4番目の問題も克服している。

TDに特有のもう一つの問題は、再帰的なベルマン方程式への依存に起因している。ほとんどのTD法には、いわゆる <math>\lambda</math> （ラムダ）パラメータ <math>(0\le \lambda\le 1)</math> があり、ベルマン方程式に依存しないモンテカルロ法と、ベルマン方程式に完全に依存する基本的なTD法の間を、連続的に補間することができる。これにより、この問題を効果的に緩和することができる。

==== 関数近似法 ====
5番目の課題を解決するために、関数近似法（function approximation methods）が提案されている。線形関数近似（linear function approximation）は、各状態-行動ペアに有限次元ベクトルを割り当てるマッピング <math>\phi</math> から始まる。そして、状態-行動ペア <math>(s,a)</math> の行動価値（action-value）は、<math>\phi(s,a)</math> の成分を何らかの''重み'' <math>\theta</math> で線形結合することによって得られる。
:<math>Q(s,a) = \sum_{i=1}^d \theta_i \phi_i(s,a)</math>
その後、アルゴリズムは、各状態-行動ペアに関連する値ではなく、重みを調整する。[[ノンパラメトリック統計学]]の考え方に基づく方法（独自の特徴を構築することが見られる）が探究されている。

また、値の反復を出発点として、[[Q学習]]アルゴリズム（Q-learning algorithm）とその多くのバリエーションを作成することができる<ref>{{cite thesis
  | last = Watkins | first = Christopher J.C.H. | author-link = Christopher J.C.H. Watkins
  | degree= PhD
  | title= Learning from Delayed Rewards
  | year= 1989 
  | publisher = King’s College, Cambridge, UK
  | url= http://www.cs.rhul.ac.uk/~chrisw/new_thesis.pdf}}</ref>。行動価値関数Qを表現するためにニューラルネットワークを使用するディープQ学習法を含め、確率的探索問題へのさまざまな応用ができる<ref name="MBK">{{Cite journal |title = Detection of Static and Mobile Targets by an Autonomous Agent with Deep Q-Learning Abilities | journal=Entropy | year=2022 | volume=24 | issue=8 | page=1168  | doi=10.3390/e24081168 | pmid=36010832 | pmc=9407070 | bibcode=2022Entrp..24.1168M | doi-access=free | last1=Matzliach | first1=Barouch | last2=Ben-Gal | first2=Irad | last3=Kagan | first3=Evgeny }}</ref>。

行動価値を用いる場合の問題は、競合する行動価値を高精度に推定する必要であることになる可能性があることで、収益にノイズが多い場合には取得するのが難しい場合があるが、この問題は時間差法によってある程度軽減される。いわゆる互換関数近似法（compatible function approximation method）を使用すると、一般性と効率性が損なわれる。

=== {{Anchors|Direct policy search}}直接方策探索 ===
別の方法として、方策空間（その何らかの部分集合）を直接探索する方法があり、この場合、問題は{{Ill2|確率的最適化|en|Stochastic optimization}}の一つとなる。利用可能な2つの方法として、勾配を用いる方法と、勾配を用いない方法がある。

[[勾配法]]を使用する手法は方策勾配法（policy gradient method）と呼ばれる。有限次元（パラメータ）空間から方策空間へのマッピングを行い、パラメータベクトル <math>\theta</math> が与えられたとき、<math>\theta</math> に対応する方策を <math>\pi_\theta</math> とする。評価関数を <math>\rho(\theta) = \rho^{\pi_\theta}</math> と定義すると、この関数は穏やかな条件下ではパラメータベクトル <math>\theta</math> の関数として微分可能になる。もし <math>\rho</math> の勾配がわかっていれば、[[最急降下法]]を使うことができる。勾配の解析解が分からないため、ノイズを含んだ推定値しか利用できない<ref>{{cite conference
  | last = Williams | first = Ronald J. | author-link = Ronald J. Williams 
  | title = A class of gradient-estimating algorithms for reinforcement learning in neural networks
  | book-title = Proceedings of the IEEE First International Conference on Neural Networks
  | year = 1987| citeseerx = 10.1.1.129.8871 }}</ref>。このような推定値はさまざまな方法で構築することができ、ウィリアムズのREINFORCE法（{{Ill2|シミュレーションベース最適化|en|Simulation-based optimization}}の文献では尤度比法として知られている）のようなアルゴリズムで作成することもできる<ref>{{cite conference
  | last1 = Peters | first1 = Jan | author-link1 = Jan Peters (researcher)
  | last2 = Vijayakumar | first2 = Sethu | author-link2 = Sethu Vijayakumar
  | last3 = Schaal | first3 = Stefan | author-link3 = Stefan Schaal
  | title = Reinforcement Learning for Humanoid Robotics
  | book-title = IEEE-RAS International Conference on Humanoid Robots
  | year = 2003
  | url = http://www-clmc.usc.edu/publications/p/peters-ICHR2003.pdf}}</ref>。

勾配を用いない方法も、多くの種類がある。たとえば、[[焼きなまし法|シミュレーティドアニーリング]]、{{Ill2|クロスエントロピー法|en|Cross-entropy method|label=クロスエントロピー探索}}、または[[進化的計算]]の手法などがある。多くの勾配を用いない手法は、（理論的にも極限的にも）大域的な最適解に到達することができる。

ノイズの多いデータでは、方策の収束が遅くなることがある。こうしたことは、たとえば、軌跡が長くリターンの分散が大きい偶発的問題で起こる。このような場合、時間差分法に依存する価値関数に基づく手法が役立つ可能性がある。近年では、1970年代から存在していたアクター・クリティック法（actor-critic method）を改良する方法が提案され、さまざまな問題で良い結果を出している<ref>{{Cite web|url=https://medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-8-asynchronous-actor-critic-agents-a3c-c88f72a5e9f2|title=Simple Reinforcement Learning with Tensorflow Part 8: Asynchronous Actor-Critic Agents (A3C)|last=Juliani|first=Arthur|date=2016-12-17|website=Medium|access-date=2018-02-22}}</ref>。

方策探索法は、[[ロボット工学]]の文脈でも使用されている<ref>{{Cite book|title = A Survey on Policy Search for Robotics|last1 = Deisenroth|first1 = Marc Peter|last2 = Neumann|first2 = Gerhard|last3 = Peters|first3 = Jan|publisher = NOW Publishers|year = 2013|series = Foundations and Trends in Robotics|volume = 2|issue = 1–2|pages = 1–142 |author-link1 = Marc Peter Deisenroth|author-link2 = Gerhard Neumann|author-link3 = Jan Peters (researcher)|hdl = 10044/1/12051|doi = 10.1561/2300000021|url = http://eprints.lincoln.ac.uk/28029/1/PolicySearchReview.pdf}}</ref>。多くの方策探索法は、[[局所探索法|局所探索]]に基づいているため、局所最適に陥ることがある。

=== モデルベース・アルゴリズム ===
最後に、上記の方法はみな、初めにモデルを訓練するアルゴリズムと組み合わせることができる。たとえば、Dynaアルゴリズムは経験からモデルを訓練し、実際の遷移に加えて、よりモデル化された遷移を価値関数に与えることができる<ref>{{Cite conference
	| last1 = Sutton | first1 = Richard
	| title = Integrated Architectures for Learning, Planning and Reacting based on Dynamic Programming
    | year = 1990
    | book-title = Machine Learning: Proceedings of the Seventh International Workshop}}</ref>。このような方法はノンパラメトリックモデルに拡張できる場合があり、たとえば、遷移を単純に保存して学習アルゴリズムに「再生」させるなどの方法がある<ref>{{Cite conference | first1 = Long-Ji | last1 = Lin | title = Self-improving reactive agents based on reinforcement learning, planning and teaching | book-title = Machine Learning volume 8 | year = 1992 | doi = 10.1007/BF00992699 |url=https://link.springer.com/content/pdf/10.1007/BF00992699.pdf}}</ref>。

モデルの使用には価値関数を更新する以外の方法もある<ref>{{Cite conference
    | last1 = van Hasselt | first1 = Hado
    | last2 = Hessel | first2 = Matteo
    | last3 = Aslanides | first3 = John
    | title = When to use parametric models in reinforcement learning?
    | year = 2019
    | book-title = Advances in Neural Information Processing Systems 32
    | url = https://proceedings.neurips.cc/paper/2019/file/1b742ae215adf18b75449c6e272fd92d-Paper.pdf
}}</ref>。たとえば、{{Ill2|モデル予測制御|en|Model predictive control}}{{Enlink|Model predictive control|英語版|en}}では、モデルを用いて挙動を直接更新する。

== 理論 ==
ほとんどのアルゴリズムの漸近的挙動と有限標本挙動の両方がよく理解されている。（探索問題に対処する）優れたオンライン性能が証明されたアルゴリズムも知られている。

MDPの効率的な探索については、Burnetas and Katehakis（1997）で述べられている<ref name="Optimal adaptive policies for Marko" />。また、多くのアルゴリズムで有限時間性能の限界が見られるが、これらの限界はかなり緩いと予想されるため、相対的な価値と限界をより深く理解するために、さらなる研究が必要である。

インクリメンタルアルゴリズムについては、漸近的収束の問題が解決された{{Clarify|reason=What are the issues that have been settled?|date=January 2020}}。時間差分に基づくアルゴリズムでは、従来よりも広い条件の下で収束するようになった（たとえば、任意の滑らかな関数近似と併用する場合）。

== 研究 ==
{{出典の明記| date = 2023年5月| section = 1}}

研究テーマを次に列挙する。 

* アクター・クリティック法<ref>{{Cite web |url=http://www.st.nanzan-u.ac.jp/info/gr-thesis/ms/2008/05mm029.pdf |title=05mm029.pdf |access-date=2024-11-23 |publisher=南山大学（情報理工学部・数理情報学部）}}</ref>
* 少ないパラメータでも多数の条件下で動作する適応的手法
* ソフトウェアプロジェクトにおけるバグ検出<ref>https://arxiv.org/pdf/2105.12787</ref>
* 継続的な学習<ref>{{Cite web |title=On the Use of Reinforcement Learning for Testing Game Mechanics : ACM - Computers in Entertainment |url=https://cie.acm.org/articles/use-reinforcements-learning-testing-game-mechanics/ |access-date=2018-11-27 |website=cie.acm.org |language=en}}</ref>
* ロジックベースフレームワークとの組み合わせ<ref>{{Cite journal|last1=Riveret|first1=Regis|last2=Gao|first2=Yang|date=2019|title=A probabilistic argumentation framework for reinforcement learning agents|journal=Autonomous Agents and Multi-Agent Systems|language=en|volume=33|issue=1–2|pages=216–274|doi=10.1007/s10458-019-09404-2|s2cid=71147890}}</ref>
* 大規模MDPでの探索
* [[人間のフィードバックからの強化学習]]<ref>{{cite arXiv |last1=Yamagata |first1=Taku |last2=McConville |first2=Ryan |last3=Santos-Rodriguez |first3=Raul |date=2021-11-16 |title=Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills |class=cs.LG |eprint=2111.08596 }}</ref>
* スキル獲得における暗黙知と明示知の相互作用
* 情報探索-好奇心型行動と、タスク依存型-目的指向型行動とを区別する{{Ill2|内発的動機付け (人工知能)|en|Intrinsic motivation (artificial intelligence)}}の大規模な経験的評価
* 大きな（または連続的な）行動空間
* モジュール型および階層型な強化学習<ref>{{Cite journal|last1=Kulkarni|first1=Tejas D.|last2=Narasimhan|first2=Karthik R.|last3=Saeedi|first3=Ardavan|last4=Tenenbaum|first4=Joshua B.|date=2016|title=Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation|url=http://dl.acm.org/citation.cfm?id=3157382.3157509|journal=Proceedings of the 30th International Conference on Neural Information Processing Systems|series=NIPS'16|location=USA|publisher=Curran Associates Inc.|pages=3682–3690|isbn=978-1-5108-3881-9|bibcode=2016arXiv160406057K|arxiv=1604.06057}}</ref>
* マルチエージェント・分散型強化学習は、関心を集めて話題で、応用が拡大している<ref>{{Cite web |title=Reinforcement Learning / Successes of Reinforcement Learning |url=http://umichrl.pbworks.com/Successes-of-Reinforcement-Learning/ |access-date=2017-08-06 |website=umichrl.pbworks.com}}</ref>
* 乗員主体の制御
* コンピューティング資源の最適化<ref>{{Cite web |last=Quested |first=Tony |title=Smartphones get smarter with Essex innovation |work=Business Weekly |url=https://www.businessweekly.co.uk/news/academia-research/smartphones-get-smarter-essex-innovation |url-status=live |access-date=2021-06-17}}</ref><ref>{{Cite journal |last1=Dey |first1=Somdip |last2=Singh |first2=Amit Kumar |last3=Wang |first3=Xiaohang |last4=McDonald-Maier |first4=Klaus |date=March 2020 |title=User Interaction Aware Reinforcement Learning for Power and Thermal Efficiency of CPU-GPU Mobile MPSoCs |url=https://ieeexplore.ieee.org/document/9116294 |journal=2020 Design, Automation Test in Europe Conference Exhibition (DATE) |pages=1728–1733 |doi=10.23919/DATE48585.2020.9116294 |isbn=978-3-9819263-4-7 |s2cid=219858480}}</ref><ref>{{Cite web |last=Williams |first=Rhiannon |date=2020-07-21 |title=Future smartphones 'will prolong their own battery life by monitoring owners' behaviour' |url=https://inews.co.uk/news/technology/future-smartphones-prolong-battery-life-monitoring-behaviour-558689 |url-status=live |access-date=2021-06-17 |website=[[:en:i (newspaper)|i]] |language=en}}</ref>
*[[部分観測マルコフ決定過程|部分情報]]（predictive state representation、POMDP）。たとえば{{Ill2|予測的状態表現|en|Predictive state representation}}（PSR）を使用する。
* 新規情報の最大化することに基づく報酬関数<ref name="kaplan2004">{{cite book |last1=Kaplan |first1=F. |title=Embodied Artificial Intelligence |last2=Oudeyer |first2=P. |publisher=Springer |year=2004 |isbn=978-3-540-22484-6 |editor-last=Iida |editor-first=F. |series=Lecture Notes in Computer Science |volume=3139 |location=Berlin; Heidelberg |pages=259–270 |chapter=Maximizing learning progress: an internal reward system for development |doi=10.1007/978-3-540-27833-7_19 |s2cid=9781221 |editor2-last=Pfeifer |editor2-first=R. |editor3-last=Steels |editor3-first=L. |editor4-last=Kuniyoshi |editor4-first=Y.}}</ref><ref name="klyubin2008">{{cite journal |last1=Klyubin |first1=A. |last2=Polani |first2=D. |last3=Nehaniv |first3=C. |year=2008 |title=Keep your options open: an information-based driving principle for sensorimotor systems |journal=PLOS ONE |volume=3 |issue=12 |pages=e4018 |bibcode=2008PLoSO...3.4018K |doi=10.1371/journal.pone.0004018 |pmc=2607028 |pmid=19107219 |doi-access=free}}</ref><ref name="barto2013">{{cite book |last=Barto |first=A. G. |url=https://people.cs.umass.edu/~barto/IMCleVer-chapter-totypeset2.pdf |title=Intrinsically Motivated Learning in Natural and Artificial Systems |publisher=Springer |year=2013 |location=Berlin; Heidelberg |pages=17–47 |chapter=Intrinsic motivation and reinforcement learning}}</ref>
* サンプルベースの計画（たとえば[[モンテカルロ木探索]]に基づく）
*証券取引<ref>{{cite journal |last1=Dabérius |first1=Kevin |last2=Granat |first2=Elvin |last3=Karlsson |first3=Patrik |date=2020 |title=Deep Execution - Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks |ssrn=3374766 |journal=The Journal of Machine Learning in Finance |volume=1}}</ref>
* [[転移学習|転位学習]]<ref>{{Cite journal|last1=George Karimpanal|first1=Thommen|last2=Bouffanais|first2=Roland|date=2019|title=Self-organizing maps for storage and transfer of knowledge in reinforcement learning|journal=Adaptive Behavior|language=en|volume=27|issue=2|pages=111–126|doi=10.1177/1059712318818568|issn=1059-7123|arxiv=1811.08318|s2cid=53774629}}</ref>
* 脳内の[[ドーパミン]]を利用した学習をモデル化したTD学習。[[黒質]]緻密部<!-- basal ganglia function -->から[[大脳基底核]]への[[ドーパミン作動性ニューロン|ドーパミン作動性]]投射は予測誤差である。
* 価値関数と方策の探索方法<ref>https://www.ipsj.or.jp/award/9faeag0000004f1r-att/CF-002.pdf</ref>

== 強化学習アルゴリズムの比較 ==
{| class="wikitable sortable"
|-
! nowrap | アルゴリズム !! 説明 !!学習方策の分離性 !! nowrap="" | 行動空間 !! nowrap | 状態空間 !! 作用素の軸となる統計量
|-
| nowrap | [[モンテカルロ法]]|| 逐次訪問モンテカルロ法<!-- Every visit to Monte Carlo -->
|  いずれでも
| 離散
| 離散 || 状態価値もしくは行動価値のサンプル平均<!-- Sample-means -->
|-
| [[時間差分学習|TD学習]]||状態-行動-報酬-状態
| オンポリシー
| 離散 || 離散 || 状態価値
|-
| [[Q学習]]|| 状態-行動-報酬-状態<!-- State–action–reward–state -->
|  オフポリシー
| 離散 || 離散 || 行動価値
|-
| [[SARSA法|SARSA]]|| 状態-行動-報酬-状態-行動<!-- State–action–reward–state–action -->
| オンポリシー
| 離散 || 離散 || 行動価値
|-
| Q学習(λ)<!-- Q-learning - Lambda -->
| 状態-行動-報酬-適格性トレースを含む状態<!-- State–action–reward–state with eligibility traces -->
|  オフポリシー || 離散 || 離散 || 行動価値
|-
| SARSA(λ)<!-- SARSA - Lambda -->|| 状態-行動-報酬-状態-行動と適格性トレース<!-- State–action–reward–state–action with eligibility traces -->
| オンポリシー || 離散 || 離散 || 行動価値
|-
| [[DQN (コンピュータ)|DQN]]|| ディープQネットワーク<!-- Deep Q Network -->
| オフポリシー || 離散 || 連続 || 行動価値
|-
| DDPG || ディープ決定論的方策勾配<!-- Deep Deterministic Policy Gradient -->
| オフポリシー || 連続 || 連続 || 行動価値
|-
| A3C || 非同期アドバンテージ・アクター・クリティック・アルゴリズム<!-- Asynchronous Advantage Actor-Critic Algorithm -->
| オンポリシー || 連続 || 連続 || アドバンテージ<br>(=行動価値 - 状態価値)
|-
| NAF || 正規化アドバンテージ関数を使用したQ学習<!-- Q-Learning with Normalized Advantage Functions -->
| オフポリシー || 連続 || 連続 || アドバンテージ
|-
| TRPO || 信頼領域方策最適化<!-- Trust Region Policy Optimization -->
|  オンポリシー || 連続 || 連続 || アドバンテージ
|-
| [[近接方策最適化|PPO]]|| 近位方策最適化<!-- Proximal Policy Optimization -->
|  オンポリシー || 連続 || 連続 || アドバンテージ
|-
|TD3
|ツイン遅延ディープ決定論方策勾配法<!-- Twin Delayed Deep Deterministic Policy Gradient -->
|オフポリシー
|連続
|連続
|行動価値
|-
|SAC
|ソフト・アクター・クリティック法<!-- Soft Actor-Critic -->
|オフポリシー
|連続
|連続
|アドバンテージ
|-
|[[分布ソフト・アクター・クリティック法|DSAC]]
|分布ソフト・アクター・クリティック法<!-- Distributional Soft Actor-Critic -->
|オフポリシー
|連続
|連続
|アドバンテージ分布
|}

=== 連想強化学習 ===
連想強化学習タスク（associative reinforcement learning）は、確率的学習オートマトンタスクと[[教師あり学習]]パターン分類タスクの側面をあわせ持っている。連想強化学習タスクでは、学習システムは閉ループで環境と相互作用する<ref>{{cite book |last1=Soucek |first1=Branko |title=Dynamic, Genetic and Chaotic Programming: The Sixth-Generation Computer Technology Series |date=6 May 1992 |publisher=John Wiley & Sons, Inc |isbn=0-471-55717-X |page=38}}</ref>。

=== 深層強化学習 ===
深層強化学習（deep reinforcement learning）{{Enlink|Deep reinforcement learning|英語版|en}}は、[[ディープラーニング|ディープニューラルネットワーク]]を使用し、状態空間を明示的に設計することなく、強化学習を拡張するものである<ref name="intro_deep_RL">{{cite journal |first= Vincent|display-authors=etal|last= Francois-Lavet |year=2018 |title= An Introduction to Deep Reinforcement Learning |journal=Foundations and Trends in Machine Learning|volume=11 |issue=3–4 |pages=219–354 |doi=10.1561/2200000071|arxiv= 1811.12560 |bibcode=2018arXiv181112560F|s2cid=54434537}}</ref>。Google [[DeepMind]]によって[[Atari 2600]]のゲームの強化学習が研究（[[DQN (コンピュータ)|Deep Q-Network]]）されたことで、深層強化学習や[[エンドツーエンドの強化学習|エンドツーエンド強化学習]]が注目されるようになった<ref name="DQN2">{{cite journal |first= Volodymyr|display-authors=etal|last= Mnih |year=2015 |title= Human-level control through deep reinforcement learning |journal=Nature|volume=518 |issue=7540 |pages=529–533 |doi=10.1038/nature14236|pmid= 25719670 |bibcode=2015Natur.518..529M |s2cid=205242740|url=https://www.semanticscholar.org/paper/e0e9a94c4a6ba219e768b4e59f72c18f0a22e23d}}</ref>。

=== 敵対的深層強化学習 ===
敵対的深層強化学習（adversarial deep reinforcement learning）は、学習された方策の脆弱性（ぜいじゃくせい）に焦点を当てた強化学習の活発な研究分野である。この研究領域では、当初、強化学習方策がわずかな敵対的操作の影響を受けやすいことがいくつかの研究で示されていた<ref>{{cite journal |last1= Goodfellow|first1=Ian  |last2=Shlens |first2= Jonathan|last3=Szegedy|first3=Christian|title= Explaining and Harnessing Adversarial Examples |journal= International Conference on Learning Representations |date= 2015 |arxiv=1412.6572 }}</ref><ref>{{cite journal |last1= Behzadan|first1=Vahid  |last2=Munir |first2= Arslan|title= Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks |journal= International Conference on Machine Learning and Data Mining in Pattern Recognition |series=Lecture Notes in Computer Science |date= 2017 |volume=10358 |pages=262–275 |doi=10.1007/978-3-319-62416-7_19 |arxiv=1701.04143|isbn=978-3-319-62415-0 |s2cid=1562290 }}</ref><ref>{{Cite book |last=Pieter |first=Huang, Sandy Papernot, Nicolas Goodfellow, Ian Duan, Yan Abbeel |url=http://worldcat.org/oclc/1106256905 |title=Adversarial Attacks on Neural Network Policies |date=2017-02-07 |oclc=1106256905}}</ref>。これらの脆弱性を克服するためにいくつか方法が提案されているが、最新の研究では、これらの提案された解決策は、深層強化学習方策の現在の脆弱性を正確に表すには程遠いことが示された<ref>{{cite journal |last1=Korkmaz |first1=Ezgi |date=2022 |title=Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs. |journal=Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI-22) |volume=36 |issue=7 |pages=7229–7238 |doi=10.1609/aaai.v36i7.20684 |arxiv=|s2cid=245219157 |doi-access=free }}</ref>。

=== ファジィ強化学習 ===
強化学習に[[ファジィ制御|ファジィ推論]]を導入することで<ref>{{Cite journal |last=Berenji |first=H.R. |date=1994 |title=Fuzzy Q-learning: a new approach for fuzzy dynamic programming |url=https://ieeexplore.ieee.org/document/343737 |journal=Proc. IEEE 3rd International Fuzzy Systems Conference |location=Orlando, FL, USA |publisher=IEEE |pages=486–491 |doi=10.1109/FUZZY.1994.343737|isbn=0-7803-1896-X |s2cid=56694947 }}</ref>、連続空間における{{Ill2|ファジィルール|en|Fuzzy rule}}で状態-行動価値関数を近似することが可能になる。ファジィルールの IF - THEN 形式は、自然言語に近い形式で結果を表現するのに適している。ファジィルール補間によるファジィ強化学習（fuzzy reinforcement learning、FRL）への拡張により<ref>{{Cite book |last=Vincze |first=David |title=2017 IEEE 15th International Symposium on Applied Machine Intelligence and Informatics (SAMI) |date=2017 |chapter=Fuzzy rule interpolation and reinforcement learning |chapter-url=http://users.iit.uni-miskolc.hu/~vinczed/research/vinczed_sami2017_author_draft.pdf |publisher=IEEE |pages=173–178 |doi=10.1109/SAMI.2017.7880298|isbn=978-1-5090-5655-2 |s2cid=17590120 }}</ref>、サイズが縮小されたスパース・ファジィ・ルールベースを使用して、基本ルール（最も重要な状態-行動価値）に重点を置くことができるようになった。

=== 逆強化学習 ===
逆強化学習（inverse reinforcement learning、IRL）では報酬関数が与えられない。その代わり、専門家が観察した行動から報酬関数を推測する。このアイディアは観察された行動を模倣することであり、多くの場合、最適または最適に近い行動となる<ref>{{cite book |last1=Ng |first1=A. Y. |last2=Russell |first2=S. J. |year=2000 |chapter=Algorithms for Inverse Reinforcement Learning |title=Proceeding ICML '00 Proceedings of the Seventeenth International Conference on Machine Learning |pages=663–670 |isbn=1-55860-707-2 |chapter-url=https://ai.stanford.edu/~ang/papers/icml00-irl.pdf }}</ref>。

=== 安全な強化学習 ===
安全な強化学習（safe reinforcement learning、SRL）とは、システムの訓練や配置の過程で、その合理的な性能を確保し安全制約を尊重することが重要な問題において、期待収益を最大化する方策を学習する過程と定義することができる<ref>{{cite journal |last1=García |first1=Javier |last2=Fernández |first2=Fernando |title=A comprehensive survey on safe reinforcement learning |url=https://jmlr.org/papers/volume16/garcia15a/garcia15a.pdf |journal=The Journal of Machine Learning Research |date=1 January 2015 |volume=16 |issue=1 |pages=1437–1480 }}</ref>。

== 参考項目 ==
{{Div col|colwidth=20em}}
* [[時間差分学習]]（TD学習）
* [[Q学習]]
* [[SARSA法|State–action–reward–state–action]]（SARSA法）
* [[人間のフィードバックによる強化学習]]
* [[エンドツーエンドの強化学習]]
* {{Ill2|仮想プレイ|en|Fictitious play}}
* {{Ill2|学習分類子システム|en|Learning classifier system}}
* [[最適制御]]
* {{Ill2|動的治療計画|en|Dynamic treatment regime}}
* {{Ill2|誤差駆動型学習|en|Error-driven learning}}
* {{Ill2|マルチエージェント強化学習|en|Multi-agent reinforcement learning}}
* [[マルチエージェントシステム]]
* {{Ill2|分散型人工知能|en|Distributed artificial intelligence}}
* {{Ill2|内発的動機付け (人工知能)|en|Intrinsic motivation (artificial intelligence)}}
* [[遺伝的アルゴリズム]]
* {{Ill2|徒弟学習|en|Apprenticeship learning}}
* [[モデルフリー (強化学習)]]
{{Div col end}}

== 脚注 ==
{{Reflist|30em}}

== 推薦文献 ==
* {{cite journal |last1=Annaswamy |first1=Anuradha M. |title=Adaptive Control and Intersections with Reinforcement Learning |journal=Annual Review of Control, Robotics, and Autonomous Systems |date=3 May 2023 |volume=6 |issue=1 |pages=65–93 |doi=10.1146/annurev-control-062922-090153 |url=https://doi.org/10.1146/annurev-control-062922-090153 |language=en |issn=2573-5144}}
* {{cite journal|last1 = Auer|first1 = Peter|last2 = Jaksch|first2 = Thomas |last3 = Ortner|first3 = Ronald |year = 2010|title = Near-optimal regret bounds for reinforcement learning|url = http://jmlr.csail.mit.edu/papers/v11/jaksch10a.html|journal = Journal of Machine Learning Research|volume = 11|pages = 1563–1600 |author-link1 = Peter Auer}}
* {{cite book|url = http://www.dcsc.tudelft.nl/rlbook/|title = Reinforcement Learning and Dynamic Programming using Function Approximators|last1 = Busoniu|first1 = Lucian|last2 = Babuska|first2 = Robert|last3 = De Schutter|first3 = Bart|last4 = Ernst|first4 = Damien|publisher = Taylor & Francis CRC Press|year = 2010|isbn = 978-1-4398-2108-4|author-link3 = Bart De Schutter }}
* {{cite journal
  | doi = 10.1561/2200000071
  | last1 = François-Lavet | first1 = Vincent
  | last2 = Henderson | first2 = Peter
  | last3 = Islam | first3 = Riashat
  | last4 = Bellemare | first4 = Marc G.
  | last5 = Pineau | first5 = Joelle
  | title = An Introduction to Deep Reinforcement Learning
  | journal = Foundations and Trends in Machine Learning
  | volume = 11
  | issue = 3–4 | pages = 219–354
  | year = 2018
  | arxiv = 1811.12560 | bibcode = 2018arXiv181112560F | s2cid = 54434537 }}
* {{cite book |last=Powell |first=Warren |title=Approximate dynamic programming: solving the curses of dimensionality |year=2011 |publisher=Wiley-Interscience |isbn= |url=http://www.castlelab.princeton.edu/adp.htm}}
* {{cite book|url=http://incompleteideas.net/sutton/book/the-book.html|title=Reinforcement Learning: An Introduction|last1=Sutton|first1=Richard S.|last2=Barto|first2=Andrew G.|publisher=MIT Press|year=2018|isbn=978-0-262-03924-6|edition=2|author-link1=Richard S. Sutton|author-link2=Andrew Barto}}
* {{cite journal
  | doi = 10.1007/BF00115009
  | last = Sutton | first = Richard S. | author-link = Richard S. Sutton
  | title = Learning to predict by the method of temporal differences
  | journal = Machine Learning
  | volume = 3
  | pages = 9–44
  | year = 1988
  | url = http://incompleteideas.net/sutton/publications.html#TD_paper | doi-access = free
  }}
* {{cite conference|last1 = Szita|first1 = Istvan|last2 = Szepesvari|first2 = Csaba |year = 2010|title = Model-based Reinforcement Learning with Nearly Tight Exploration Complexity Bounds|url = http://www.icml2010.org/papers/546.pdf|publisher = Omnipress|pages = 1031–1038  |book-title = ICML 2010|url-status = dead|archive-url = https://web.archive.org/web/20100714095438/http://www.icml2010.org/papers/546.pdf|archive-date = 2010-07-14}}

和書
* Csaba Szepesvári(著)：「速習 強化学習：基礎理論とアルゴリズム」、共立出版、978-4-320-12422-6 (2017年9月25日).
* 曽我部東馬：「教化学習アルゴリズム入門：「平均」からはじめる基礎と応用」、オーム社、ISBN 978-4-274-22371-6 (2019年5月20日).

== 外部リンク ==
* [https://all.cs.umass.edu/rlr/ Reinforcement Learning Repository]
* [http://spaces.facsci.ualberta.ca/rlai/ Reinforcement Learning and Artificial Intelligence] (RLAI, Rich Sutton's lab at the [[:en:University of Alberta|University of Alberta]])
* [http://www-all.cs.umass.edu/ Autonomous Learning Laboratory] (ALL, Andrew Barto's lab at the [[:en:University of Massachusetts Amherst|University of Massachusetts Amherst]])
* [http://www.dcsc.tudelft.nl/~robotics/media.html Real-world reinforcement learning experiments] {{Webarchive|url=https://web.archive.org/web/20181008104644/http://www.dcsc.tudelft.nl/~robotics/media.html |date=2018-10-08 }} at [[:en:Delft University of Technology|Delft University of Technology]]
* [https://www.youtube.com/watch?v=RtxI449ZjSc&feature=relmfu Stanford University Andrew Ng Lecture on Reinforcement Learning]
* [https://mpatacchiola.github.io/blog/2016/12/09/dissecting-reinforcement-learning.html Dissecting Reinforcement Learning] Series of blog post on RL with Python code
* [https://lilianweng.github.io/posts/2018-02-19-rl-overview/ A (Long) Peek into Reinforcement Learning]
* {{Wayback|url=http://www.scholarpedia.org/article/Reinforcement_Learning |title=Reinforcement Learning |date=20070107114356}} - [[スカラーペディア]]百科事典「強化学習」の項目。
* [http://sysplan.nams.kyushu-u.ac.jp/gen/edu/RL_intro.html 強化学習とは？] 木村 元ら
* [http://nao.s164.xrea.com/RL-FAQ-j.html 強化学習FAQ] Suttonの[http://incompleteideas.net/RL-FAQ.html 強化学習FAQ(英語)]の日本語訳

{{Computer science}}

{{DEFAULTSORT:きようかかくしゆう}}
[[Category:強化学習|*]]
[[Category:マルコフモデル]]
[[Category:信念修正]]
[[Category:機械学習アルゴリズム]]
[[Category:人工知能]]
[[Category:教育心理学]]