自由エネルギー原理のソースを表示

{{翻訳直後|英文記事 [[:en:Special:Permalink/1274787466|Free energy principle]] (07:18, 9 February 2025) 版|date=2025年3月}}

'''自由エネルギー原理'''（じゆうエネルギーげんり、英：Free energy principle）は、'''[[脳]]の働きに関する理論的枠組み'''であり、脳が 内部モデルに基づいて予測を行い、感覚入力を用いてそのモデルを更新することで、'''{{仮リンク|驚き|en|Surprisal|label=驚き}}'''（{{仮リンク|シャノンサプライズ|en|surprisal}}のこと）や不確実性を低減する と示唆する。この原理で強調される'''脳の目的'''は、内部モデルと外界との整合性を高めて'''予測の正確性を向上させること'''である。この原理は'''[[ベイズ推定]]'''と'''{{仮リンク|能動的推論|en|Active inference}}'''を統合しており、'''予測'''によって'''行動'''が導かれ、その'''行動'''がもたらす'''感覚[[フィードバック]]'''によって'''予測'''が精緻化されるとする。この原理は、'''脳機能'''、'''[[知覚]]'''、および'''[[行動]]'''の理解に広範な影響を与える。<ref name=":0">{{cite journal|last1=Bruineberg|first1=Jelle|last2=Kiverstein|first2=Julian|last3=Rietveld|first3=Erik|year=2018|title=The anticipating brain is not a scientist: the free-energy principle from an ecological-enactive perspective|journal=Synthese|volume=195|issue=6|pages=2417–2444|doi=10.1007/s11229-016-1239-1|pmc=6438652|pmid=30996493}}</ref>

== 概要 ==
'''[[生物物理学]]および[[認知科学]]において、自由エネルギー原理'''は一つの数学的原理であり、物理システムの表象能力についての形式的な記述を提供する。つまりこれは、存在するものが、あたかもそれと結びつけられたシステムの特性の跡をたどっているように見える理由を説明するものである。<ref name=":1">{{cite journal|last1=Friston|first1=Karl|year=2010|title=The free-energy principle: a unified brain theory?|url=https://www.nature.com/articles/nrn2787|journal=Nature Reviews Neuroscience|volume=11|issue=2|pages=127–138|doi=10.1038/nrn2787|pmid=20068583|s2cid=5053247|access-date=July 9, 2023}}</ref>この原理により規定されているのは、物理システムはその動態として{{仮リンク|シャノンサプライズ|en|surprisal}}として表わされる'''驚き'''の度合い（ある結果の負の対数確率）を最小化すること、言い換えればその変分上界である'''[[自由エネルギー]]'''を最小化するということ である。この原理は特に{{仮リンク|脳機能へのベイズ的取組み|en|Bayesian approaches to brain function}}で用いられ、'''[[人工知能]]'''への取組みにも用いられる。また、{{仮リンク|変分ベイズ法|en|Variational Bayesian methods}}と密接に関連しており、もともとは{{仮リンク|カール・フリストン|en|Karl J. Friston}}によって、[[神経科学]]における'''身体的知覚-行動ループ'''の説明として導入された。<ref name=":2">{{cite journal|last1=Friston|first1=Karl|last2=Kilner|first2=James|last3=Harrison|first3=Lee|year=2006|title=A free energy principle for the brain|url=http://www.fil.ion.ucl.ac.uk/~karl/A%20free%20energy%20principle%20for%20the%20brain.pdf|journal=Journal of Physiology-Paris|volume=100|issue=1–3|pages=70–87|doi=10.1016/j.jphysparis.2006.10.001|pmid=17097864|s2cid=637885}}</ref>

自由エネルギー原理は、あるシステムが他のシステム（例えば、システムが埋め込まれた環境）と分けられてはいるが離れがたく結びついているような場合に、そのシステムの振る舞いをモデル化する。このとき、システムと外界をつなぐ界面を十分に表現できる自由度を持った変数の集合を{{仮リンク|マルコフ・ブランケット|en|Markov Blanket}}と呼ぶ。より形式的に言うと、自由エネルギー原理が示しているのは、システム全体が「固有の分割」（いいかえれば、マルコフブランケットによる粒子への分割）を持つ場合、システムの部分集合が他の部分集合の統計的な構造の跡をたどる　という事である。この統計的な構造は、'''内部と外部の状態'''、または'''システムの経路'''として知られている。

自由エネルギー原理は、脳が[[推論エンジン]]であるとするベイズ的な考え方に基づいている。この原理の下では、システムは'''驚き'''が最小になる経路を追い求める。表現を変えると、システムは自身の世界モデルに基づく'''予測'''と、'''[[感覚]]および'''関連する'''[[知覚]]'''との'''差'''を最小にしている。この'''差'''は'''変分自由エネルギー'''として定量化され、システムの世界モデルの継続的な修正、または世界をシステムの'''予測'''に近づけることで最小化される。つまり、システムが自由エネルギーを最小化するには、世界モデルを変えるのでは無く、世界そのものを能動的に変え、期待される状態に近づけるという方法もあるということである。

フリストンはこのことを、すべての生体反応の原理とみなす。<ref name="wired20181112">Shaun Raviv: [https://www.wired.com/story/karl-friston-free-energy-principle-artificial-intelligence/ The Genius Neuroscientist Who Might Hold the Key to True AI]. In: Wired, 13. November 2018</ref>また、フリストンは彼の原理が精神疾患や人工知能にも当てはまると信じている。能動的推論原理に基づく人工知能の実装は、他の方法に対して優位性を示している。<ref name="wired20181112" />

自由エネルギー原理は情報物理学の数学的原理であり、最大エントロピー原理や最小作用の原理に似て、数学的な観点から真である。自由エネルギー原理を否定しようとするのはカテゴリー誤認であり、経験的観測により[[微積分]]を否定しようとするのと同類である。（こういうやり方では数学的理論の間違いを示すことはできない；必要なのは理論から形式的矛盾を導くことである。）2018年のインタビューで、フリストンは　自由エネルギー原理が[[反証可能性|反証]]の対象ではないということを以下のように説明した：<ref name=":54">{{Cite journal|last=Friston|first=Karl|date=2018|title=Of woodlice and men: A Bayesian account of cognition, life and consciousness. An interview with Karl Friston (by Martin Fortier & Daniel Friedman)|url=https://www.aliusresearch.org/bulletin02.html|journal=ALIUS Bulletin|volume=2|pages=17–43}}</ref><blockquote>私はここで基本的な区別をしておくことが有用だと思います。この区別は、言明と過程の理論との違いなのです；つまり、物事が従うかもしれない規範的な原理と、その原理がどのように実現されるかについての過程の理論すなわち仮説との違いなのです。

この区別の下では、自由エネルギー原理は{{仮リンク|予測符号化|en|Predictive coding}}やベイズ脳仮説などとは全く別のものです。なぜなら自由エネルギー原理は'''[[原理]]'''だからです。ハミルトンの[[最小作用の原理]]のように、この原理も反証できず、否定できません。

実際、それに対してできることはあまりなく、測定可能なシステムがこの原理に従うかどうか問う以外にはありません。一方で、脳がベイズ推定や予測符号化のような形で行動するという仮説は、まさに仮説であり、経験的証拠で支持されることもあれば、されないこともあります。</blockquote>経験的な証拠に支持された、このような仮説の例は多い。<ref name=":3">{{Cite book |last=Friston |first=Karl |date=2022 |title=Active Inference: The Free Energy Principle in Mind, Brain, and Behavior |publisher=MIT Press |isbn=9780262045353 |url=https://books.google.com/books?id=KXZ_zgEACAAJ&q=Table+9.1}}</ref>

== 背景 ==
細胞や脳のような[[自己組織化]]する生体システムは、変分自由エネルギーを最小化するものとして理解できる という考え方は、[[ヘルマン・フォン・ヘルムホルツ|ヘルムホルツ]]の{{仮リンク|無意識的推論|en|Unconcious inference}}に関する研究<ref name="Helmholtz">Helmholtz, H. (1866/1962). Concerning the perceptions in general. In Treatise on physiological optics (J. Southall, Trans., 3rd ed., Vol. III). New York: Dover. Available at https://web.archive.org/web/20180320133752/http://poseidon.sunyopt.edu/BackusLab/Helmholtz/</ref>や、その後の 心理学<ref name=":4">{{cite journal|last1=Gregory|first1=R. L.|date=1980-07-08|title=Perceptions as hypotheses|journal=Philosophical Transactions of the Royal Society of London. B, Biological Sciences|volume=290|issue=1038|pages=181–197|bibcode=1980RSPTB.290..181G|doi=10.1098/rstb.1980.0090|jstor=2395424|pmid=6106237|doi-access=}}</ref>および 機械学習<ref name="Dayan">{{cite journal|last1=Dayan|first1=Peter|last2=Hinton|first2=Geoffrey E.|last3=Neal|first3=Radford M.|last4=Zemel|first4=Richard S.|year=1995|title=The Helmholtz Machine|url=http://www.gatsby.ucl.ac.uk/~dayan/papers/hm95.pdf|journal=Neural Computation|volume=7|issue=5|pages=889–904|doi=10.1162/neco.1995.7.5.889|hdl=21.11116/0000-0002-D6D3-E|pmid=7584891|s2cid=1890561|hdl-access=free}}</ref>における研究に基づいている。変分自由エネルギーは、観測値群と、それらの隠れた原因に対する確率密度の 関数である。この[[変分法 (解析力学)|変分]]確率密度は、仮定された原因から観測結果を予測して生成する確率モデルに関連して定義される。この文脈において、自由エネルギーは{{仮リンク|周辺尤度|en|Marginal likelihood|label=周辺尤度（ベイズ的証拠）}}の近似を提供する。<ref name=":5">Beal, M. J. (2003). [http://www.cse.buffalo.edu/faculty/mbeal/papers/beal03.pdf Variational Algorithms for Approximate Bayesian Inference]. Ph.D. Thesis, University College London.</ref> したがって、その最小化はベイズ推論プロセスと見なすことができる。システムが自由エネルギーを最小化するために能動的に観測を行うとき、それは暗に能動的推論を実行し、自身の世界モデルの証拠を最大化する。

しかしながら、自由エネルギーは結果の[[情報量#自己情報量|'''自己情報量''']]の上界でもあり、'''驚き'''<ref group="訳注">英文Wikipediaでは、自己情報量(self-information)と驚き(surprisal, 情報科学上のsurprise)は、同じ記事にリンクしている。</ref>の長期的平均はエントロピーである。これは、自由エネルギーの最小化を行うとき、システムは、サンプリングした結果（または感覚状態）のエントロピーの上界を（暗に）置くことになることを意味している。<ref name="Towards a Geometry and Analysis for">{{cite arXiv|eprint=2204.11900|class=math-ph|last1=Sakthivadivel|first1=Dalton|title=Towards a Geometry and Analysis for Bayesian Mechanics|year=2022}}</ref><ref name="On Bayesian mechanics: A physics of">{{cite journal|last1=Ramstead|first1=Maxwell|last2=Sakthivadivel|first2=Dalton|last3=Heins|first3=Conor|last4=Koudahl|first4=Magnus|last5=Millidge|first5=Beren|last6=Da Costa|first6=Lancelot|last7=Klein|first7=Brennan|last8=Friston|first8=Karl|year=2023|title=On Bayesian mechanics: A physics of and by beliefs|journal=Interface Focus|volume=13|issue=3|arxiv=2205.11543|doi=10.1098/rsfs.2022.0029|pmc=10198254|pmid=37213925|s2cid=249017997}}</ref>

=== 他の理論との関係 ===
能動的推論は、{{仮リンク|良いレギュレーター定理|en|Good reguretor theorem}}<ref name=":6">{{cite journal|last1=Conant|first1=Roger C.|last2=Ross Ashby|first2=W.|year=1970|title=Every good regulator of a system must be a model of that system|journal=International Journal of Systems Science|volume=1|issue=2|pages=89–97|doi=10.1080/00207727008920220}}</ref>や、[[自己組織化]]に関する報告<ref name=":7">Kauffman, S. (1993). [https://books.google.com/books?id=lZcSpRJz0dgC&dq=%22The+Origins+of+Order%3A+Self-Organization+and+Selection+in+Evolution%22&pg=PR13 The Origins of Order: Self-Organization and Selection in Evolution]. Oxford: Oxford University Press.</ref><ref name=":8">Nicolis, G., & Prigogine, I. (1977). Self-organization in non-equilibrium systems. New York: John Wiley.</ref>と密接に関連している。自己組織化に関する報告には、[[自己集合]]、{{仮リンク|パターン形成|en|Pattern formation}}、[[オートポイエーシス]]<ref name=":9">Maturana, H. R., & Varela, F. (1980). [http://topologicalmedialab.net/xinwei/classes/readings/Maturana/autopoesis_and_cognition.pdf Autopoiesis: the organization of the living]. In V. F. Maturana HR (Ed.), Autopoiesis and Cognition. Dordrecht, Netherlands: Reidel.</ref>、および{{仮リンク|プラクトポイエーシス|en|Practopoiesis}}<ref name=":10">{{cite journal|last1=Nikolić|first1=Danko|year=2015|title=Practopoiesis: Or how life fosters a mind|journal=Journal of Theoretical Biology|volume=373|pages=40–61|arxiv=1402.5332|bibcode=2015JThBi.373...40N|doi=10.1016/j.jtbi.2015.03.003|pmid=25791287|s2cid=12680941}}</ref>が含まれる。能動的推論は、[[サイバネティックス]]、{{仮リンク|シナジェティクス（物理）|en|Synergetics (Haken)}}<ref name=":11">Haken, H. (1983). Synergetics: An introduction. Non-equilibrium phase transition and self-organisation in physics, chemistry and biology (3rd ed.). Berlin: Springer Verlag.</ref>、および[[身体化された認知]]で検討されたテーマを扱っている。

自由エネルギーは、ある変分確率密度の下で観測が期待されるエネルギーから、そのエントロピーを引いた形で表せるので、[[最大エントロピー原理]]とも関連がある。<ref name=":12">{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/etj/articles/theory.1.pdf|journal=Physical Review|volume=106|issue=4|pages=620–630|bibcode=1957PhRv..106..620J|doi=10.1103/PhysRev.106.620|s2cid=17870175}}</ref>さらに、エネルギーの時間平均<ref group="訳注">時間積分の誤りか？</ref>は'''[[作用 (物理学)|作用]]'''になるため、'''最小変分自由エネルギー原理'''は 結局のところ、'''[[最小作用の原理]]'''である。

スケール不変性を可能にする能動的推論は、他の理論や分野にも応用されている。例えば、[[社会学]]<ref name=":13">{{Cite journal|last1=Veissière|first1=Samuel P. L.|last2=Constant|first2=Axel|last3=Ramstead|first3=Maxwell J. D.|last4=Friston|first4=Karl J.|last5=Kirmayer|first5=Laurence J.|date=2020|title=Thinking through other minds: A variational approach to cognition and culture|url=https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/abs/thinking-through-other-minds-a-variational-approach-to-cognition-and-culture/9A10399BA85F428D5943DD847092C14A|journal=Behavioral and Brain Sciences|volume=43|pages=e90|language=en|doi=10.1017/S0140525X19001213|issn=0140-525X|pmid=31142395|s2cid=169038428}}</ref><ref name=":14">{{Cite journal|last1=Ramstead|first1=Maxwell J. D.|last2=Constant|first2=Axel|last3=Badcock|first3=Paul B.|last4=Friston|first4=Karl J.|date=2019-12-01|title=Variational ecology and the physics of sentient systems|journal=Physics of Life Reviews|volume=31|pages=188–205|language=en|bibcode=2019PhLRv..31..188R|doi=10.1016/j.plrev.2018.12.002|issn=1571-0645|pmc=6941227|pmid=30655223|series=Physics of Mind}}</ref><ref name=":15">{{Cite journal|last1=Albarracin|first1=Mahault|last2=Demekas|first2=Daphne|last3=Ramstead|first3=Maxwell J. D.|last4=Heins|first4=Conor|date=April 2022|title=Epistemic Communities under Active Inference|journal=Entropy|volume=24|issue=4|pages=476|language=en|bibcode=2022Entrp..24..476A|doi=10.3390/e24040476|issn=1099-4300|pmc=9027706|pmid=35455140|doi-access=free}}</ref><ref name=":16">{{Cite journal|last1=Albarracin|first1=Mahault|last2=Constant|first2=Axel|last3=Friston|first3=Karl J.|last4=Ramstead|first4=Maxwell James D.|date=2021|title=A Variational Approach to Scripts|journal=Frontiers in Psychology|volume=12|page=585493|doi=10.3389/fpsyg.2021.585493|issn=1664-1078|pmc=8329037|pmid=34354621|doi-access=free}}</ref>、[[言語学]]およびコミュニケーション<ref name=":17">{{Cite journal|last1=Friston|first1=Karl J.|last2=Parr|first2=Thomas|last3=Yufik|first3=Yan|last4=Sajid|first4=Noor|last5=Price|first5=Catherine J.|last6=Holmes|first6=Emma|date=2020-11-01|title=Generative models, linguistic communication and active inference|journal=Neuroscience & Biobehavioral Reviews|volume=118|pages=42–64|language=en|doi=10.1016/j.neubiorev.2020.07.005|issn=0149-7634|pmc=7758713|pmid=32687883}}</ref><ref name=":18">{{Cite journal|last1=Tison|first1=Remi|last2=Poirier|first2=Pierre|date=2021-10-02|title=Communication as Socially Extended Active Inference: An Ecological Approach to Communicative Behavior|url=https://doi.org/10.1080/10407413.2021.1965480|journal=Ecological Psychology|volume=33|issue=3–4|pages=197–235|doi=10.1080/10407413.2021.1965480|issn=1040-7413|s2cid=238703201}}</ref><ref name=":19">{{Cite journal|last1=Friston|first1=Karl J.|last2=Frith|first2=Christopher D.|date=2015-07-01|title=Active inference, communication and hermeneutics|journal=Cortex|volume=68|pages=129–143|language=en|doi=10.1016/j.cortex.2015.03.025|issn=0010-9452|pmc=4502445|pmid=25957007|series=Special issue: Prediction in speech and language processing}}</ref>、[[記号学]]<ref name=":20">{{Cite journal|last=Kerusauskaite|first=Skaiste|date=2023-06-01|title=Role of Culture in Meaning Making: Bridging Semiotic Cultural Psychology and Active Inference|url=https://doi.org/10.1007/s12124-022-09744-x|journal=Integrative Psychological and Behavioral Science|volume=57|issue=2|pages=432–443|language=en|doi=10.1007/s12124-022-09744-x|issn=1936-3567|pmid=36585542|s2cid=255366405}}</ref><ref name=":21">{{Cite book |last1=García |first1=Adolfo M. |url=https://books.google.com/books?id=hPCKEAAAQBAJ&dq=active+inference+semiotics&pg=PT90 |title=The Routledge Handbook of Semiosis and the Brain |last2=Ibáñez |first2=Agustín |date=2022-11-14 |publisher=Taylor & Francis |isbn=978-1-000-72877-4 |language=en}}</ref>、[[疫学]]<ref name=":22">{{Cite journal|last1=Bottemanne|first1=Hugo|last2=Friston|first2=Karl J.|date=2021-12-01|title=An active inference account of protective behaviours during the COVID-19 pandemic|url=https://doi.org/10.3758/s13415-021-00947-0|journal=Cognitive, Affective, & Behavioral Neuroscience|volume=21|issue=6|pages=1117–1129|language=en|doi=10.3758/s13415-021-00947-0|issn=1531-135X|pmc=8518276|pmid=34652601}}</ref>など、多様な領域で適用されている。

また、負の自由エネルギーは、{{仮リンク|エビデンス下限|en|Evidence lower bound}}と数学的に等価である。これは、[[機械学習]]において[[変分オートエンコーダー|変分オートエンコーダ]]などの[[生成的モデル|生成モデル]]を教育する際に広く使用される。

== 行動と知覚 ==
[[ファイル:MarokovBlanketFreeEnergyFigure.jpg|代替文=These schematics illustrate the partition of states into internal and hidden or external states that are separated by a Markov blanket – comprising sensory and active states. The lower panel shows this partition as it would be applied to action and perception in the brain; where active and internal states minimise a free energy functional of sensory states. The ensuing self-organisation of internal states then correspond perception, while action couples brain states back to external states. The upper panel shows exactly the same dependencies but rearranged so that the internal states are associated with the intracellular states of a cell, while the sensory states become the surface states of the cell membrane overlying active states (e.g., the actin filaments of the cytoskeleton).|サムネイル|500x500ピクセル|図1: これらの模式図は、状態を'''内部状態(Internal states)''' <math>\mu(t)</math> と'''外部状態(External [Hidden, Latent] states)'''  <math>\psi(t)</math> （隠れた潜在状態）に分割し、それらが'''マルコフブランケット'''によって分離されることを示している。'''マルコフブランケット'''は、'''感覚状態''' <math>s(t)</math> と'''行動状態''' <math>a(t)</math> から構成される。　上段の図は、まったく同じ依存関係を示しているが、細胞にあてはまるように配置し直されている。ここでは、'''内部状態'''が細胞内側の状態に対応し、'''感覚状態'''は細胞膜の表面状態となり、そのすぐ内側に'''行動状態'''（例：細胞骨格のアクチンフィラメント）が存在する形になっている。　下段の図は、この分割が脳における'''行動'''と'''知覚'''に適用される様子を示している。ここでは、'''行動状態'''(Active states, 図中ではAction)と'''内部状態'''(Internal states)が、'''感覚状態'''(sensory states, 図中ではSensation)に関する'''自由エネルギー汎関数を最小化'''する。続いて起こる、'''内部状態'''の'''自己組織化'''が'''知覚'''に対応し、'''行動'''(Action)は脳の状態を'''外部状態'''へと戻す形で結びつける役割を果たす。]]
'''能動的推論'''は、[[生成的モデル]]から得られる'''感覚'''データの'''原因'''を、{{仮リンク|近似ベイズ計算|en|Approximate Bayesian computation|label=近似ベイズ推論}}の手法を適用して'''推論'''し、それらの推論の結果を'''行動'''の指針として用いる。

[[ベイズの定理]]は、このような因果モデルの確率論的に最適な反転（結果から原因を推定すること）を定式化するが、その適用は一般に計算的に困難である。そのため、実用的には近似的な手法が用いられることが多い。

'''能動的推論'''においては、こうした近似手法の中でも[[変分法 (解析力学)|変分法]]が主要な役割を果たす。これは実践的および理論的な理由によるものである。実践的な理由として、変分法はしばしば単純な推論手続きを提供する点が挙げられる。一方、理論的な理由として、この手法が上記で説明したような物理学の基本原理と関連している点がある。

これらの変分法は、ベイズ最適推論（または[[事後確率]]）とその近似との 違い の 上限 を最小化することで進んでいく。この上限は自由エネルギーとして知られている。この概念に基づき、'''知覚'''は、入力される'''感覚情報'''について'''自由エネルギーを最小化する過程'''として特徴づけることができる。一方、'''行動'''は、出力される'''行動情報'''について同じ'''自由エネルギーを最小化する過程'''として捉えることができる。

このような全体として双対な最適化は、'''能動的推論'''の特徴である。そして、自由エネルギー原理は、「'''知覚'''し、'''行動'''するすべてのシステムは、この方法で記述できる」という仮説である。<ref group="訳注">概要の節で、自由エネルギー原理は原理であって仮説ではない　と述べているので、矛盾があります。どちらをとるのが正しいか不明なので、原文通りに訳しておきます。今後の編集により矛盾が解消することを期待します。</ref>

=== 生成モデルの定義 ===
自由エネルギー原理を通じて'''能動的推論'''の仕組みを具体的に説明するためには、'''生成モデル'''を明確に定義する必要がある。この'''生成モデル'''は、複数の[[確率密度関数]]を含み、それらが組み合わされて因果モデルを特徴づける。

その一例として次のように定義される。

==== 状態空間： ====
システムは状態空間 <math>X</math> に存在するものとしてモデル化される。これは、システムのある状態はこの空間の点として表わされるという意味である。次に、この状態空間は以下のように因子分解される：

<math>X = \Psi\times S\times A\times R</math>　

ここで、

* <math>\Psi</math>  は、エージェントにとって「隠された」'''外部状態'''の空間であり、この状態には直接的な知覚やアクセスができない。
* <math>S</math> は、エージェントが直接知覚する'''感覚状態'''の空間である。
* <math>A</math> は、エージェントが取りうる'''行動'''の空間である。
* <math>R</math> は、エージェントにとって'''内部状態'''の空間であり、外部には公開されない。

図1に従い、以後 <math>\dot{\psi}, \psi, s, a</math> と <math>\mu</math> は（連続な）時間 <math>t</math> の関数であることに注意する。'''生成モデル'''は次に示す確率密度関数によって具体的に定義される。

==== '''感覚モデル:''' ====
<math>p_S:S \times \Psi\times A \to \mathbb{R}</math>　　これは通常次の ように記述される：　<math>p_S(s \mid \psi, a)</math>

この関数は、'''外部状態''' <math>\psi</math> と'''行動''' <math>a</math> を所与として感覚データ <math>s</math> の確からしさ([[尤度関数|尤度]])を特徴づける。

==== '''環境動態の確率モデル''': ====
<math>p_\Psi: \Psi \times \Psi \times A \to \mathbb{R}</math>　　これは通常、以下のように記述される：<math>p_\Psi(\dot{\psi} \mid \psi, a)</math>

この関数は、エージェントの'''行動''' a を所与として、'''外部状態''' ψ が時間 t においてどのように変化すると予測されるかを特徴づける。

==== '''行動モデル''': ====
<math>p_A: A \times R \times S \to \mathbb{R}</math>　　これは以下のように記述される：　<math>p_A(a \mid \mu, s)</math>

この関数は、エージェントの'''行動''' <math>
a</math> が'''、内部状態''' <math>\mu</math> と'''感覚'''データ <math>s</math> にどのように依存するかを特徴づける。

==== '''内部状態モデル''': ====
<math>p_R: R \times S \to \mathbb{R}</math>　　これは以下のように記述される：　<math>p_R(\mu \mid s)</math>

この関数は、エージェントの'''内部状態''' <math>\mu</math> が'''感覚'''データ <math>s</math> にどのように依存するかを特徴づける。

==== 結合モデル： ====
これらの確率密度関数は、「結合モデル」の要素を決定する。この結合モデルは、'''生成モデル'''の完全な仕様を表すものであり、次のように記述される：　<math>p(\dot{\psi}, s, a, \mu \mid \psi) = p_S(s \mid \psi, a)p_\Psi(\dot{\psi} \mid \psi, a)p_A(a \mid \mu, s)p_R(\mu \mid s)</math>.

=== 能動的推論 ===

==== 事後確率密度 ====
次に、ベイズの定理 に基づき、「[[事後確率]]密度」 <math>p _{\text{Bayes}}(\dot{\psi} | s, a, \mu, \psi)</math>  が決定される。この事後確率密度は、直前の'''外部状態''' <math>\psi</math> と、エージェントの'''行動''' <math>a</math>、'''感覚'''信号 <math>s</math>、および'''内部状態''' <math>\mu</math> を所与として、'''外部状態''' <math>\dot{\psi}</math> に関する確率論的に最適な'''信念'''を表す。

しかし、この事後確率密度 <math>p_{\text{Bayes}}</math>の厳密な計算は手に負えないほど困難であるため、自由エネルギー原理では、 <math>p_{\text{Bayes}}</math> の近似となる「変分確率密度」<math>q(\dot{\psi} | s, a, \mu, \psi)</math> の存在を仮定する。

==== 自由エネルギー ====
このとき、自由エネルギー は以下のように定義される。

: <math>\begin{align}
\underset{\mathrm{free-energy}} {\underbrace{F(\mu, a\, ; s)}} &= \underset{\text{expected energy}} {\underbrace{ \mathbb{E}_{q(\dot{\psi})}[-\log p(\dot{\psi}, s, a, \mu \mid \psi)]}} - \underset{\mathrm{entropy}} {\underbrace{ \mathbb{H}[q(\dot{\psi} \mid s, a, \mu, \psi)]}}\\
&= \underset{\mathrm{surprise}} {\underbrace{ -\log p(s)}} + \underset{\mathrm{divergence}} {\underbrace{ \mathbb{KL}[q(\dot{\psi} \mid s, a, \mu, \psi) \parallel p_{\text{Bayes}}(\dot{\psi} \mid s, a, \mu, \psi)]}} \\
&\geq \underset{\mathrm{surprise}} {\underbrace{ -\log p(s)}}
\end{align}</math>

この式は、

'''自由エネルギー (free-energy)''' が、'''期待エネルギー (expected energy)''' から '''エントロピー (entropy)''' を 引いたものとして表されることを示しており、また、自由エネルギーを

* '''驚き（surprise）'''：　<math>-\log p(s)</math>　（感覚データ <math>s</math> の対数尤度の負の値）
* [[カルバック・ライブラー情報量|'''カルバック・ライブラー（KL）発散''']] (divergence)：　<math>\mathbb{KL}[ q \parallel p_{\text{Bayes}} ]</math> （変分確率密度 <math>q</math> とベイズ事後確率 <math>p_{\text{Bayes}}</math> との違いの尺度）

の和として表わすこともできることを示している。　

=== 行動と知覚 ===
そして、'''行動'''と'''知覚'''は、次のような同時最適化問題として定義される。

: <math>\begin{align}
    \mu^* &= \underset{\mu}{\operatorname{arg\,min}} \{ F(\mu, a \,;\, s)) \} \\
    a^*   &= \underset{a}{\operatorname{arg\,min}}   \{ F(\mu^*, a \,;\, s) \}
\end{align}</math>
:* '''内部状態''' <math>  \mu</math> の最適値 <math>  \mu^*</math> は、自由エネルギー <math>F</math> を最小化する <math>  \mu</math> の値として決定される。
:* '''行動''' <math>a</math> の最適値 <math>a^*</math> は、最適な'''内部状態''' <math>  \mu^*</math> を所与とした上で、自由エネルギー <math>F</math> を最小化する <math>a</math> の値として決定される。

ここで、'''内部状態''' <math>\mu</math> は通常、変分確率密度 <math>q</math> のパラメーター群を符号化したものとみなされる。したがって、'''内部状態は'''、'''外部状態'''  <math>\Psi</math> についての'''事後信念'''に関する'''エージェントの最良の推測'''  を表すものとみなされる。

自由エネルギーは、エージェントの（ぎりぎり または 平均的な）感覚的'''驚き'''の上限でもあることに注意する。したがって、自由エネルギーの最小化は、'''驚き'''の最小化という観点からも動機づけられる。

== 自由エネルギーの最小化 ==

=== 自由エネルギーの最小化と自己組織化 ===
自己組織化システムが{{仮リンク|ランダム力学系|en|Random dynamical system|label=ランダム力学システム}}とみなせる場合、自由エネルギーの最小化がその特徴的な性質となる　という見方が提案されている。<ref name=":23">{{cite journal|last1=Crauel|first1=Hans|last2=Flandoli|first2=Franco|year=1994|title=Attractors for random dynamical systems|url=https://www.researchgate.net/publication/227072665|journal=Probability Theory and Related Fields|volume=100|issue=3|pages=365–393|doi=10.1007/BF01193705|s2cid=122609512|doi-access=free}}</ref>　この枠組みは、'''行動'''と'''感覚状態'''を含む{{仮リンク|マルコフ・ブランケット|en|Markov Blanket}}に基づいており、マルコフブランケットは'''内部状態'''と'''外部状態'''を分離する役割を果たすものである。　もし'''内部状態'''と'''行動'''が自由エネルギーを最小化するならば、それは感覚状態のエントロピーの上限を設定することになる：

: <math> \lim_{T\to\infty} \frac{1}{T} \underset{\text{free-action}} {\underbrace{\int_0^T F(s(t),\mu (t))\,dt}}  \ge
\lim_{T\to\infty} \frac{1}{T} \int_0^T \underset{\text{surprise}}{\underbrace{-\log p(s(t)\mid m)}} \, dt = H[p(s\mid m)] </math>

これは、[[エルゴード性]]の仮定のもとでは、長期的な'''驚き'''の平均がエントロピーと等しくなるためである。この上限は、（[[熱力学第二法則]] や [[ゆらぎの定理]]に関連付けられた）無秩序への自然な傾向に対抗する。

　しかしながら、生命科学における統一原理を、ランダム力学系、非平衡定常状態、およびエルゴード性といった統計物理学の概念に基づいて定式化することは、生物システムを理論的・実証的に研究する上で重大な制約を課すことになる。その結果、生物システムを単なる自己組織化システムの中でも興味深いものとしている特性が、見えにくくなるというリスクが伴う。<ref name=":24">{{cite journal|last1=Colombo|first1=Matteo|last2=Palacios|first2=Patricia|year=2021|title=Non-equilibrium thermodynamics and the free energy principle in biology|journal=Biology & Philosophy|volume=36|issue=5|doi=10.1007/s10539-021-09818-x|s2cid=235803361|doi-access=free}}</ref>

=== 自由エネルギーの最小化とベイズ推論 ===
すべてのベイズ推論は、自由エネルギーの最小化という観点から記述できる。<ref name=":25">{{cite journal|last1=Roweis|first1=Sam|last2=Ghahramani|first2=Zoubin|year=1999|title=A Unifying Review of Linear Gaussian Models|url=http://authors.library.caltech.edu/13697/1/ROWnc99.pdf|journal=Neural Computation|volume=11|issue=2|pages=305–345|doi=10.1162/089976699300016674|pmid=9950734|s2cid=2590898}}</ref>{{Failed verification|date=April 2020}}自由エネルギーが内部状態について最小化されるとき、'''隠れ状態'''（外部状態）上で、変分確率密度と事後確率密度の間の[[カルバック・ライブラー情報量|カルバック・ライブラー（KL）発散]]が 最小化される。これは、変分確率密度の式が固定されている場合には近似的な[[ベイズ推定|ベイズ推論]]となり、そうでない場合には厳密なベイズ推論　となる。

したがって、自由エネルギーの最小化は、ベイズ推論やフィルタリング（例：[[カルマンフィルター]]）を包括的に記述する方法を提供する。また、自由エネルギーの最小化は、ベイズ{{仮リンク|モデル選択|en|Model selection}}にも応用され、自由エネルギー(free-energy) は '''複雑さ''' (complexity) と '''正確さ''' (accuracy) の差に分解できる：

: <math> \underset{\text{free-energy}} {\underbrace{ F(s,\mu)}} = \underset{\text{complexity}} {\underbrace{ D_\mathrm{KL}[q(\psi\mid\mu)\parallel p(\psi\mid m)]}} - \underset{\mathrm{accuracy}} {\underbrace{E_q[\log p(s\mid\psi,m)]}}</math>

最小自由エネルギーを持つモデルは、（'''複雑さ'''のコスト（例：[[オッカムの剃刀]] や、より形式的な計算コストの取り扱い<ref name=":26">{{cite journal|last1=Ortega|first1=Pedro A.|last2=Braun|first2=Daniel A.|year=2013|title=Thermodynamics as a theory of decision-making with information-processing costs|url=http://rspa.royalsocietypublishing.org/content/469/2153/20120683|journal=Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences|volume=469|issue=2153|arxiv=1204.6481|bibcode=2013RSPSA.46920683O|doi=10.1098/rspa.2012.0683|s2cid=28080508}}</ref>　などを参照）の下ではあるが、）データを精密に説明する。ここで、'''複雑さ''' とは、ある'''隠れ状態'''の下で '''変分確率密度'''と '''事前信念''' の間の相違である。すなわちこれは、データを説明するために使用される有効自由度 である<ref group="訳注">意味不明。以下の訳。 Here, complexity is the divergence between the variational density and prior beliefs about hidden states (i.e., the effective degrees of freedom used to explain the data).</ref>。

=== 自由エネルギーの最小化と熱力学 ===
変分自由エネルギーは、情報理論的な関数であり、熱力学的な（[[ヘルムホルツ]]）[[自由エネルギー]]とは異なる<ref name=":27">{{cite journal|last1=Evans|first1=Denis J.|year=2003|title=A non-equilibrium free energy theorem for deterministic systems|url=http://rscweb.anu.edu.au/~evans/papers/NEFET.pdf|journal=Molecular Physics|volume=101|issue=10|pages=1551–1554|bibcode=2003MolPh.101.1551E|doi=10.1080/0026897031000085173|s2cid=15129000}}</ref>。しかし、変分自由エネルギーの '''複雑さ''' 項は、ヘルムホルツ自由エネルギーと同じ不動点を持つ（ただし、システムが熱力学的に閉じているが孤立していないと仮定した場合である）。その理由は、感覚的な外乱が（十分に長い時間にわたって）止められると、'''複雑さ''' が最小化されるためである（なぜなら、'''正確さ''' が無視できるからである<ref group="訳注">意味不明。原文は (because accuracy can be neglected)</ref>）。このとき、システムは平衡状態 にあり、{{仮リンク|最小エネルギー原理|en|Principle of minimum energy}} に従って内部状態はヘルムホルツ自由エネルギーを最小化する<ref name=":28">{{cite journal|last1=Jarzynski|first1=C.|year=1997|title=Nonequilibrium Equality for Free Energy Differences|journal=Physical Review Letters|volume=78|issue=14|pages=2690–2693|arxiv=cond-mat/9610209|bibcode=1997PhRvL..78.2690J|doi=10.1103/PhysRevLett.78.2690|s2cid=16112025}}</ref>。

=== 自由エネルギーの最小化と情報理論 ===
自由エネルギーの最小化は、'''感覚状態'''と、（エントロピーが固定されている場合の）変分確率分布のパラメーターとしての'''内部状態'''との間の、'''[[相互情報量]]'''を最大化することと等価である。これは、自由エネルギーの最小化が「最小冗長性原理」と関連していることを示す<ref name=":29">{{cite arXiv|eprint=2204.11900|class=math-ph|last1=Sakthivadivel|first1=Dalton|title=Towards a Geometry and Analysis for Bayesian Mechanics|year=2022}}</ref><ref name="On Bayesian mechanics: A physics of" />。

== 神経科学における自由エネルギー最小化 ==
自由エネルギーの最小化は、不確実性のもとで神経が'''推論'''や'''学習'''を行うことを、標準（ベイズ最適）モデルとして定式化するための有用な方法である<ref name=":30">{{cite journal|last1=Friston|first1=Karl|year=2010|title=The free-energy principle: A unified brain theory?|url=http://www.fil.ion.ucl.ac.uk/~karl/The%20free-energy%20principle%20A%20unified%20brain%20theory.pdf|journal=Nature Reviews Neuroscience|volume=11|issue=2|pages=127–138|doi=10.1038/nrn2787|pmid=20068583|s2cid=5053247}}</ref>。したがって、自由エネルギーの最小化は{{仮リンク|脳機能へのベイズ的取り組み|en|Bayesian approaches to brain function|label=ベイズ脳仮説}}を支持する<ref name=":31">{{cite journal|last1=Knill|first1=David C.|last2=Pouget|first2=Alexandre|year=2004|title=The Bayesian brain: The role of uncertainty in neural coding and computation|url=http://mrl.isr.uc.pt/pub/bscw.cgi/d27540/ReviewKnillPouget2.pdf|journal=Trends in Neurosciences|volume=27|issue=12|pages=712–719|doi=10.1016/j.tins.2004.10.007|pmid=15541511|s2cid=9870936|access-date=2013-05-31|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304044221/http://mrl.isr.uc.pt/pub/bscw.cgi/d27540/ReviewKnillPouget2.pdf|url-status=dead}}</ref>。自由エネルギーの最小化によって記述される神経過程<ref group="訳注">原文の　"neuronal process": 神経（ニューロンの）突起 を、 "neural process":  神経の過程 の誤りとみて訳しました。</ref>は、以下のような'''隠れ状態'''の性質に依存する：

<math> \Psi = X \times \Theta \times \Pi </math>

これは、時間に依存する'''変数'''と、時間不変な'''パラメーター'''と、確率的変動の'''精度'''（すなわち逆分散または温度）から成る。'''変数での最小化'''、'''パラメーターでの最小化'''、および '''精度での最小化''' は、それぞれ '''推論'''、'''学習'''、'''不確実性の符号化''' に対応する。

=== 知覚推論とカテゴリー化 ===
自由エネルギーの最小化は、知覚における {{仮リンク|無意識の推論|en|Unconscious inference|label=無意識の推論}} の概念を形式化し<ref name="Helmholtz" /><ref name="Dayan" />、神経細胞による処理（neuronal processing）に関する標準（ベイズ的）理論 を提供する。

ニューロンの動態（neuronal dynamics）の関連過程理論（associated process theory）は、自由エネルギーを[[勾配降下法]] によって最小化することに基づいている。これは、{{仮リンク|一般化フィルター|en|Generalized filtering|label=一般化ベイズ・フィルタリング}}（generalised Bayesian filtering）に対応する（ここで、~　は [[一般化座標系|一般化運動座標]]の変数を、<math>D</math> は 微分行列演算子 を表す）：<ref name=":32">{{cite journal|last1=Friston|first1=Karl|last2=Stephan|first2=Klaas|last3=Li|first3=Baojuan|last4=Daunizeau|first4=Jean|year=2010|title=Generalised Filtering|journal=Mathematical Problems in Engineering|volume=2010|pages=1–34|doi=10.1155/2010/621670|doi-access=free}}</ref>

: <math>\dot{\tilde{\mu}} = D \tilde{\mu} - \partial_{\mu}F(s,\mu)\Big|_{\mu = \tilde{\mu}}</math>

通常、自由エネルギーを定義する 生成モデル は、非線形 かつ （脳の[[大脳皮質#層構造|皮質の階層]]と似て）階層的 である。

一般化フィルタリング の特別なケースには、[[カルマンフィルター]] が含まれる。これは、{{仮リンク|予測符号化|en|Predictive coding|label=予測符号化}} と形式的に等価であり<ref name=":33">{{cite journal|last1=Knill|first1=David C.|last2=Pouget|first2=Alexandre|year=2004|title=The Bayesian brain: The role of uncertainty in neural coding and computation|url=https://www.cs.utexas.edu/users/dana/nn.pdf|journal=Trends in Neurosciences|volume=27|issue=12|pages=712–719|doi=10.1016/j.tins.2004.10.007|pmid=15541511|s2cid=9870936}}</ref>、脳内でのメッセージ伝達の例えとしてよく知られている。

階層モデルのもとで、予測符号化には 上向き（ボトムアップ）の予測誤差 および 下向き（トップダウン）の予測の回帰的な交換が 伴う<ref name="Mumford">{{cite journal|last1=Mumford|first1=D.|year=1992|title=On the computational architecture of the neocortex|url=http://cs.brown.edu/people/tld/projects/cortex/course/suggested_reading_list/supplements/documents/MumfordBC-92.pdf|journal=Biological Cybernetics|volume=66|issue=3|pages=241–251|doi=10.1007/BF00198477|pmid=1540675|s2cid=14303625}}</ref>。このメカニズムは、'''感覚系'''<ref name=":34">{{cite journal|last1=Bastos|first1=Andre M.|last2=Usrey|first2=W. Martin|last3=Adams|first3=Rick A.|last4=Mangun|first4=George R.|last5=Fries|first5=Pascal|last6=Friston|first6=Karl J.|year=2012|title=Canonical Microcircuits for Predictive Coding|journal=Neuron|volume=76|issue=4|pages=695–711|doi=10.1016/j.neuron.2012.10.038|pmc=3777738|pmid=23177956}}</ref> と '''運動器系'''<ref name=":35">{{cite journal|last1=Adams|first1=Rick A.|last2=Shipp|first2=Stewart|last3=Friston|first3=Karl J.|year=2013|title=Predictions not commands: Active inference in the motor system|journal=Brain Structure and Function|volume=218|issue=3|pages=611–643|doi=10.1007/s00429-012-0475-5|pmc=3637647|pmid=23129312}}</ref> の解剖学的・生理学的構造と一致している。

=== 知覚学習と記憶 ===
予測符号化 において、自由エネルギー（自由行動<ref group="訳注">この文脈での意味不明。</ref>）の時間積分に対し、勾配降下法 を用いてモデルパラメーターの最適化をすることは、連合性可塑性（associative plasticity） または[[ヘッブの法則|ヘッブ的可塑性]]（Hebbian plasticity）に帰着し、脳における[[シナプス可塑性]]（synaptic plasticity） と関連している。

=== 知覚の精度、注意、顕著性 ===
精度パラメーター（precision parameters）の最適化は、'''予測誤差'''のゲインの最適化に対応する（例えば、[[カルマンフィルター#カルマンゲインの導出|カルマンゲイン]]）。神経生理学的に妥当な予測符号化の実装<ref name="Mumford" />では、この最適化は、浅層[[錐体細胞 (神経細胞)|錐体細胞]]（superficial pyramidal cells）の{{仮リンク|膜電位#細胞興奮性|en|Membrane potential#Cell excitability|label=興奮性（英語版）}}の最適化に対応し、[[注意#生理学における注意|'''注意''']]のゲイン（attentional gain）<ref name="Feldman">{{cite journal|last1=Friston|first1=Karl J.|last2=Feldman|first2=Harriet|year=2010|title=Attention, Uncertainty, and Free-Energy|journal=Frontiers in Human Neuroscience|volume=4|page=215|doi=10.3389/fnhum.2010.00215|pmc=3001758|pmid=21160551|doi-access=free}}</ref>として解釈されている。
[[ファイル:PESAIM.jpg|サムネイル|複数の対象物が存在する環境において、SAIM（Selective Attention in Intelligence Model）のベイズ的再構成版である PE-SAIM によって実行された選択的'''注意'''課題の結果をシミュレーションした。　このグラフは、 FOA（Focus of Attention、'''注意'''の焦点）および2つのテンプレートユニットが、知識ネットワーク内で活性化する時間的推移 を示している。]]
'''注意'''に関するトップダウン vs. ボトムアップ論争は、主要な未解決問題として取り上げられてきた。この課題に対し、ある計算モデルが、トップダウンとボトムアップのメカニズムが相互作用する 循環的な性質 を示すことに成功した。'''注意'''の創発モデル（emergent model of attention）として確立された SAIM というモデルを用いて、著者らはPE-SAIM というモデルを提案した。これは標準版とは対照的に、選択的'''注意''' にトップダウン的な視点からアプローチする。このモデルは、'''予測誤差'''を同じレベルまたは上位レベルへ伝達することを考慮に入れている。これは、データ と その原因（または、[[生成モデル]] と [[事後確率]]）との間の差を示すエネルギー関数を最小化するためである。モデルの妥当性を高めるために、著者らは刺激間の神経競合（neural competition）も組み込んだ。このモデルの顕著な特徴は、課題実行中において、自由エネルギー関数を予測誤差のみを用いて再定式化した点である。：

<math>\dfrac{\partial E^{total}(Y^{VP},X^{SN},x^{CN},y^{KN})}{\partial y^{SN}_{mn}}=x^{CN}_{mn}-b^{CN}\varepsilon^{CN}_{nm}+b^{CN}\sum_{k}(\varepsilon^{KN}_{knm})</math>

ここで、<math>E^{total}</math> は神経ネットワークが含む総エネルギー関数（total energy function） を表す。また、<math>\varepsilon^{KN}_{knm}</math> は、生成モデル（[[事前確率]]）と[[事後確率]] との間の予測誤差 であり、時間とともに変化する<ref name="Abadi">{{cite journal|last1=Abadi|first1=Alireza Khatoon|last2=Yahya|first2=Keyvan|last3=Amini|first3=Massoud|last4=Friston|first4=Karl|last5=Heinke|first5=Dietmar|year=2019|title=Excitatory versus inhibitory feedback in Bayesian formulations of scene construction|journal=Journal of the Royal Society Interface|volume=16|issue=154|doi=10.1098/rsif.2018.0344|pmc=6544897|pmid=31039693}}</ref>。両モデル（SAIMとPE-SAIM）を比較すると、それぞれの結果の間に顕著な類似性が見られる一方で、際立った違いも浮かび上がる。具体的には、標準版のSAIMでは、モデルの焦点が主に興奮性結合に置かれているのに対し、PE-SAIMでは、抑制性結合を推論のために活用している。このモデルはまた、人間の実験から得られた EEG（脳波）および fMRI（機能的磁気共鳴画像）のデータを高精度で予測できることが示された。同様に、Yahya らは、自由エネルギー原理を適用し、主に SAIM に依拠する「潜在的選択的視覚'''注意'''（covert selective visual attention）」におけるテンプレートマッチング（template matching）の計算モデルを提案した<ref name="Yahya">{{cite journal|year=2014|title=12th Biannual Conference of the German Cognitive Science Society (KogWis 2014)|journal=Cognitive Processing|volume=15|page=107|doi=10.1007/s10339-013-0597-6|s2cid=10121398|doi-access=free}}</ref>。

この研究によれば、全状態空間の総自由エネルギー は、元の神経ネットワークにトップダウン信号を挿入することで達せられる<ref group="訳注">意味不明。「全状態空間の総自由エネルギー'''の最小値'''に達する」ということか？　原文は以下 According to this study, the total free energy of the whole state-space is reached by inserting top-down signals in the original neural networks,</ref>。これにより、{{仮リンク|フィードフォワード|en|Feed forward (control)}}と[[フィードバック]]の両方の予測誤差を含む動的システムが導き出される。

== 能動的推論 ==
勾配降下法 が行動 <math> \dot{a} = -\partial_aF(s,\tilde{\mu}) </math> に適用される場合、運動制御 は、下行性（[[皮質脊髄路|皮質脊髄]]性）の予測によって活性化される 古典的な[[反射弓]]の観点から理解することができる。 この枠組みは、[[平衡点]]解の[[自由度]]問題への一般化<ref name=":36">{{cite journal|last1=Feldman|first1=Anatol G.|last2=Levin|first2=Mindy F.|year=1995|title=The origin and use of positional frames of reference in motor control|url=http://e.guigon.free.fr/rsc/article/FeldmanLevin95.pdf|journal=Behavioral and Brain Sciences|volume=18|issue=4|pages=723–744|doi=10.1017/S0140525X0004070X|s2cid=145164477|access-date=2013-05-31|archive-date=2014-03-29|archive-url=https://web.archive.org/web/20140329220749/http://e.guigon.free.fr/rsc/article/FeldmanLevin95.pdf|url-status=dead}}</ref>や、[[軌道 (力学系)|運動軌道]]への一般化　のための形式を提供する。

=== 能動的推論と最適制御 ===
'''能動的推論''' は、'''[[最適制御]]'''と関連する。この関連は、'''最適制御'''の'''価値関数'''や'''コスト関数'''を、[[遷移#情報工学における遷移|'''状態遷移''']] または[[流れ (数学)|'''流れ''']]に関する'''事前信念'''に置き換えることで得られる<ref>{{cite journal|last1=Friston|first1=Karl|year=2011|title=What is Optimal about Motor Control?|url=http://www.fil.ion.ucl.ac.uk/~karl/What%20Is%20Optimal%20about%20Motor%20Control.pdf|journal=Neuron|volume=72|issue=3|pages=488–498|doi=10.1016/j.neuron.2011.10.018|pmid=22078508|s2cid=13912462}}</ref>。これは、ベイズフィルタリングと、[[ベルマン方程式]] の解 との密接な関係を活用して行われる。　しかし、'''能動的推論''' は、以下の '''流れ'''についての事前確率分布から始まる：

<math> f = \Gamma \cdot \nabla V + \nabla \times W </math>

　これは、状態空間におけるスカラー関数<math> V(x) </math>  およびベクトル関数<math> W(x) </math>  で指定される（[[ヘルムホルツ分解]]　を参照のこと）。

　ここで、<math> \Gamma </math> はランダム変動の振幅を表し、コストは以下の式で定義される：

<math> c(x) = f \cdot \nabla V + \nabla \cdot \Gamma \cdot V</math> 。

流れ についての事前確率分布 <math> p(\tilde{x}\mid m) </math> は、次のような状態についての事前確率分布を誘導する ：

<math> p(x\mid m) = \exp (V(x)) </math>

　これは、適切な順方向{{仮リンク|コルモゴロフ方程式|en|Kolmogorov equation}} の解となる<ref name=":37">{{cite journal|last1=Friston|first1=Karl|last2=Ao|first2=Ping|year=2012|title=Free Energy, Value, and Attractors|journal=Computational and Mathematical Methods in Medicine|volume=2012|pages=1–27|doi=10.1155/2012/937860|pmc=3249597|pmid=22229042|doi-access=free}}</ref>。

対照的に、最適制御 はコスト関数を所与とし、以下の仮定のもとで流れを最適化する：<math> W = 0 </math>（これは、'''流れ'''は {{仮リンク|渦なし場|en|Conservative vector field#Irrotational vector fields}} または [[詳細釣り合い]] を満たす事を示している）。通常、この方法では逆方向コルモゴロフ方程式 を解く必要がある<ref name=":38">{{cite journal|last1=Kappen|first1=H. J.|year=2005|title=Path integrals and symmetry breaking for optimal control theory|journal=Journal of Statistical Mechanics: Theory and Experiment|volume=2005|issue=11|pages=P11011|arxiv=physics/0505066|bibcode=2005JSMTE..11..011K|doi=10.1088/1742-5468/2005/11/P11011|s2cid=87027}}</ref>。

=== 能動的推論と最適意思決定（ゲーム）理論 ===
{{仮リンク|最適決定|en|Optimal decision}}問題（通常、[[部分観測マルコフ決定過程]] として定式化される）は、'''能動的推論''' の枠組みにおいて、'''[[効用関数]]'''を'''事前信念'''に組み込むことで処理される。　この設定において、エージェントが期待するのは、高い効用（低いコスト）を持つ状態を占めること である。　生成モデル に、制御をモデル化する隠れ状態 を組み込むことで、変分自由エネルギーを最小化する方策（制御系列）は、高い効用を持つ状態に至る<ref name=":39">{{cite journal|last1=Friston|first1=Karl|last2=Samothrakis|first2=Spyridon|last3=Montague|first3=Read|year=2012|title=Active inference and agency: Optimal control without cost functions|journal=Biological Cybernetics|volume=106|issue=8–9|pages=523–541|doi=10.1007/s00422-012-0512-8|hdl=10919/78836|pmid=22864468|doi-access=free|hdl-access=free}}</ref>。

[[神経科学]]的に、[[ドーパミン]]などの{{仮リンク|神経調節|en|Neuromodulation}}物質 は、予測誤差を符号化する主細胞のゲインを調整することで、予測誤差の精度を伝達すると考えられている<ref name="Friston_a">{{cite journal|last1=Friston|first1=Karl J.|last2=Shiner|first2=Tamara|last3=Fitzgerald|first3=Thomas|last4=Galea|first4=Joseph M.|last5=Adams|first5=Rick|last6=Brown|first6=Harriet|last7=Dolan|first7=Raymond J.|last8=Moran|first8=Rosalyn|author8-link=Rosalyn Moran|last9=Stephan|first9=Klaas Enno|year=2012|title=Dopamine, Affordance and Active Inference|journal=PLOS Computational Biology|volume=8|issue=1|pages=e1002327|bibcode=2012PLSCB...8E2327F|doi=10.1371/journal.pcbi.1002327|pmc=3252266|pmid=22241972|last10=Bestmann|first10=Sven|doi-access=free}}</ref>。これは、形式的には異なるものの、ある意味でドーパミン が予測誤差を伝達する役割<ref name=":40">{{cite journal|last1=Fiorillo|first1=Christopher D.|last2=Tobler|first2=Philippe N.|last3=Schultz|first3=Wolfram|year=2003|title=Discrete Coding of Reward Probability and Uncertainty by Dopamine Neurons|url=http://e.guigon.free.fr/rsc/article/FiorilloEtAl03.pdf|journal=Science|volume=299|issue=5614|pages=1898–1902|bibcode=2003Sci...299.1898F|doi=10.1126/science.1077349|pmid=12649484|s2cid=2363255|access-date=2013-05-31|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304045504/http://e.guigon.free.fr/rsc/article/FiorilloEtAl03.pdf|url-status=dead}}</ref>や　関連する計算論的説明<ref name=":41">{{cite journal|last1=Frank|first1=Michael J.|year=2005|title=Dynamic Dopamine Modulation in the Basal Ganglia: A Neurocomputational Account of Cognitive Deficits in Medicated and Nonmedicated Parkinsonism|url=http://ski.cog.brown.edu/papers/Frank_JOCN.pdf|journal=Journal of Cognitive Neuroscience|volume=17|issue=1|pages=51–72|doi=10.1162/0898929052880093|pmid=15701239|s2cid=7414727}}</ref>と密接に関連している。

=== 能動的推論と認知神経科学Active inference and cognitive neuroscience ===
能動的推論は、[[認知神経科学]]、脳機能、および[[神経精神医学]] におけるさまざまな問題に対処するために使用されてきた。これには、以下が含まれる：行動観察<ref name=":42">{{cite journal|last1=Friston|first1=Karl|last2=Mattout|first2=Jérémie|last3=Kilner|first3=James|year=2011|title=Action understanding and active inference|url=http://www.fil.ion.ucl.ac.uk/~karl/Action%20understanding%20and%20active%20inference.pdf|journal=Biological Cybernetics|volume=104|issue=1–2|pages=137–160|doi=10.1007/s00422-011-0424-z|pmc=3491875|pmid=21327826}}</ref>、[[ミラーニューロン]]<ref name=":43">{{cite journal|last1=Kilner|first1=James M.|last2=Friston|first2=Karl J.|last3=Frith|first3=Chris D.|year=2007|title=Predictive coding: An account of the mirror neuron system|url=http://www.fil.ion.ucl.ac.uk/~karl/Predictive%20coding%20an%20account%20of%20the%20mirror%20neuron%20system.pdf|journal=Cognitive Processing|volume=8|issue=3|pages=159–166|doi=10.1007/s10339-007-0170-2|pmc=2649419|pmid=17429704}}</ref>、{{仮リンク|サッカード|en|Saccade}}（saccades）と[[視覚探索]]<ref name=":44">{{cite journal|last1=Friston|first1=Karl|last2=Adams|first2=Rick A.|last3=Perrinet|first3=Laurent|last4=Breakspear|first4=Michael|year=2012|title=Perceptions as Hypotheses: Saccades as Experiments|journal=Frontiers in Psychology|volume=3|page=151|doi=10.3389/fpsyg.2012.00151|pmc=3361132|pmid=22654776|doi-access=free}}</ref><ref name=":45">{{cite journal|last1=Mirza|first1=M. Berk|last2=Adams|first2=Rick A.|last3=Mathys|first3=Christoph|last4=Friston|first4=Karl J.|year=2018|title=Human visual exploration reduces uncertainty about the sensed world|journal=PLOS ONE|volume=13|issue=1|pages=e0190429|bibcode=2018PLoSO..1390429M|doi=10.1371/journal.pone.0190429|pmc=5755757|pmid=29304087|doi-access=free}}</ref>、{{仮リンク|眼球運動|en|Eye movement}}<ref name=":46">{{cite journal|last1=Perrinet|first1=Laurent U.|last2=Adams|first2=Rick A.|last3=Friston|first3=Karl J.|year=2014|title=Active inference, eye movements and oculomotor delays|journal=Biological Cybernetics|volume=108|issue=6|pages=777–801|doi=10.1007/s00422-014-0620-8|pmc=4250571|pmid=25128318}}</ref>、[[睡眠]]<ref name=":47">{{cite journal|last1=Hobson|first1=J.A.|last2=Friston|first2=K.J.|year=2012|title=Waking and dreaming consciousness: Neurobiological and functional considerations|journal=Progress in Neurobiology|volume=98|issue=1|pages=82–98|doi=10.1016/j.pneurobio.2012.05.003|pmc=3389346|pmid=22609044|doi-access=free}}</ref>、[[錯覚]]<ref name=":48">{{cite journal|last1=Brown|first1=Harriet|last2=Friston|first2=Karl J.|year=2012|title=Free-Energy and Illusions: The Cornsweet Effect|journal=Frontiers in Psychology|volume=3|page=43|doi=10.3389/fpsyg.2012.00043|pmc=3289982|pmid=22393327|doi-access=free}}</ref>、[[注意]]<ref name="Feldman" />、{{仮リンク|行動選択|en|Action selection}}<ref name="Friston_a" />、[[意識]]<ref name=":49">{{Cite journal|last1=Rudrauf|first1=David|last2=Bennequin|first2=Daniel|last3=Granic|first3=Isabela|last4=Landini|first4=Gregory|last5=Friston|first5=Karl|last6=Williford|first6=Kenneth|date=2017-09-07|title=A mathematical model of embodied consciousness|url=http://discovery.ucl.ac.uk/10057795/1/DR_et_al_A_math_model_of_embodied_consciousness_JTBiol_final_revision_for_submission.pdf|journal=Journal of Theoretical Biology|volume=428|pages=106–131|bibcode=2017JThBi.428..106R|doi=10.1016/j.jtbi.2017.05.032|pmid=28554611}}</ref><ref name=":50">{{Cite journal|last1=K|first1=Williford|last2=D|first2=Bennequin|last3=K|first3=Friston|last4=D|first4=Rudrauf|date=2018-12-17|title=The Projective Consciousness Model and Phenomenal Selfhood|journal=Frontiers in Psychology|volume=9|pages=2571|language=en|doi=10.3389/fpsyg.2018.02571|pmc=6304424|pmid=30618988|doi-access=free}}</ref>、[[ヒステリー]]<ref name=":51">{{cite journal|last1=Edwards|first1=M. J.|last2=Adams|first2=R. A.|last3=Brown|first3=H.|last4=Parees|first4=I.|last5=Friston|first5=K. J.|year=2012|title=A Bayesian account of 'hysteria'|url=http://www.fil.ion.ucl.ac.uk/~karl/A%20Bayesian%20account%20of%20hysteria.pdf|journal=Brain|volume=135|issue=11|pages=3495–3512|doi=10.1093/brain/aws129|pmc=3501967|pmid=22641838}}</ref>、[[精神病]]<ref name=":52">{{cite journal|last1=Adams|first1=Rick A.|last2=Perrinet|first2=Laurent U.|last3=Friston|first3=Karl|year=2012|title=Smooth Pursuit and Visual Occlusion: Active Inference and Oculomotor Control in Schizophrenia|journal=PLOS ONE|volume=7|issue=10|pages=e47502|bibcode=2012PLoSO...747502A|doi=10.1371/journal.pone.0047502|pmc=3482214|pmid=23110076|doi-access=free}}</ref>。　能動的推論における行動の説明は、しばしば「頑固な予測（stubborn predictions）」 という概念に依存している。この予測は更新できず、結果として、これらの予測が実現するような行動を引き起こす という概念である<ref name=":53">{{Cite journal|last1=Yon|first1=Daniel|last2=Lange|first2=Floris P. de|last3=Press|first3=Clare|date=2019-01-01|title=The Predictive Brain as a Stubborn Scientist|url=https://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(18)30239-0|journal=Trends in Cognitive Sciences|volume=23|issue=1|pages=6–8|language=en|doi=10.1016/j.tics.2018.10.003|pmid=30429054|s2cid=53280000}}</ref>。

== 関連項目See also ==

* [[アフォーダンス]]
* [[エントロピー的な力]]
* {{仮リンク|オートポイエーシス|en|Autopoiesis}}
* [[決定理論]]
* {{仮リンク|行動特異的な知覚|en|Action-specific perception}}
* {{仮リンク|コンストラクタル法則|en|Adrian Bejan#Constructal law}} - 自然（生物および無生物）における設計進化の法則
* {{仮リンク|最小エネルギー原理|en|Principle of minimum energy}}
* [[最適制御]]
* [[自己組織化]]
* {{仮リンク|シナジェティクス（物理）|en|Synergetics (Haken)}}
* {{仮リンク|シャノンサプライズ|en|Surprisal}}
* {{仮リンク|情報メトリック|en|Info-metrics}}
* [[身体化された認知]]
* {{仮リンク|適応システム|en|Adaptive system}}
* {{仮リンク|脳機能へのベイズ的取組み|en|Bayesian approaches to brain function}}
* {{仮リンク|変分ベイズ法|en|Variational Bayesian methods}}
* {{仮リンク|予測符号化|en|Predictive coding}}

== References ==
{{Reflist|3}}

== 訳注　 ==
<references group="訳注" />

== 外部リンク ==
* [http://journals.cambridge.org/action/displayAbstract?fromPage=online&aid=8918803 Behavioral and Brain Sciences (by Andy Clark)]
{{Biosci-stub}}

{{DEFAULTSORT:しゆうえねるきいけんり}}
[[Category:システム生物学]]
[[Category:生物系]]
[[Category:システム理論]]
[[Category:計算論的神経科学]]
[[Category:数理生物学]]