情報幾何学のソースを表示

'''情報幾何学'''（じょうほうきかがく、英: information geometry、仏: géométrie de l’information、独: Informationsgeometrie、略称: IG<ref>{{Cite journal|last=Nielsen|first=Frank|year=2020|title=An Elementary Introduction to Information Geometry|url=https://www.mdpi.com/1099-4300/22/10/1100|journal=Entropy|volume=22|issue=10|pages=1100|doi=10.3390/e22101100|issn=1099-4300|pmid=33286868|pmc=7650632}}</ref>）とは、[[確率分布]]を要素とする統計モデルに関する[[微分幾何学]]的研究<ref>{{Cite book|edition=4th|title=岩波数学辞典|url=|date=2007|isbn=978-4-00-080309-0|oclc=1086209906|others=日本数学会|year=2007|publisher=岩波書店|pages=543-546|chapter=情報幾何学}}</ref>のことであり、狭義には双対[[アフィン接続]]の微分幾何学<ref>{{Cite book|title=情報幾何学の基礎|publisher=牧野書店|oclc=922844329|first=彰夫|last=藤原|year=2015|isbn=978-4434208812}}</ref>を指す。「数理統計学の微分幾何学化」<ref>{{Cite journal|last=Goto|first=Shin-itiro|last2=Hino|first2=Hideitsu|year=2019|title=Information and contact geometric description of expectation variables exactly derived from master equations|url=https://doi.org/10.1088/1402-4896/ab4295|journal=Physica Scripta|volume=95|issue=1|pages=015207|doi=10.1088/1402-4896/ab4295|issn=1402-4896}}</ref>や「統計的推論の幾何学的方法論」<ref>{{Cite journal|和書|last=松添|first=博|year=2014|title=統計多様体とアファイン微分幾何学|url=https://hdl.handle.net/2433/223330|journal=数理解析研究所講究録|volume=1916|page=1-17|naid=120006223301}}</ref>や「情報理論における微分幾何を用いた定式化」<ref>{{Cite journal|和書|author=伊藤創祐 |title=情報幾何の確率的熱力学による解釈と熱力学不確定性関係 |journal=日本物理学会講演概要集 |publisher=日本物理学会 |year=2018 |volume=73.2 |pages=2183-2183 |naid=130007735919 |doi=10.11316/jpsgaiyo.73.2.0_2183 |url=https://doi.org/10.11316/jpsgaiyo.73.2.0_2183}}</ref>と表現されるように、情報幾何学は[[統計学]]・[[情報理論]]・[[確率論|確率理論]]（大偏差理論）にまたがる<ref>{{Cite journal|和書|last=長岡|first=浩司|year=2006|title=情報幾何の基礎概念|url=http://www.sci.osaka-cu.ac.jp/~ohnita/2006/inf_geom/sos_dan/01_nagaoka_0403.pdf|format=PDF|journal=情報幾何への入門と応用|page=1-36}}</ref>学際的な分野である。

== 概要 ==
情報幾何学の理論的な枠組みは統計学の言葉を必要とせず、純粋な微分幾何学の概念のみで定式化できる。

'''統計多様体'''の定義にはいくつかの流儀が存在するが現在最も標準的<ref>松添, 2014, p. 1</ref>なのは黒瀬 (1994)<ref>{{Cite journal|last=Kurose|first=Takashi|year=1994|title=On the divergences of $1$-conformally flat statistical manifolds|url=https://projecteuclid.org/journals/tohoku-mathematical-journal/volume-46/issue-3/On-the-divergences-of-1-conformally-flat-statistical-manifolds/10.2748/tmj/1178225722.full|journal=Tohoku Mathematical Journal|volume=46|issue=3|doi=10.2748/tmj/1178225722|issn=0040-8735}}</ref> によるものであり、<math>C^{\infty}</math> 級[[多様体]] <math>M</math> と <math>M</math> 上の[[捩率テンソル|捩れ]]のない[[アフィン接続]] <math>\nabla</math> と[[擬リーマン多様体|擬リーマン計量]] <math>g</math> の組 <math>(M,\nabla,g)</math> で <math>(0,3)</math> テンソル場 <math>\nabla g</math> が対称なものと定義し、組 <math>(\nabla,g)</math> を'''統計構造'''という。<math>\nabla^*</math> が <math>\nabla</math> の <math>g
</math> に関する'''双対（アフィン）接続'''であるとは、任意の <math>M</math> 上の[[ベクトル場]] <math>X,Y,Z</math> に対して[[積の微分法則|ライプニッツ則]]の類似<math display="block">Xg(Y,Z)=g(\nabla_XY,Z)+g(Y,\nabla_X^*Z)</math>が成り立つことであり、組 <math>(M,g,\nabla^*)</math> を'''双対統計多様体'''という。<math>\nabla</math> が平坦であるならば <math>\nabla^*</math> も平坦であるので、組 <math>(M,g,\nabla,\nabla^*)</math> を'''双対平坦空間'''といい、組 <math>(g,\nabla,\nabla^*)</math> を'''双対構造'''という。もともと統計多様体は、{{仮リンク|ラウリッツィン|en|Steffen Lauritzen}}によって[[リーマン多様体]] <math>(M,g)</math> と'''甘利・チェンツォフテンソル場'''と呼ばれる <math>(0,3)</math> [[対称テンソル]]場 <math>C</math> の組 <math>(M,g,C)</math> として定義されていた<ref>Nielsen, 2020, p. 12</ref>が、両者は<u>基本的に</u>等価である<ref>松添, 2014, p. 3</ref>。

<math>\nabla</math> が平坦であるならば、[[テンソル場]] <math>\nabla g</math> が対称であることとある関数 <math>\phi</math> が存在して局所的に <math>g=\nabla d\phi</math> と表されることは同値であり<ref>日本数学会, 2007, p. 14</ref><ref name="#1">{{Cite journal|和書|author=黒瀬俊 |date=2009-01 |url=https://hdl.handle.net/2433/140260 |title=定曲率ヘッセ多様体の分類 (部分多様体の微分幾何学およびその周辺領域の研究) |journal=数理解析研究所講究録 |ISSN=1880-2818 |publisher=京都大学数理解析研究所 |volume=1623 |pages=22-29 |hdl=2433/140260 |CRID=1050282677155302912}}</ref>、これは[[ヘッセ行列|ヘッシアン]]に他ならないので <math>\nabla</math> が平坦な統計多様体は1970年代に志磨裕彦が定義した'''ヘッセ多様体'''と一致しており、その統計構造を'''ヘッセ構造'''、関数 <math>\phi</math> を'''ヘッセ・ポテンシャル'''という<ref>黒瀬, 2009, p. 22</ref>。ヘッセ構造は[[AdS/CFT対応]]における[[BTZブラックホール]]に見出されることが知られている<ref>{{Cite journal|和書|author=松枝宏明 |author2=鈴木達夫 |title=情報幾何におけるBTZブラックホール |journal=日本物理学会講演概要集 |publisher=日本物理学会 |year=2018 |volume=73.1 |pages=2702-2702 |naid=130007647829 |doi=10.11316/jpsgaiyo.73.1.0_2702 |url=https://doi.org/10.11316/jpsgaiyo.73.1.0_2702}}</ref><ref>{{Cite journal|last=鈴木|first=達夫|year=2018|title=BTZブラックホールのヘッセ構造|url=http://www.math.sci.hokudai.ac.jp/~ishikawa/Numazu-Shizuoka/suzukita-25.pdf|journal=沼津改め静岡研究会|volume=25}}</ref>。

== 歴史 ==
情報幾何学のアイデアは、1929年に[[ハロルド・ホテリング]]が記した草稿<ref>{{Cite journal|last=Hotelling|author=|first=Harold|year=1930|title=Spaces of statistical parameters|journal=Bulletin of the American Mathematical Society|volume=36|page=191}}</ref><ref>{{Cite journal|last=Stigler|first=Stephen M.|year=2007|title=The Epic Story of Maximum Likelihood|url=https://projecteuclid.org/journals/statistical-science/volume-22/issue-4/The-Epic-Story-of-Maximum-Likelihood/10.1214/07-STS249.full|journal=Statistical Science|volume=22|issue=4|doi=10.1214/07-STS249|issn=0883-4237}}</ref>に遡ることができる<ref>Nielsen, 2020, p. 26</ref>。ホテリングは[[フィッシャー情報行列]] <math>g_{ij}(\xi)=E_{\xi}[\partial_il_{\xi}\partial_jl_{\xi}]</math>（ただし <math>\partial_i=\partial/ \partial\theta^i</math> と <math>l_{\xi}=\log p(x;\xi)</math> は情報幾何学でよく見られる略記である）が統計モデルに[[リーマン計量]]（'''フィッシャー計量'''）を定めることを考察し<ref>{{Cite journal|last=甘利|first=俊一|year=2020|title=情報幾何: その歴史的発展と将来|journal=数理科学|volume=689|page=5-6}}</ref>、1945年に{{仮リンク|クラメール・ラオ|en|C. R. Rao}}も独立にそのことを指摘した<ref>{{Cite journal|author=C. R. Rao|year=1945|title=Information and the accuracy attainable in the estimation of statistical parameters|journal=Bulletin of the Calcutta Mathematical Society|volume=37|page=81-91}}</ref>。さらに1972年には{{仮リンク|ニコライ・チェンツォフ|ru|Ченцов, Николай Николаевич}}が、マルコフ埋め込みに関する不変性の下では、リーマン計量が（定数倍を除いて）フィッシャー計量だけに限られ、[[アフィン接続]]も（1次元実数パラメータの自由度を除いて）一意に定まることを有限集合上の確率分布の場合について証明した<ref>{{Cite book|洋書|title=Статистические решающие правила и оптимальные выводы|year=1972|publisher=Наука|author=Ченцов Н.Н.}}</ref><ref>{{Cite book|title=Statistical decision rules and optimal inference|url=https://www.worldcat.org/oclc/7837189|publisher=American Mathematical Society|date=1982|location=Providence, R.I.|isbn=0-8218-4502-0|oclc=7837189|others=L. I︠A︡. Leĭfman|first=N. N.|last=Chent︠s︡ov}}</ref>（'''チェンツォフの定理'''<ref>{{Cite journal|last=藤原|first=彰夫|year=2016|title=Chentsov の定理とその周辺 (I)|url=http://www.math.sci.hokudai.ac.jp/~furuhata/workshop/stat/16/Fujiwara160912.pdf|journal=ミニワークショップ:統計多様体の幾何学とその周辺|volume=8}}</ref>）。一方、1975年に{{仮リンク|ブラッドリー・エフロン|en|Bradley Efron}}は統計的推論の高次漸近理論において、[[指数型分布族]]に埋め込まれた統計モデル（曲指数型分布族）にある種の埋め込み[[曲率]]を定義し<ref>{{Cite journal|last=Efron|first=Bradley|year=1975|title=Defining the Curvature of a Statistical Problem (with Applications to Second Order Efficiency)|url=https://projecteuclid.org/journals/annals-of-statistics/volume-3/issue-6/Defining-the-Curvature-of-a-Statistical-Problem-with-Applications-to/10.1214/aos/1176343282.full|journal=The Annals of Statistics|volume=3|issue=6|page=1189-1242|doi=10.1214/aos/1176343282|issn=0090-5364}}</ref>、{{仮リンク|フィリップ・デイヴィッド|en|Philip Dawid}}はその曲率がフィッシャー計量に関して非計量的なあるアフィン接続から定まることを指摘し、それをエフロン接続と命名した<ref>{{Cite journal|author=Dawid, A. P.|year=1975|title=Discussion of Efron|journal=Annals of Statistics|volume=3|page=1231-1234}}</ref>。

このような状況に対し1982年に[[甘利俊一]]は、パラメトリックな'''統計モデル''' <math>M=\{p_{\theta}\}</math> に対し<math display="block">g(\nabla_{\partial_{i}}^{(\alpha)} \partial_{j}, \partial_{k})=\Gamma_{i j, k}^{(\alpha)}=E_{\xi}\left[\left(\partial_{i} \partial_{j} l_{\xi}+\frac{1-\alpha}{2} \partial_{i} l_{\xi} \partial_{j} l_{\xi}\right)\left(\partial_{k} l_{\xi}\right)\right]</math>を満たす <math>M</math> 上の対称なアフィン接続 <math>\nabla^{(\alpha)}</math> を '''<math>\alpha</math> 接続'''（<math>\alpha\in\mathbf{R}</math>）と定義して<ref>長岡, 2006, p. 8</ref>一般論を展開することに成功した<ref>{{Cite journal|last=Amari|first=Shun-Ichi|date=1982|title=Differential Geometry of Curved Exponential Families-Curvatures and Information Loss|url=https://projecteuclid.org/journals/annals-of-statistics/volume-10/issue-2/Differential-Geometry-of-Curved-Exponential-Families-Curvatures-and-Information-Loss/10.1214/aos/1176345779.full|journal=The Annals of Statistics|volume=10|issue=2|doi=10.1214/aos/1176345779|issn=0090-5364}}</ref>。実際、有限集合上の確率分布において <math>\alpha</math> 接続はチェンツォフの定めたアフィン接続の1係数族と一致しており<ref>現代的にはチェンツォフの定理によって <math>\alpha</math> 接続を定義する（藤原, 2015, p. 122）。</ref>、特に <math>\alpha=1</math> に対応する '''e 接続'''（'''指数接続'''）はエフロン接続と一致しており<ref>「偶然とはいえ、同じ頭文字 e で始まる命名となっていたことは興味深い」（藤原, 2015, p. 127）</ref>、<math>\alpha=0</math> に対応する <math>0</math> 接続はフィッシャー計量に関する[[レヴィ・チヴィタ接続]]に他ならなかった<ref>日本数学会, 2007, p. 544</ref>。この一般化を契機として、フィッシャー計量と <math>\alpha</math> 接続の成す微分幾何学的構造、特に先述の e 接続と <math>\alpha=-1</math> に対応する '''m 接続'''（'''混合接続'''）が調べられるようになり<ref>日本数学会, 2007, p. 543</ref>、e 接続の平坦性は統計モデルの最適性を、m 接続の平坦性は推定の最適性を曲率テンソルを使って定量評価することを可能にした<ref>{{Cite journal|和書|author=江口真透 |title=さまざまな研究パラダイムをつなぐ情報幾何 |journal=横幹連合コンファレンス予稿集 |publisher=横断型基幹科学技術研究団体連合（横幹連合） |year=2019 |volume=2019 |issue=第10回横幹連合コンファレンス |pages=F-4-4 |naid=130007762476 |doi=10.11487/oukan.2019.0_F-4-4 |url=https://doi.org/10.11487/oukan.2019.0_F-4-4}}</ref>。

甘利はさらに、1982年に長岡浩司と共同で情報幾何の双対構造を発表し<ref>{{Cite journal|last=Nagaoka|first=Hiroshi|last2=Amari|first2=Shun-ichi|year=1982|title=Differential Geometry of Smooth Families of Probability Distributions|url=https://bsi-ni.brain.riken.jp/database/file/86/077.pdf|journal=METR|volume=82|issue=7}}</ref>、1983年に公文雅之と共同で統計的推論の高次漸近理論の幾何を提唱した<ref name="#1"/><ref>{{Cite journal|和書|author=AMARI, Shun-ichi; KUMON, Masayuki |date=1983-12 |url=https://hdl.handle.net/2433/103757 |title=Geometrical Theory on Estimation of Structural Parameter in the Presence of Infinitely Many Nuisance Parameters |journal=数理解析研究所講究録 |ISSN=1880-2818 |publisher=京都大学数理解析研究所 |volume=507 |pages=97-116 |hdl=2433/103757 |CRID=1050282810620567552}}</ref>。1984年に[[デイヴィッド・コックス (統計学者)|デイヴィッド・コックス]]が統計の微分幾何に関するワークショップをロンドンで開催したのを皮切りに<ref>甘利, 2020, p. 5</ref>、少しずつ世界的な知名度が上がって研究が活発化するようになった<ref>{{Cite journal|和書|author=甘利俊一 |title=応用数理の遊歩道(26) : 情報幾何の生い立ち |journal=応用数理 |issn=09172270 |publisher=日本応用数理学会 |year=2001 |volume=11 |issue=3 |pages=253-256 |naid=110007390917 |doi=10.11540/bjsiam.11.3_253 |url=https://doi.org/10.11540/bjsiam.11.3_253}}</ref>。江口真透が情報幾何を[[カルバック・ライブラー情報量|ダイバージェンス]]を基に構築できることを示したのはその翌年のことであり<ref>{{Cite journal|last=Eguchi|first=Shinto|year=1985|title=A differential geometric approach to statistical inference on the basis of contrast functionals|url=https://projecteuclid.org/journals/hiroshima-mathematical-journal/volume-15/issue-2/A-differential-geometric-approach-to-statistical-inference-on-the-basis/10.32917/hmj/1206130775.full|journal=Hiroshima Mathematical Journal|volume=15|issue=2|doi=10.32917/hmj/1206130775|issn=0018-2079}}</ref>、双対平坦空間や正準ダイバージェンスなどの一般論が整備されるにつれて情報幾何学はその地位を確立することに成功した。

情報幾何学の応用は、[[EMアルゴリズム]]<ref>{{Cite web|和書|title=EM アルゴリズムの幾何学的解釈|url=https://staff.aist.go.jp/s.akaho/thesis/thesis-www/node23.html|accessdate=2021-06-15|publisher=赤穂昭太郎|work=有限混合分布モデルの学習に関する研究 (Web 版)}}</ref><ref>{{Cite journal|last=村田|first=昇|last2=池田|first2=思朗|year=2004|title=神経回路網と EM アルゴリズム|url=https://www.ism.ac.jp/~shiro/papers/books/embook2000.pdf|journal=}}</ref>のような統計的推論のみならず、[[統計物理学]]<ref>{{Cite journal|和書|author=甘利俊一 |title=情報幾何とその応用 : Vボルツマン機械とEMアルゴリズム |journal=システム／制御／情報 |issn=0916-1600 |publisher=システム制御情報学会 |year=2005 |volume=49 |issue=2 |pages=64-69 |naid=110003969659 |doi=10.11509/isciesci.49.2_64 |url=https://doi.org/10.11509/isciesci.49.2_64}}</ref><ref>長岡, 2015, pp. 141-154</ref>や学習理論<ref>{{Cite journal|和書|author=甘利俊一 |title=情報幾何とその応用 : VIII神経多様体における学習と特異モデル |journal=システム／制御／情報 |issn=0916-1600 |publisher=システム制御情報学会 |year=2005 |volume=49 |issue=8 |pages=337-343 |naid=110003983934 |doi=10.11509/isciesci.49.8_337 |url=https://doi.org/10.11509/isciesci.49.8_337}}</ref>、情報熱力学<ref>{{Cite web|和書|title=情報による観測量の変化速度の熱力学的な限界を発見 - 東京大学 大学院理学系研究科・理学部|url=https://www.s.u-tokyo.ac.jp/ja/press/2020/6910/|accessdate=2021-06-15}}</ref><ref>{{Cite journal|last=伊藤|first=創祐|year=2020|title=物理学と情報幾何学: ゆらぐ系の熱力学の視点から|url=http://sosuke110.com/surikagaku2020.pdf|journal=数理科学|volume=689|page=38-45}}</ref>にまで及んでおり、2018年にはこのような進展を背景に[[シュプリンガー・サイエンス・アンド・ビジネス・メディア|シュプリンガー社]]から学術誌 ''[https://www.springer.com/journal/41884 Information Geometry]'' が刊行されることが決定した。今後はさらに、量子情報幾何<ref>{{Cite journal|和書|author=長岡浩司 |title=量子情報幾何学の世界 |journal=総合講演・企画特別講演アブストラクト |publisher=日本数学会 |year=2002 |volume=2002 |issue=Spring-Meeting |pages=24-37 |naid=130005450749 |doi=10.11429/emath1996.2002.Spring-Meeting_24 |url=https://doi.org/10.11429/emath1996.2002.Spring-Meeting_24}}</ref><ref>{{Cite journal|和書|author=渡辺優 |title=量子情報幾何におけるHeisenberg の不確定性関係の位置付け (函数解析学による一般化エントロピーの新展開) |journal=数理解析研究所講究録 |issn=1880-2818 |publisher=京都大学数理解析研究所 |year=2013 |month=sep |issue=1852 |pages=210-216 |naid=110009625602 |url=https://hdl.handle.net/2433/195143}}</ref>やワッサースタイン幾何<ref>{{Cite journal|和書|author=高津飛鳥 |title=Wasserstein幾何学と情報幾何学 (特集 情報幾何学の探究 : 基礎と応用,現状と展望に迫る) |journal=数理科学 |issn=0386-2240 |publisher=サイエンス社 |year=2020 |month=nov |volume=58 |issue=11 |pages=67-73 |naid=40022377287 |url=https://www.saiensu.co.jp/search/?isbn=4910054691108&y=2020 |id={{JAN|4910054691108}} }}</ref>、{{仮リンク|ルピナー幾何|en|Ruppeiner geometry}}などの発展も期待されている。[[人工知能]]の分野では、[[ニューラルネットワーク|ニューラルネット]]や神経発火パターンの情報の解釈に応用され始めている。[[超弦理論]]と[[量子情報]]を結ぶ学術領域では、情報幾何学が応用され始めている。

== 注釈と出典 ==
{{Reflist}}

== 参考文献 ==
* 志磨裕彦 (2001).『ヘッセ幾何学』.裳華房. ISBN 978-4785315290 
* 甘利俊一; 長岡浩司 (1998).『情報幾何の方法』. 岩波書店. ISBN 978-4007306662
* 甘利俊一 (2019).『新版 情報幾何学の新展開』. サイエンス社. ISBN 9784781914633
* 田中勝 (2019).{{PDFlink|『[https://www.coronasha.co.jp/np/data/tachiyomi/978-4-339-02835-5.pdf エントロピーの幾何学]』}}. コロナ社. ISBN 978-4339028355
* 藤岡敦 (2021).『入門 情報幾何: 統計的モデルをひもとく微分幾何学』. 共立出版. ISBN 978-4-320-11445-6
* 藤原彰夫 (2021).『情報幾何学の基礎: 情報の内的構造を捉える新たな地平』. 共立出版. ISBN 978-4-320-11451-7

[[Category:数学に関する記事]]
[[Category:微分幾何学]]
[[Category:情報科学]]
[[Category:統計学]]
{{デフォルトソート:しようほうきかかく}}