エントロピー不確定性のソースを表示


[[量子力学]]、[[情報理論]]、[[フーリエ解析]]において、'''エントロピー不確定性'''または'''Hirschman不確定性'''は、時間領域と周波数領域の[[シャノンエントロピー]]の和として定義される。  ハイゼンベルクの不確定性原理は、これらのエントロピーの和の下限として表現できることがわかっている。  これは、標準偏差の積で表される通常の[[不確定性原理]]よりも強力である。

1957年に<ref name="Hirschman">{{Citation|title=A note on entropy|last=Hirschman|first=I. I. Jr.|year=1957|postscript=.|journal=[[American Journal of Mathematics]]|volume=79|issue=1|pages=152–156|doi=10.2307/2372390|jstor=2372390}}</ref> Hirschmanはある関数fとその[[フーリエ変換]] ''g'' を考えた:

: <math>g(y) \approx \int_{-\infty}^\infty \exp (-2\pi ixy) f(x)\, dx,\qquad f(x) \approx \int_{-\infty}^\infty \exp (2\pi ixy) g(y)\, dy  ~,</math>

ここで"≈" は{{Mvar|L}}<sup>2</sup> における収束を示し、[[プランシュレルの定理]]により正規化されている:  

: <math> \int_{-\infty}^\infty |f(x)|^2\, dx = \int_{-\infty}^\infty |g(y)|^2 \,dy = 1~.</math>

彼は、そのような関数のシャノンエントロピーの和が非負であることを示した、

: <math> H(|f|^2) + H(|g|^2) \equiv - \int_{-\infty}^\infty |f(x)|^2 \log |f(x)|^2\, dx - \int_{-\infty}^\infty |g(y)|^2 \log |g(y)|^2 \,dy \ge 0. </math>

より厳密な境界、

<math>H(|f|^2) + H(|g|^2) \ge \log \frac e 2</math>


はHirschman<ref name="Hirschman" />と[[ヒュー・エヴェレット3世|Everett]] に予想され、1975年に W. Beckner<ref name="Beckner">{{Citation|title=Inequalities in Fourier analysis|last=Beckner|first=W.|year=1975|postscript=.|journal=[[Annals of Mathematics]]|volume=102|issue=6|pages=159–182|doi=10.2307/1970980|jstor=1970980|pmc=432369|pmid=16592223}}</ref> によって証明され、同じ年に[[:pl:Iwo Białynicki-Birula|Białynicki-Birula]]とMycielski<ref name="BBM">{{Citation|title=Uncertainty Relations for Information Entropy in Wave Mechanics|last=Bialynicki-Birula|first=I.|last2=Mycielski|first2=J.|year=1975|url=http://projecteuclid.org/euclid.cmp/1103899297|journal=[[Communications in Mathematical Physics]]|volume=44|issue=2|page=129|doi=10.1007/BF01608825|bibcode=1975CMaPh..44..129B}}</ref>によって一般化された不確定性原理として解釈された。
この等式は、[[正規分布]]<ref>{{Cite journal|last=Ozaydin|first=Murad|last2=Przebinda|first2=Tomasz|year=2004|title=An Entropy-based Uncertainty Principle for a Locally Compact Abelian Group|url=http://redwood.berkeley.edu/w/images/9/95/2002-26.pdf|journal=Journal of Functional Analysis|volume=215|issue=1|pages=241–252|publisher=Elsevier Inc.|accessdate=2011-06-23|doi=10.1016/j.jfa.2003.11.008}}</ref>の場合に成立する。
しかし上記のエントロピー的不確定性関数は、[[位相空間]]で表現される[[フォン・ノイマンエントロピー]]とは明らかに異なることに注意。

== 証明のスケッチ ==
この厳密な不等式の証明は、フーリエ変換のいわゆる(q, p)ノルムに依存する。(このノルムの確立が証明の最も難しい部分である）。

このノルムから、シャノンエントロピーを一般化する微分Rényiエントロピーの和{{Math|''H<sub>α</sub>({{!}}f{{!}}²)+H<sub>β</sub>({{!}}g{{!}}²)''}}, where {{Math|''1/α + 1/β'' {{=}} 2}} の下界を確立することができる。簡潔にするため、この不等式を一次元でのみ考察する。多次元への拡張は単純であり、引用文献に見出すことができる。

=== Babenko–Beckner 不等式 ===
フーリエ変換の(q, p)ノルムは次のように定義される。<ref name="Bialynicki">{{Cite journal|last=Bialynicki-Birula|first=I.|year=2006|title=Formulation of the uncertainty relations in terms of the Rényi entropies|journal=Physical Review A|volume=74|issue=5|page=052101|arxiv=quant-ph/0608116|bibcode=2006PhRvA..74e2101B|doi=10.1103/PhysRevA.74.052101}}</ref>

: <math>\|\mathcal F\|_{q,p} = \sup_{f\in L^p(\mathbb R)} \frac{\|\mathcal Ff\|_q}{\|f\|_p},</math>   where <math>1 < p \le 2~,</math> &nbsp; and <math>\frac 1 p + \frac 1 q = 1.</math>

1961年、Babenko は''q'' の偶整数についてノルムを発見。1975年、
フーリエ変換の固有関数に[[エルミート多項式|エルミート関数]] を使い、 Beckner<ref name="Beckner"/>  ''q''  ≥  2 についてノルムの値が、以下であることを証明した:

: <math>\|\mathcal F\|_{q,p} = \sqrt{p^{1/p}/q^{1/q}}.</math>

よって、以下のBabenko–Beckner不等式 が出る:

: <math>\|\mathcal Ff\|_q \le \left(p^{1/p}/q^{1/q}\right)^{1/2} \|f\|_p.</math>

=== Rényiエントロピー境界 ===
この不等式からRényiエントロピーを用いた不確定性原理の表現が導かれる。<ref name="Bialynicki"/>

Let <math>g=\mathcal Ff, \, 2\alpha=p, \, 2\beta=q,</math> so that <math>\frac1\alpha+\frac1\beta=2</math> and <math>\frac12\le\alpha\le1\le\beta</math>, we have

: <math>\left(\int_{\mathbb R} |g(y)|^{2\beta}\,dy\right)^{1/2\beta}
       \le \frac{(2\alpha)^{1/4\alpha}}{(2\beta)^{1/4\beta}}
       \left(\int_{\mathbb R} |f(x)|^{2\alpha}\,dx\right)^{1/2\alpha}.
</math>

両辺を2乗して対数をとると、次のようになる。

: <math>\frac 1\beta \log\left(\int_{\mathbb R} |g(y)|^{2\beta}\,dy\right)
       \le \frac 1 2 \log\frac{(2\alpha)^{1/\alpha}}{(2\beta)^{1/\beta}}
       + \frac 1\alpha \log \left(\int_{\mathbb R} |f(x)|^{2\alpha}\,dx\right).
</math>

<math>\alpha, \beta</math> の条件を書き直すことができる。

: <math>\alpha(1-\beta)+\beta(1-\alpha)=0</math>

<math>\alpha,\beta\ne1</math>と仮定し、次に、両辺に負の値を掛ける。 

: <math>\frac{\beta}{1-\beta}=-\frac{\alpha}{1-\alpha}</math>

以下を得る。

: <math>\frac {1}{1-\beta} \log\left(\int_{\mathbb R} |g(y)|^{2\beta}\,dy\right)
       \ge \frac\alpha{2(\alpha-1)}\log\frac{(2\alpha)^{1/\alpha}}{(2\beta)^{1/\beta}}
       - \frac{1}{1-\alpha} \log \left(\int_{\mathbb R} |f(x)|^{2\alpha}\,dx\right) ~.
</math>

項を並べ替えると、Rényi エントロピーの和の不等式が得られる。

: <math>\frac{1}{1-\alpha} \log \left(\int_{\mathbb R} |f(x)|^{2\alpha}\,dx\right)
       + \frac {1}{1-\beta} \log\left(\int_{\mathbb R} |g(y)|^{2\beta}\,dy\right)
       \ge \frac\alpha{2(\alpha-1)}\log\frac{(2\alpha)^{1/\alpha}}{(2\beta)^{1/\beta}};
</math>
: <math> H_\alpha(|f|^2) + H_\beta(|g|^2) \ge \frac 1 2 \left(\frac{\log\alpha}{\alpha-1}+\frac{\log\beta}{\beta-1}\right) - \log 2</math>

==== 右側 ====

: <math>\frac\alpha{2(\alpha-1)}\log\frac{(2\alpha)^{1/\alpha}}{(2\beta)^{1/\beta}}</math>

: <math>=\frac12\left[\frac{\alpha}{\alpha-1}\log(2\alpha)^{1/\alpha} + \frac{\beta}{\beta-1}\log(2\beta)^{1/\beta}\right]</math>

: <math>=\frac12\left[\frac{\log2\alpha}{\alpha-1} + \frac{\log2\beta}{\beta-1}\right]</math>

: <math>=\frac12\left[\frac{\log\alpha}{\alpha-1} + \frac{\log\beta}{\beta-1}\right] + \frac12\log2\left[\frac{1}{\alpha-1} + \frac{1}{\beta-1}\right]</math>

: <math>=\frac12\left[\frac{\log\alpha}{\alpha-1} + \frac{\log\beta}{\beta-1}\right] + \frac12\log2\left[\frac{1}{\alpha-1} + \frac{1}{\beta-1} - \frac{\alpha}{\alpha-1} - \frac{\beta}{\beta-1}\right]</math>

: <math>=\frac12\left[\frac{\log\alpha}{\alpha-1} + \frac{\log\beta}{\beta-1}\right] + \frac12\log2\left[-2\right]</math>

: <math>=\frac12\left[\frac{\log\alpha}{\alpha-1} + \frac{\log\beta}{\beta-1}\right] - \log2</math>

=== シャノンエントロピー境界 ===
この最後の不等式の極限を次のように取る: <math>\alpha, \, \beta \to 1</math> そして置換<math>\Alpha=\alpha-1, \Beta=\beta-1</math> はより一般的でないシャノンエントロピーの不等式をもたらす。

: <math>H(|f|^2) + H(|g|^2) \ge \log\frac e 2,\quad\textrm{where}\quad g(y) \approx \int_{\mathbb R} e^{-2\pi ixy}f(x)\,dx~,</math>

[[ビット|bit]], [[ナット (単位)|nat]]など適切な情報単位を選びさえすれば、どの基数の対数でも有効である。

しかし、フーリエ変換の正規化（物理学で通常使われるような、ħ=1となるように正規化する）が異なれば、定数は異なる。

: <math>H(|f|^2) + H(|g|^2) \ge \log(\pi e)\quad\textrm{for}\quad g(y) \approx \frac 1{\sqrt{2\pi}}\int_{\mathbb R} e^{-ixy}f(x)\,dx~.</math>

この場合、フーリエ変換の絶対値の2乗を2{{Mvar|π}}倍に拡張すると、エントロピーにlog(2{{Mvar|π}})が加算されるだけである。

== エントロピー対バリアンス境界 ==
ガウス分布または正規確率分布は、分散とエントロピーの関係において重要な役割を果たす。与えられた分散に対してエントロピーを最大化し、同時に与えられたエントロピーに対して分散を最小化するのは、変分法の問題として示すことができる。実際、実数直線上の任意の確率密度関数<math>\phi</math>に対して、シャノンのエントロピー不等式は以下のように規定する。 

: <math>H(\phi) \le \log \sqrt {2\pi eV(\phi)},</math>

ここで、''H''はシャノンエントロピー、''V'' は分散であり、この不等式は正規分布の場合にのみ等号が成立する。

さらに、ガウス確率振幅関数のフーリエ変換もまたガウス関数であり、これらの絶対値の二乗も同様にガウス関数である。これにより、上記のエントロピー不等式から通常のRobertson分散不確定性不等式を導出でき、後者は前者よりも厳密になりうる。つまり、（ħ=1の場合）Hirschman不等式を指数関数化し、上記のシャノンの表現を用いると、以下のようになる。

: <math>1/2 \le \exp (H(|f|^2)+H(|g|^2))         /(2e\pi)    \le \sqrt {V(|f|^2)V(|g|^2)}~.</math>

Hirschman<ref name="Hirschman" /> は、エントロピー（彼のバージョンのエントロピーはシャノンの負の値であった）は「小さい測度を持つ集合における[確率分布]の集中度合いの尺度」であると説明した。したがって、低いまたは大きな負のシャノンエントロピーは、確率分布の相当な質量が小さい測度を持つ集合に閉じ込められていることを意味する。

この小さい測度を持つ集合は、連続している必要はないことに注意してほしい。確率分布は、小さい測度の区間に複数の質量の集中を持つことができ、それらの区間がどれほど広く散らばっていても、エントロピーは依然として低くなる可能性がある。これは分散の場合とは異なる。分散は、分布の平均を中心とした質量の集中度合いを測定し、低い分散は、確率分布の相当な質量が小さい測度の連続した区間に集中していることを意味する。

この区別を形式化するために、2つの確率密度関数 <math>\phi_1</math>と<math>\phi_2</math>が等測可能であるとは以下の場合をいう。 

: <math>\forall \delta > 0,\,\mu\{x\in\mathbb R|\phi_1(x)\ge\delta\} = \mu\{x\in\mathbb R|\phi_2(x)\ge\delta\},</math>

ここで {{Mvar|μ}} は [[ルベーグ測度]]である。  任意の二つの等測可能な確率密度関数は、同じシャノンエントロピーを持ち、実際には任意の次数の同じレニーエントロピーを持つ。しかしながら、分散については同じことが言えない。任意の確率密度関数は、半径方向に減少する等測可能な「並べ替え」を持ち、その分散は（平行移動を除いて）関数の他の任意の並べ替えよりも小さい。そして、任意に高い分散を持つ並べ替えが存在する（すべて同じエントロピーを持つ）。

== 出典 ==
<references />

== 参考文献 ==

* Jizba, P.; Ma, Y.; Hayes, A.; Dunningham, J.A. (2016). "One-parameter class of uncertainty relations based on entropy power". ''Phys. Rev. E'' '''93''' (6): 060104(R). [https://journals.aps.org/pre/abstract/10.1103/PhysRevE.93.060104 doi:10.1103/PhysRevE.93.060104].
* {{Cite journal|last=Zozor|first=S.|last2=Vignat|first2=C.|year=2007|title=On classes of non-Gaussian asymptotic minimizers in entropic uncertainty principles|journal=Physica A: Statistical Mechanics and Its Applications|volume=375|issue=2|page=499|arxiv=math/0605510|bibcode=2007PhyA..375..499Z|doi=10.1016/j.physa.2006.09.019}}    [[arXiv:math/0605510v1]]
* {{Cite journal|last=Maassen|first=H.|last2=Uffink|first2=J.|year=1988|title=Generalized entropic uncertainty relations|url=https://pure.uva.nl/ws/files/2210736/46650_28y.pdf|journal=Physical Review Letters|volume=60|issue=12|pages=1103–1106|bibcode=1988PhRvL..60.1103M|doi=10.1103/PhysRevLett.60.1103|pmid=10037942}}
* {{Cite journal|last=Ballester|first=M.|last2=Wehner|first2=S.|year=2007|title=Entropic uncertainty relations and locking: Tight bounds for mutually unbiased bases|journal=Physical Review A|volume=75|issue=2|page=022319|arxiv=quant-ph/0606244|bibcode=2007PhRvA..75b2319B|doi=10.1103/PhysRevA.75.022319}}
* {{Cite journal|last=Ghirardi|first=G.|last2=Marinatto|first2=L.|last3=Romano|first3=R.|year=2003|title=An optimal entropic uncertainty relation in a two-dimensional Hilbert space|journal=Physics Letters A|volume=317|issue=1–2|pages=32–36|arxiv=quant-ph/0310120|bibcode=2003PhLA..317...32G|doi=10.1016/j.physleta.2003.08.029}}
* {{Cite journal|last=Salcedo|first=L. L.|year=1998|title=Minimum uncertainty for antisymmetric wave functions|journal=Letters in Mathematical Physics|volume=43|issue=3|pages=233–248|arxiv=quant-ph/9706015|bibcode=1997quant.ph..6015S|doi=10.1023/A:1007464229188}}
[[Category:不等式]]
[[Category:物理量]]
[[Category:情報理論]]