エントロピー不確定性

量子力学、情報理論、フーリエ解析において、エントロピー不確定性またはHirschman不確定性は、時間領域と周波数領域のシャノンエントロピーの和として定義される。 ハイゼンベルクの不確定性原理は、これらのエントロピーの和の下限として表現できることがわかっている。 これは、標準偏差の積で表される通常の不確定性原理よりも強力である。

1957年に Hirschmanはある関数fとそのフーリエ変換 g を考えた:

$g(y)\approx \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\exp (-2\pi ixy)f(x)dx,f(x)\approx \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\exp (2\pi ixy)g(y)dy,$

ここで"≈" はテンプレート:Mvar² における収束を示し、プランシュレルの定理により正規化されている:

$\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}|f(x){|}^{2}dx=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}|g(y){|}^{2}dy=1.$

彼は、そのような関数のシャノンエントロピーの和が非負であることを示した、

$H(|f{|}^2)+H(|g{|}^2)\equiv -\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}|f(x){|}^2\log |f(x){|}^{2}dx-\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}|g(y){|}^2\log |g(y){|}^{2}dy\ge 0.$

より厳密な境界、

$H(|f{|}^2)+H(|g{|}^2)\ge \log \frac{e}{2}$

はHirschmanとEverett に予想され、1975年に W. Beckner によって証明され、同じ年にBiałynicki-BirulaとMycielskiによって一般化された不確定性原理として解釈された。 この等式は、正規分布の場合に成立する。 しかし上記のエントロピー的不確定性関数は、位相空間で表現されるフォン・ノイマンエントロピーとは明らかに異なることに注意。

証明のスケッチ

この厳密な不等式の証明は、フーリエ変換のいわゆる(q, p)ノルムに依存する。(このノルムの確立が証明の最も難しい部分である）。

このノルムから、シャノンエントロピーを一般化する微分Rényiエントロピーの和テンプレート:Math, where テンプレート:Math の下界を確立することができる。簡潔にするため、この不等式を一次元でのみ考察する。多次元への拡張は単純であり、引用文献に見出すことができる。

Babenko–Beckner 不等式

フーリエ変換の(q, p)ノルムは次のように定義される。

$\Vert ℱ{\Vert }_{q,p}=\underset{f\in L^p(ℝ)}{\sup }\frac{\Vert ℱf{\Vert }_q}{\Vert f{\Vert }_p},$ where $1<p\le 2,$   and $\frac{1}{p}+\frac{1}{q}=1.$

1961年、Babenko はq の偶整数についてノルムを発見。1975年、 フーリエ変換の固有関数にエルミート関数 を使い、 Beckner q ≥ 2 についてノルムの値が、以下であることを証明した:

$\Vert ℱ{\Vert }_{q,p}=\sqrt{p^{1/p}/q^{1/q}}.$

よって、以下のBabenko–Beckner不等式 が出る:

$\Vert ℱf{\Vert }_q\le {(p^{1/p}/q^{1/q})}^{1/2}\Vert f{\Vert }_p.$

Rényiエントロピー境界

この不等式からRényiエントロピーを用いた不確定性原理の表現が導かれる。

Let $g=ℱf,2\alpha =p,2\beta =q,$ so that $\frac{1}{\alpha }+\frac{1}{\beta }=2$ and $\frac{1}{2}\le \alpha \le 1\le \beta$, we have

${(\underset{ℝ}{\int }|g(y){|}^{2\beta }dy)}^{1/2\beta }\le \frac{(2\alpha {)}^{1/4\alpha }}{(2\beta {)}^{1/4\beta }}{(\underset{ℝ}{\int }|f(x){|}^{2\alpha }dx)}^{1/2\alpha }.$

両辺を2乗して対数をとると、次のようになる。

$\frac{1}{\beta }\log (\underset{ℝ}{\int }|g(y){|}^{2\beta }dy)\le \frac{1}{2}\log \frac{(2\alpha {)}^{1/\alpha }}{(2\beta {)}^{1/\beta }}+\frac{1}{\alpha }\log (\underset{ℝ}{\int }|f(x){|}^{2\alpha }dx).$

$\alpha ,\beta$ の条件を書き直すことができる。

$\alpha (1-\beta )+\beta (1-\alpha )=0$

$\alpha ,\beta \ne 1$と仮定し、次に、両辺に負の値を掛ける。

$\frac{\beta }{1-\beta }=-\frac{\alpha }{1-\alpha }$

以下を得る。

$\frac{1}{1-\beta }\log (\underset{ℝ}{\int }|g(y){|}^{2\beta }dy)\ge \frac{\alpha }{2(\alpha -1)}\log \frac{(2\alpha {)}^{1/\alpha }}{(2\beta {)}^{1/\beta }}-\frac{1}{1-\alpha }\log (\underset{ℝ}{\int }|f(x){|}^{2\alpha }dx).$

項を並べ替えると、Rényi エントロピーの和の不等式が得られる。

$\frac{1}{1-\alpha }\log (\underset{ℝ}{\int }|f(x){|}^{2\alpha }dx)+\frac{1}{1-\beta }\log (\underset{ℝ}{\int }|g(y){|}^{2\beta }dy)\ge \frac{\alpha }{2(\alpha -1)}\log \frac{(2\alpha {)}^{1/\alpha }}{(2\beta {)}^{1/\beta }};$

$H_{\alpha }(|f{|}^2)+H_{\beta }(|g{|}^2)\ge \frac{1}{2}(\frac{\log \alpha }{\alpha -1}+\frac{\log \beta }{\beta -1})-\log 2$

右側

$\frac{\alpha }{2(\alpha -1)}\log \frac{(2\alpha {)}^{1/\alpha }}{(2\beta {)}^{1/\beta }}$

$=\frac{1}{2}[\frac{\alpha }{\alpha -1}\log (2\alpha {)}^{1/\alpha }+\frac{\beta }{\beta -1}\log (2\beta {)}^{1/\beta }]$

$=\frac{1}{2}[\frac{\log 2\alpha }{\alpha -1}+\frac{\log 2\beta }{\beta -1}]$

$=\frac{1}{2}[\frac{\log \alpha }{\alpha -1}+\frac{\log \beta }{\beta -1}]+\frac{1}{2}\log 2[\frac{1}{\alpha -1}+\frac{1}{\beta -1}]$

$=\frac{1}{2}[\frac{\log \alpha }{\alpha -1}+\frac{\log \beta }{\beta -1}]+\frac{1}{2}\log 2[\frac{1}{\alpha -1}+\frac{1}{\beta -1}-\frac{\alpha }{\alpha -1}-\frac{\beta }{\beta -1}]$

$=\frac{1}{2}[\frac{\log \alpha }{\alpha -1}+\frac{\log \beta }{\beta -1}]+\frac{1}{2}\log 2[-2]$

$=\frac{1}{2}[\frac{\log \alpha }{\alpha -1}+\frac{\log \beta }{\beta -1}]-\log 2$

シャノンエントロピー境界

この最後の不等式の極限を次のように取る: $\alpha ,\beta \to 1$ そして置換$\mathrm{A}=\alpha -1,\mathrm{B}=\beta -1$ はより一般的でないシャノンエントロピーの不等式をもたらす。

$H(|f{|}^2)+H(|g{|}^2)\ge \log \frac{e}{2},\text{where}g(y)\approx \underset{ℝ}{\int }{e}^{-2\pi ixy}f(x)dx,$

bit, natなど適切な情報単位を選びさえすれば、どの基数の対数でも有効である。

しかし、フーリエ変換の正規化（物理学で通常使われるような、ħ=1となるように正規化する）が異なれば、定数は異なる。

$H(|f{|}^2)+H(|g{|}^2)\ge \log (\pi e)\text{for}g(y)\approx \frac{1}{\sqrt{2\pi }}\underset{ℝ}{\int }{e}^{-ixy}f(x)dx.$

この場合、フーリエ変換の絶対値の2乗を2テンプレート:Mvar倍に拡張すると、エントロピーにlog(2テンプレート:Mvar)が加算されるだけである。

エントロピー対バリアンス境界

ガウス分布または正規確率分布は、分散とエントロピーの関係において重要な役割を果たす。与えられた分散に対してエントロピーを最大化し、同時に与えられたエントロピーに対して分散を最小化するのは、変分法の問題として示すことができる。実際、実数直線上の任意の確率密度関数$\varphi$に対して、シャノンのエントロピー不等式は以下のように規定する。

$H(\varphi )\le \log \sqrt{2\pi eV(\varphi )},$

ここで、Hはシャノンエントロピー、V は分散であり、この不等式は正規分布の場合にのみ等号が成立する。

さらに、ガウス確率振幅関数のフーリエ変換もまたガウス関数であり、これらの絶対値の二乗も同様にガウス関数である。これにより、上記のエントロピー不等式から通常のRobertson分散不確定性不等式を導出でき、後者は前者よりも厳密になりうる。つまり、（ħ=1の場合）Hirschman不等式を指数関数化し、上記のシャノンの表現を用いると、以下のようになる。

$1/2\le \exp (H(|f{|}^2)+H(|g{|}^2))/(2e\pi )\le \sqrt{V(|f{|}^2)V(|g{|}^2)}.$

Hirschman は、エントロピー（彼のバージョンのエントロピーはシャノンの負の値であった）は「小さい測度を持つ集合における[確率分布]の集中度合いの尺度」であると説明した。したがって、低いまたは大きな負のシャノンエントロピーは、確率分布の相当な質量が小さい測度を持つ集合に閉じ込められていることを意味する。

この小さい測度を持つ集合は、連続している必要はないことに注意してほしい。確率分布は、小さい測度の区間に複数の質量の集中を持つことができ、それらの区間がどれほど広く散らばっていても、エントロピーは依然として低くなる可能性がある。これは分散の場合とは異なる。分散は、分布の平均を中心とした質量の集中度合いを測定し、低い分散は、確率分布の相当な質量が小さい測度の連続した区間に集中していることを意味する。

この区別を形式化するために、2つの確率密度関数 ${\varphi }_1$と${\varphi }_2$が等測可能であるとは以下の場合をいう。

$\mathrm{\forall }\delta >0,\mu \{x\in ℝ|{\varphi }_1(x)\ge \delta \}=\mu \{x\in ℝ|{\varphi }_2(x)\ge \delta \},$

ここで テンプレート:Mvar は ルベーグ測度である。 任意の二つの等測可能な確率密度関数は、同じシャノンエントロピーを持ち、実際には任意の次数の同じレニーエントロピーを持つ。しかしながら、分散については同じことが言えない。任意の確率密度関数は、半径方向に減少する等測可能な「並べ替え」を持ち、その分散は（平行移動を除いて）関数の他の任意の並べ替えよりも小さい。そして、任意に高い分散を持つ並べ替えが存在する（すべて同じエントロピーを持つ）。

参考文献

• Jizba, P.; Ma, Y.; Hayes, A.; Dunningham, J.A. (2016). "One-parameter class of uncertainty relations based on entropy power". Phys. Rev. E 93 (6): 060104(R). doi:10.1103/PhysRevE.93.060104.
• テンプレート:Cite journal arXiv:math/0605510v1
• テンプレート:Cite journal
• テンプレート:Cite journal
• テンプレート:Cite journal
• テンプレート:Cite journal