フローベース生成モデル

テンプレート:Machine learning barフローベース生成モデル（フローベースせいせいモデル、英：Flow-based generative model）は、機械学習で使われる生成モデルの一つである。確率分布の変数変換則を用いた手法である正規化流 (テンプレート:Lang-en-short)を活用し確率分布を明示的にモデル化することで、単純な確率分布を複雑な確率分布に変換する。

尤度関数を直接的にモデリングすることには多くの利点がある。例えば、負の対数尤度を損失関数として直接計算して最小化することができる。また、変換前の分布からサンプリングし、フローによる変換を適用することにより、複雑な分布に基づいた新しいサンプルを生成することができる。

これとは対照的に、変分オートエンコーダ（VAE）や生成的敵対的ネットワークなどの多くの代替生成モデリング手法は、尤度関数を明示的に表現しない。

方法

$z_0$を確率分布 $p_0(z_0)$ に従う（一変数または多変数の）確率変数であるとする。

$i=1,...,K$ について、$z_i=f_i(z_{i-1})$を $z_0$ から変換された確率変数の列であるとする。ここで関数 $f_1,...,f_K$は逆変換可能である必要がある：すなわち、逆関数 $f_i^{-1}$が存在する。最終的な出力$z_K$はモデル化したい分布を表す。

ここで、$z_K$の対数尤度は以下の様に表される（対数尤度の導出参照）：

$\log p_K(z_K)=\log p_0(z_0)-\sum _{i=1}^K\log |\det \frac{d{f}_i(z_{i-1})}{d{z}_{i-1}}|$

対数尤度を効率的に計算するためには、関数$f_1,...,f_K$は次の性質を満たす必要がある：

1. 逆変換が容易である。
2. ヤコビ行列式を計算しやすい。

実際には、関数$f_1,...,f_K$はディープニューラルネットワークを使用してモデル化され、対象となる分布からのデータサンプルの負の対数尤度を最小化するように訓練される。これらの手法は通常、逆行列式とヤコビ行列式の両方の計算でニューラルネットワークの順方向演算のみが必要になるように設計される。このような手法の例として、NICE、 RealNVP 、およびGlowがある。

対数尤度の導出

変数 $z_1$及び $z_0$ について、$z_0=f_1^{-1}(z_1)$ であるとする。

確率密度の変数変換公式より、 $z_1$の従う確率分布は以下のように書ける：

$p_1(z_1)=p_0(z_0)|\det \frac{d{f}_1^{-1}(z_1)}{d{z}_1}|$

ここで、$\det \frac{d{f}_1^{-1}(z_1)}{d{z}_1}$は $f_1^{-1}$ のヤコビ行列の行列式である。

逆関数定理により

$p_1(z_1)=p_0(z_0)|\det {\left(\frac{d{f}_1(z_0)}{d{z}_0}\right)}^{-1}|$

恒等式 $\det (A^{-1})=\det (A{)}^{-1}$ により（$A$は正則行列）、次が導ける：

$p_1(z_1)=p_0(z_0){|\det \frac{d{f}_1(z_0)}{d{z}_0}|}^{-1}$

したがって、対数尤度は次のようになる。

$\log p_1(z_1)=\log p_0(z_0)-\log |\det \frac{d{f}_1(z_0)}{d{z}_0}|$

一般に、上記の式は全ての $z_i$及び $z_{i-1}$ に適用される 。$\log p_i(z_i)$ は $\log p_{i-1}(z_{i-1})$ から非再帰的な項を引いたものに等しいので、数学的帰納法より以下が示せる。

$\log p_K(z_K)=\log p_0(z_0)-\sum _{i=1}^K\log |\det \frac{d{f}_i(z_{i-1})}{d{z}_{i-1}}|$

派生

Continuous Normalizing Flow（CNF）

関数の合成によってフローを構築する代わりに、別のアプローチとして、フローを連続時間ダイナミクスとして定式化することができる。$z_0$ を分布 $p(z_0)$ を持つ潜在変数であるとする。以下のフロー関数を使用して、この潜在変数をデータ空間に写す。

$x=F(z_0)=z_T=z_0+\underset{0}{\overset{t}{\int }}f(z_t,t)dt$

ここで $f$ は任意の関数であり、ニューラルネットワークなどでモデル化できるとする。

その場合、逆関数は次のようになる。

$z_0=F^{-1}(x)=z_T+\underset{t}{\overset{0}{\int }}-f(z_t,t)dt$

このとき $x$ の対数尤度は以下で与えられる：

$\log (p(x))=\log (p(z_0))-\underset{0}{\overset{t}{\int }}\text{Tr}\left[\frac{\partial f}{\partial z_t}dt\right]$

実用上では Neural ODE などの数値積分手法が必要になる場合がある。

応用

フローベース生成モデルは、次のようなさまざまなモデリングタスクに適用されている。

• 音声合成
• 画像生成
• 分子グラフ生成
• 点群モデリング
• 動画生成

外部リンク

• Flow-based Deep Generative Models
• Normalizing flow models