入門 情報幾何 輪読会メモ

本研究会「バイオ算」では、2024/10 から 2025/4 現在に至るまで、情報幾何学の輪読会を行なっている。具体的には「入門　情報幾何〜統計的モデルをひもとく微分幾何学〜　藤岡敦」という本をメンバーで読み進めている。

この記事では、「入門　情報幾何」の第 1, 2 章の輪読会のメモを記録する。2025/4 現在で、全７章のうち 6 章まで読み進めており、随時本ページを更新していく。

第 1 章 確率空間からなる統計的モデル

• \( n \)次元ユークリッド空間についての基礎的な話がしてある。
• 開集合の定義を、距離関数 \( d \) を用いて行っている。
• \( n \)次元統計的モデルを定義し、期待値や分散を定義している。
• 全射 \( F \) に写像された統計的モデルの確率関数 \( q_F(y; \xi)\) を定め、それを用いて”十分統計量”を定義している。

第 2 章 フィッシャー計量

• 2.1 章では、計量の導入をおこなってから、”はめ込み”を定義し、はめ込みとヤコビアンのランクの関係について説明している。ヤコビアンがランク落ちしていないならば、その写像\( f \) は はめ込み である。
  • わかりやすく述べると、情報が減りも増えもせず、単に かさまし する写像が はめ込み である。
  • したがって、はめ込みの次元は \(写像元の次元 \leq 写像先の次元 \) を必ず満たす。

2.1 章の記述に、「時刻 \(t\) を単調（増加）な別の連続な関数 \( \varphi(s) \) で置換しても曲線の長さは変わらない。」とあるが、言ってることは単純で、「時間 \( t \) の進行が遅くなったり速くなったりしても、時が遡ることがなければ曲線 \( \gamma(\varphi(s)),\,\, s \in [\alpha, \beta]\) と \( \gamma(t),\,\, t \in [a, b]\) の長さは同じである。
＊ただし、 \( \varphi(\alpha) = a, \,\varphi(\beta) = b,\,\varphi'(s) > 0,\, \) \( \forall s \in [\alpha, \beta] \) とする。」というだけのこと。第 6 章でも曲線の話が出てくるが、時が遡ることはないということを暗黙の了解としていることがあるので注意する。

• はめ込み \( f \) と計量 \( g \) を用いて、誘導計量 \( f * g\) を定めた。
• さらに、はめ込み \( \Phi \) が “マルコフはめ込み” であることを、十分統計量 \( F \) を用いて、\( \dfrac{p(\cdot ; \Phi(\xi) )}{q_F(F(\cdot) ; \Phi(\xi) ) }\) が \( \xi \) に依存しないこと、として定めた。
  • 具体的なマルコフはめ込みを三つ述べた
    • \( m \) 倍に全体を引き伸ばす
    • \( m_1, m_2, … \) 倍にそれぞれ引き伸ばす
    • 後ろに \( 1 – \sum_i \xi_i \) を追加
• チェンツォフの定理「上に示した三つのタイプの任意のはめ込みに対して、そのはめ込みによる、与えられた計量 \( g_n \) の誘導計量 \( g_m \) が不変となるような計量 \( g_n \)は (2.96) 式の形に限られる」の証明。
  • フィッシャー計量は、端的に述べると、任意のはめ込みに対して誘導計量が不変な計量であり、それを示すのがチェンツォフの定理である。
  • フィッシャー計量は、情報を落とさない冗長な変換に対して不変である。
    • “本質的ではない”操作によって変化しない計量がフィッシャー計量

第 3 章 \( \alpha \) 接続

随時更新