星の本棚

サイエンス、テクノロジー、エンジニア関連のノート(忘備録)です。

情報理論 / 情報数理

情報理論[Information theory] / 情報数理

情報理論、情報数理に関してまとめたマイノートです。随時追加予定です。

default

項目 [Contents]

  1. 概要、全体 MAP [Overview]
  2. 情報理論の基礎
    1. 情報と確率
    2. 情報と確率空間 [probability space]、確率変数
    3. 情報源 [information source]
      1. 無記憶情報源(記憶のない情報源)[ i.i.d : independent and identically distributed ]
      2. 記憶のある情報源(マルコフ情報源)
    4. 通信路(情報を伝達する媒体)[channel]
      1. 記憶のない通信路(無記憶通信路)
      2. 記憶のある通信路(Gilblertモデル等)
    5. 情報の符号化 [encode](情報を数量化する)
      1. 符号木
      2. 情報源と符号語の集合
    6. 情報量(情報の価値を定量化する)
      1. クラフトの不等式 [Kraft's inequality]
      2. KL 情報量 [Kullback–Leibler divergence]
  3. 情報の符号化 [encode]
    1. 情報量符号化
      1. エントロピー [entropy](情報量の平均値)
        1. 同時エントロピー [joint entropy]
      2. クロス・エントロピー [cross-entropy] と KL-情報量(情報源符号化の観点からみたKL-情報量)
      3. 情報量符号化定理(シャノンの第1定理)
      4. Fano符号とシャノン符号
      5. エントロピーと漸近等分割性 [AEP : Asymptotic Equipartition Property]
    2. 通信路符号化
      1. 条件付きエントロピー [conditional entropy] と相互情報量 [Mutual information]
      2. 通信路符号化定理(シャノンの第2定理)
  4. 連続情報の離散化 [discretization]
    1. 連続情報のエントロピー(微分エントロピー)
    2. 標本化 [sapling] と量子化 [quantization]
      1. ベクトル量子化 [QV : quantization vector]
        1. k-means 法
        2. 学習ベクトル量子化 [LQV : leaning quantization vector]
  5. 情報幾何学 [Information Geometry]
    1. 確率分布空間とモデル多様体
    2. KL-情報量 [Kullback–Leibler divergence]
      1. m-表現(混合表現)とe-表現(指数表限)
    3. 曲がった空間内での”まっすぐな”線と”平らな”面(m-測地線、e-測地線 )
    4. 直交葉層化 [foliation] と射影 [projection]
  6. 【補足】情報幾何学から見た機械学習
    1. モデル選択
    2. 推定量のバラツキ
    3. AIC(赤池の情報量基準)[Akaike's Information Criterion]
    4. 混合モデル [mixed model]とアンサンブル学習(集団学習) [ensemble learning]
      1. 混合モデルによるモデル多様体の拡大(混合モデルの幾何学的解釈)
        1. 混合正規分布モデル [GMM : Gaussian Mixture Model]
        2. 混合正規分布モデルの幾何学的観点
      2. EM アルゴリズム [expectation–maximization algorithm]
        1. EM アルゴリズムの適用例
        2. EM アルゴリズムの幾何学解釈
      3. ブースティング [Boosting]、アダブースト [AdaBoost]
        1. アダブースト [AdaBoost]
          1. AdaBoost の学習アルゴリズムの導出
          2. AdaBoost の幾何学的解釈
      4. バギング [Bagging]
        1. バギングの幾何学解釈
      5. 【補足】最尤度推定
      6. 【補足】ブーストトラップ法
  7. 【補足】グラフ理論 [graph theory](外部リンク)
  8. 【補足】最適化問題 [optimization problem](数理計画問題 [mathematical programming](外部リンク)
  9. 【補足】統計学 / 統計解析 [statistics](外部リンク)
  10. 【補足】多変量解析(外部リンク)
  11. 【補足】機械学習 [Machine Learning](外部リンク)
    1. 【補足】ニューラルネットワーク [Neural Network](外部リンク)
  12. 参考文献

  13. 追記予定項目

概要、全体 MAP [Overview]

記載中...

情報理論の基礎

情報と確率

image

情報と確率空間、確率変数

image twitter_ _ _1-2_170610

情報源 [information source]

image image

無記憶情報源(記憶のない情報源)[ i.i.d : independent and identically distributed ]

twitter_ _ _2-2_170611

記憶のある情報源(マルコフ情報源)

twitter_ _ _2-3_170611

通信路(情報を伝達する媒体)[channel]

twitter_ _ _3-1_170611

記憶のない通信路(無記憶通信路)

twitter_ _ _3-2_170611

記憶のある通信路(Gilblertモデル等)

twitter_ _ _3-3_170611

情報の符号化 [encode](情報を数量化する)

twitter_ _ _4-1_170611

符号木

twitter_ _ _4-2_170612

情報源と符号語の集合

twitter_ _ _4-3_170612

情報量(情報の価値を定量化する)

image

クラフトの不等式 [Kraft's inequality]

image image twitter_ _ _5-2_170613

KL 情報量 [Kullback–Leibler divergence]

twitter_ _ _5-3_170613 twitter_ _ _5-4_170613 twitter_ _ _5-5_170613 twitter_ _ _5-6_170613

情報の符号化 [encode]

情報量符号化

image

エントロピー [entropy](情報量の平均値)

image image

同時エントロピー [joint entropy]

image

クロス・エントロピー [cross-entropy] と KL-情報量(情報源符号化の観点からみたKL-情報量)

twitter_ _ _7-3_170617 image image

情報量符号化定理(シャノンの第1定理)

twitter_ _ _7-5_170617

Fano符号とシャノン符号

記載中...

エントロピーと漸近等分割性 [AEP : Asymptotic Equipartition Property]

twitter_ _ _7-10_1_170620 twitter_ _ _7-10_2_170620

通信路符号化

image

条件付きエントロピー [conditional entropy] と相互情報量 [Mutual information]

image twitter_ _ _8-2_170620 twitter_ _ _8-3_170620

通信路符号化定理(シャノンの第2定理)

twitter_ _ _8-4_170623 twitter_ _ _8-5_170623

連続情報の離散化 [discretization]

image

連続情報のエントロピー微分エントロピー

image twitter_ _ _9-2_170623

標本化 [sapling] と量子化 [quantization]

image

ベクトル量子化 [QV : quantization vector]

image

k-means 法

twitter_ _ _9-4_170623

学習ベクトル量子化 [LQV : leaning quantization vector]

twitter_ _ _9-5_170623

情報幾何学 [Information Geometry]

image

確率分布空間とモデル多様体

image twitter_ _ _6-2_170613

KL-情報量 [Kullback–Leibler divergence]

twitter_ _ _6-3_170613 image

m-表現(混合表現)、e-表現(指数表限)

image

曲がった空間内での”まっすぐな”線と”平らな”面(m-測地線、e-測地線 )

twitter_ _ _6-5_170615 twitter_ _ _6-6_170615

直交葉層化 [foliation] と射影 [projection]

twitter_ _ _6-7_170616 twitter_ _ _6-8_170616

【補足】情報幾何学から見た機械学習

モデル選択

twitter_ _ _10-1_170625 twitter_ _ _10-2_170625

定量のバラツキ

記載中...

AIC赤池の情報量基準)[Akaike's Information Criterion]

twitter_ _ _10-3 _170627 twitter_ _ _10-4 _170627 twitter_ _ _10-5 _170627 twitter_ _ _10-6 _170627 twitter_ _ _10-7_170626

混合モデル [mixed model]とアンサンブル学習(集団学習) [ensemble learning]

twitter_ _ _11-1_170626

混合モデルによるモデル多様体の拡大(混合モデルの幾何学的解釈)

image

混合正規分布モデル [GMM : Gaussian Mixture Model]

image

混合正規分布モデルの幾何学的観点

image image image image twitter_ _ _11-5_170630

EM アルゴリズム [expectation–maximization algorithm]

twitter_ _ _11-6_170701

EM アルゴリズムの適用例

image image image image

EM アルゴリズム幾何学的解釈

image image image image

ブースティング [Boosting]、アダブースト [AdaBoost]

image

アダブースト [AdaBoost]

image image

アダブーストの学習アルゴリズムの導出

image image twitter_ _ _11-13_170703

アダブーストの幾何学的解釈

twitter_ _ _11-14_170704 image image twitter_ _ _11-16_170705 image

バギング [Bagging]

image image

バギングの幾何学的解釈

twitter_ _ _11-19_170707

【補足】最尤度推定

twitter_ _ _11-7 _170701

【補足】ブートストラップ法

image image

参考文献

情報数理の基礎と応用 (ライブラリ情報学コア・テキスト)
amazonで詳細を見る

情報理論の基礎―情報と学習の直観的理解のために (SGC Books)
amazonで詳細を見る

はじめてのパターン認識
amazonで詳細を見る

パターン認識機械学習 上(ベイズ理論による統計的予測)
amazonで詳細を見る
パターン認識機械学習 下(ベイズ理論による統計的予測)
amazonで詳細を見る