アルゴリズム

パターン認識と機械学習 上

C.M.ビショップ

丸善出版

第1章 序論

  • 1.1 例:多項式曲線フィッティング
  • 1.2確率論
    • 1.2.1 確率密度
    • 1.2.2 期待値と分散
    • 1.2.3 ベイズ確率
    • 1.2.4 ガウス分布
    • 1.2.5 曲線フィッティング再訪
    • 1.2.6 ベイズ曲線フィッティング
  • 1.3 モデル選択
  • 1.4 次元の呪い
  • 1.5 決定理論
    • 1.5.1 誤識別率の最小化
    • 1.5.2 期待損失の最小化
    • 1.5.3 棄却オプション
    • 1.5.4 推論と決定
    • 1.5.5 回帰のための損失関数
  • 1.6 情報理論
    • 1.6.1 相対エントロピーと相互情報量
  • 演習問題

第2章 確率分布

  • 2.1 二値変数
    • 2.1.1 ベータ分布
  • 2.2 多値変数
    • 2.2.1 ディリクレ分布
  • 2.3 ガウス分布
    • 2.3.1 条件付きガウス分布
    • 2.3.2 周辺ガウス分布
    • 2.3.3 ガウス変数に対するベイズの定理
    • 2.3.4 ガウス分布の最尤推定
    • 2.3.5 逐次推定
    • 2.3.6 ガウス分布に対するベイズ推論
    • 2.3.7 スチューデントのt分布
    • 2.3.8 周期変数
    • 2.3.9 混合ガウス分布
  • 2.4 指数型分布族
    • 2.4.1 最尤推定と十分統計量
    • 2.4.2 共役事前分布
    • 2.4.3 無情報事前分布
  • 2.5 ノンパラメトリック法
    • 2.5.1 カーネル密度推定法
    • 2.5.2 最近傍法
  • 演習問題

第3章 線形回帰モデル

  • 3.1 線形基底関数モデル
    • 3.1.1 最尤推定と最小二乗法
    • 3.1.2 最小二乗法の幾何学
    • 3.1.3 逐次学習
    • 3.1.4 正則化最小二乗法
    • 3.1.5 出力変数が多次元の場合
  • 3.2 バイアス--バリアンス分解
  • 3.3 ベイズ線形回帰
    • 3.3.1 パラメータの分布
    • 3.3.2 予測分布
    • 3.3.3 等価カーネル
  • 3.4 ベイズモデル比較
  • 3.5 エビデンス近似
    • 3.5.1 エビデンス関数の評価
    • 3.5.2 エビデンス関数の最大化
    • 3.5.3 有効パラメータ数
  • 3.6 固定された基底関数の限界
  • 演習問題

第4章 線形識別モデル

  • 4.1 識別関数(判別関数)
    • 4.1.1 2クラス
    • 4.1.2 多クラス
    • 4.1.3 分類における最小二乗
    • 4.1.4 フィッシャーの線形判別
    • 4.1.5 最小二乗との関連
    • 4.1.6 多クラスにおけるフィッシャーの判別
    • 4.1.7 パーセプトロンアルゴリズム
  • 4.2 確率的生成モデル
    • 4.2.1 連続値入力
    • 4.2.2 最尤解
    • 4.2.3 離散特徴
    • 4.2.4 指数型分布族
  • 4.3 確率的識別モデル
    • 4.3.1 固定基底関数
    • 4.3.2 ロジスティック回帰
    • 4.3.3 反復再重み付け最小二乗
    • 4.3.4 多クラスロジスティック回帰
    • 4.3.5 プロビット回帰
    • 4.3.6 正準連結関数
  • 4.4 ラプラス近似
    • 4.4.1 モデルの比較とBIC
  • 4.5 ベイズロジスティック回帰
    • 4.5.1 ラプラス近似
    • 4.5.2 予測分布
  • 演習問題

第5章 ニューラルネットワーク

  • 5.1 フィードフォワードネットワーク関数
    • 5.1.1 重み空間対称性
  • 5.2 ネットワーク訓練
    • 5.2.1 パラメータ最適化
    • 5.2.2 局所二次近似
    • 5.2.3 勾配情報の利用
    • 5.2.4 勾配降下最適化
  • 5.3 誤差逆伝播
    • 5.3.1 誤差関数微分の評価
    • 5.3.2 単純な例
    • 5.3.3 逆伝播の効率
    • 5.3.4 ヤコビ行列
  • 5.4 ヘッセ行列
    • 5.4.1 対角近似
    • 5.4.2 外積による近似
    • 5.4.3 ヘッセ行列の逆行列
    • 5.4.4 有限幅の差分による近似
    • 5.4.5 ヘッセ行列の厳密な評価
    • 5.4.6 ヘッセ行列の積の高速な計算
  • 5.5 ニューラルネットワークの正則化
    • 5.5.1 無矛盾なガウス事前分布
    • 5.5.2 早期終了
    • 5.5.3 不変性
    • 5.5.4 接線伝播法
    • 5.5.5 変換されたデータを用いた訓練
    • 5.5.6 たたみ込みニューラルネットワーク
    • 5.5.7 ソフト重み共有
  • 5.6 混合密度ネットワーク
  • 5.7 ベイズニューラルネットワーク
    • 5.7.1 パラメータの事後分布
    • 5.7.2 超パラメータ最適化
    • 5.7.3 クラス分類のためのベイズニューラルネットワーク

演習問題
付録A データ集合
付録B 確率分布の一覧
付録C 行列の性質
付録D 変分法
付録E ラグランジュ乗数
上巻のための参考文献
和文索引
英文索引