fz-qqq's diary

テキストマイニング、機械学習など

Deep Learningを勉強する際に参考にしたサイト・書籍まとめ

随時更新していきます。

そもそもロジスティック回帰とは?MLPとは?

多層パーセプトロンMLP)を理解する

ニューロンが学習する様子をコマ送りに見ることができます。

誤差逆伝播法について説明してくれています。

  • 層が増えることで表現力が増すことは下記書籍の4章で理解しました。

集合知プログラミング

集合知プログラミング

Deep Learning全般について

Learning Deep Architectures for AI

1つ目の資料ではDeep Learning全般のアルゴリズムについて解説してくれています。ただ、英語でものすごく長いので、二つ目のまとめ資料を参考にしながら読むと読みやすいです。

各種勉強会・学会資料など


Stream videos at Ustream
Ustream.tv: ユーザー preferred: Deep Learningの技術と未来, PFI Show . コンピュータ

NNの基本から、Deep Learning、NLPへの応用まで、幅広く取り扱ってくれている動画。英語ですが、とても参考になります。

生成モデル、RBM、畳み込み、Autoencoderなどが理解しやすいです。

東大での勉強会資料。全般的に役に立ちます。

Deep Learning × NLP

Manning先生による、NAACL HLT 2013でのチュートリアル資料です。動画も上記サイト中にあります。

自然言語処理でどのように特徴量を作ればよいか。また、どういった関連研究があるのかなどがまとめられています。

ハイパーパラメータに関してなど、実用における注意点をまとめてくれています。

実装について

theanoを利用しない実装

theanoを利用せずに実装しているコードを見ることで、中身の理解が進みました。

Pylearn2での実装

githubのページ

deeplearning.netでの紹介

XORの分類はここを参考にさせてもらいました。

Pylearn2の実装について紹介してくれています。