いろいろな特徴を持った（特別な）行列をまとめて列挙する。 転置行列 行列の要素ごとに\(( a_ij )\)を\(( a_ji )\)に置き換えた行列 行列Aの転置行列は、\(^t A\)もしくは\(A^T\)で表す 直行行列...

前提 RNNなどのネットワークは値をベクトル（行列）で扱うので、単語をそのままモデルに渡すことができない。 似ている単語や、関連のある単語は近いベクトルにしたい 分散表現 Word2Vec 教師なし学習の単語分散表現の代表的な手法 分布仮説...

What's？ RNNは「Recurrent Neural Network」の略で、時系列処理をしたい時に使用される。 （昔は「Recursive Neural Network」もRNNと呼んでいたが現在は使用されない） Recurrent Neural Network...

What's? 普通のCNNは、画像がなんなのか？（=なんの画像なのか）を調べるタスク Object Detectionはどこに、何が？を推論するタスク どうやるか？...

AlexNet 2012年のILSVRC(ImageNet Large Scale Visual Recognition Challenge) で優勝したモデル このモデルが当時すごい精度を出したので、DeepLearningに火がついた...

What's CNN 畳み込みニューラルネットワーク（CNN）はディープラーニング領域で用いられるアルゴリズム（手法）の１つ。 元々は画像認識分野において使用するものをとして開発されたが、便利すぎるので以下のような分野でも使用されている。 画像認識...

CNNにおいても当然標準化は必要となるが、CNNで考えうる標準化は以下の４通りがある。 Batch Normalization 各チャンネルごとにバッチ内の全データで標準化する 最強。使えるならこれを使いたい バッチ数が十分であることが必須条件...

アンサンブル学習とは 弱いモデルを組み合わせて性能をあげ、強いモデルを作ろうとする考え方。手法。 かなり広い概念としての言葉になっている Bagging（バギング） 並列処理でのアンサンブル 複数のモデルの多数決を取って、最も投票のあった解を採用する...

submoduleとして追加したリポジトリに誤って変更を加えてしまい、change modifyになる時の対処 $ rm -fr [submodule_name] $ git submodule deinit -f [submodule_name] $ git...

高速に畳み込みを行うためのテクニックの１つ ２次元行列に変換する 画像はフィルタサイズごとに、フィルタはそのまま１列（column）に変換する。 先に形を変換しておくだけで、計算は行列積一回でOK 行列積の計算にできるということは並列計算になるので、GPUと相性がいい...