Python

What's CNN 畳み込みニューラルネットワーク（CNN）はディープラーニング領域で用いられるアルゴリズム（手法）の１つ。 元々は画像認識分野において使用するものをとして開発されたが、便利すぎるので以下のような分野でも使用されている。 画像認識...

CNNにおいても当然標準化は必要となるが、CNNで考えうる標準化は以下の４通りがある。 Batch Normalization 各チャンネルごとにバッチ内の全データで標準化する 最強。使えるならこれを使いたい バッチ数が十分であることが必須条件...

アンサンブル学習とは 弱いモデルを組み合わせて性能をあげ、強いモデルを作ろうとする考え方。手法。 かなり広い概念としての言葉になっている Bagging（バギング） 並列処理でのアンサンブル 複数のモデルの多数決を取って、最も投票のあった解を採用する...

高速に畳み込みを行うためのテクニックの１つ ２次元行列に変換する 画像はフィルタサイズごとに、フィルタはそのまま１列（column）に変換する。 先に形を変換しておくだけで、計算は行列積一回でOK 行列積の計算にできるということは並列計算になるので、GPUと相性がいい...

前提 入力するデータは同じだが、同時にいくつかの問題を解きたい（推論したい）場合がある これらを別の問題としてそれぞれのネットワークに分けるのではなく、１つのネットワークでやる方がむしろ効果が期待できる NNの途中の層までは共通である程度の層で分岐する...

正規化 一般に機械学習においては、前処理においてデータを扱いやすい（学習しやすい）形に整える事。 これをしないと、特徴ごとのスケールの差でレンジが大きいものがより影響を与えてしまうのでよくない。 0 ~ 1のスケールに全特徴量を揃えるのが一般的 標準化...

他の学習で使用したネットワークの上位の層（入力に近い層）を他の学習にも流用すること。 機械学習全体における概念だが、CNNにおいては特に有効である。 なぜCNNで有効か？...

SGD（確率的勾配降下法）の欠点を補う方法が色々と考案されている。 それらの内容を簡単にまとめるためのメモ。 SGD（確率的勾配降下法）とは ミニバッチごとにランダムな初期値をサンプリングし、勾配降下法を行う。...

ゼロから作るディープラーニングの中で、ニューラルネットワークをフレームワーク無しで実装し 根本的な理解を深めるというものがあります。 その内容を少しだけ改変し、自分なりに更に理解するために以下実装します。 参考 クラスで定義 Affine変換(入力X * 重みW +...

What's ニューラルネットワークの各ニューロンには、重み（データの重要度的な）が伝達される。 その重みのパラメータを適切にしてやることで最終的な損失（損失関数によって求められる）を少なくすることができる。 勾配降下法はその適切なパラメータを探索するための方法の１つ...