最尤推定についてのまとめ

Python, ML, Math16 January 2021

最尤推定について自分用にまとめます。
(完全に個人用なので、ミスがあったらすみません)

はじめに

Youtubeでめちゃくちゃ分かりやすい動画あったのでその紹介。

チャンネル 動画
10分で単位が取れる、理系科目のサクっと講義 統計学⑫(点推定2)最尤推定をチンパンでもギリ分かるレベルで解説したよ【大学数学

作者に感謝。

最尤推定とは?

最尤推定は、ある母集団から取り出した標本から、その標本の通りになるような母集団を探索し、
最もそれらしい(尤もらしい)母数を推定すること。

例題

フリースローがpの確率で入る時、200回打ったら120回入った。
この時最尤推定を利用すると確率pは幾つになるか?

尤度関数

母数の確率pを任意に動かした時に、取り出した標本になる確率を尤度といい、尤度を求める関数を尤度関数と言う。
ここでは母集団と標本は以下のように定義できる。

母集団 標本
十分に大きい回数のフリースロー結果 200回打って120回入った結果

尤度関数\(L(p)\)を式で表すと

$$ L(p) = {}_{200} \mathrm{ C }_{120}\ p^{120}\ (p-1)^{80} $$

この関数に対しpの値を変化させた時、最も大きい値となるpを探す。

微分

尤度関数の最も大きい点を探すために微分を行う。
(微分して0になる点のうちいずれかが、最大になる値)

$$ \frac{d}{dp}L(p) = 0 $$

\(L(p)\)は単調増加関数なので対数尤度が0になる点を求めれば良い

$$ \begin{align} \frac{d}{dp}\log L(p) &= \frac{d}{dp}\ \log {}_{200} \mathrm{ C }_{120} + 120\log p + 80\log (1-p) \\ &= 20p -12 = 0 \end{align}$$

よって、

$$p = \frac{3}{5}$$

tags: Python, ML, Math