任意に取り出した無作為標本がある確率密度関数に従うとしたとき, 関数に内包される不定のパラメータの推定量を標本から見つけ出す方法として, 以下に述べる最尤法(method of maximum likelihood)がある。
を密度関数
をもつ分布からの独立標本とし,それらの同時密度関数を,
とおく。これは
の関数であるが,
データ
を固定し,
の関数と
考えたとき尤度関数(likelihood function)という。
更に,
の値を最大にする
が存在するとき,
を の
最尤推定量(maximum likelihood estimator)という。
であるから, の値を最大にする
を求める代わりに,
の値を最大にする
を求める方が計算が簡単になる場合が多い。
すなわち,
を満たす をもって
とする。
同様のことが,独立同分布でない一般のモデルに関する尤度関数でも定義される。