けーじの学び場

元メーカー勤めのデータサイエンティスト。AIや統計、転職とかについて気ままに綴る予定


IT

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

AI

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

統計

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

雑記

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.


お知らせ


今回は2024年に解いた統計検定の過去問を解いてみました。公式の回答ではなく、間違っているところもあるかもしれないですが、理解の助けになれば幸いです。もう受験してから3か月がたっていますが、これからもわかる範囲で投稿していこうと思うので、気長にお待ちいただければと思います。

ブログで解説する2024年統計数理の問題はこれが最後になります。経験分布関数が何かを知らずこの問題は着手しませんでした。知っていると[2]まではすぐに解答できる問題のようですね。[3]は初見では難しいかもしれないです。現代数理統計学の基礎には全く同じ問題が演習として用意されているので、一度解いたことがあれば難なく解答できたと思います。[4]以降は2022年問3の悪魔のような誘導を思い出します…。

[1]

経験分布関数は、横軸に確率変数の取りうる値、縦軸に確率をとって分布を表すものです。「分布関数」自体は聞きなじみがあると思いますが、これを実際に得られた値をもとに記述するということですね。確率変数がとりうる値のうち下限から初めて、上限まで横軸に取り、初めは0、最後は1になるようにグラフを書くのでした。

経験分布関数

[2]

経験分布関数から期待値を求めるところですね。離散値をとる確率変数の期待値は以下で求まります。

$$ E[X] = \sum_{i=1}^nx_iP(X_i=x_i) $$

これが面積を足し合わせたものと考えると経験分布関数の対応する部分がわかります。実際に得られている値で書き直すと、

$$ E[X] = 1×\frac{1}{5} + 2×\frac{2}{5} + 3×\frac{1}{5} + 6×\frac{1}{5} $$

となります。例えば、 $2×\frac{2}{5}$の部分に注目すると、以下の図の幅2 高さ $\frac{2}{5}$の面積に対応することがわかります。

経験分布関数

すべての確率変数の値について実施すると、経験分布関数の上の部分が期待値にあたることになります。

期待値

[3]

[2]の状況を連続型の確率変数に対しても適用しようとしている問題です。連続型の確率変数の分布関数のグラフから、 ある $x$の$\{1 – F(x)\}$は図の部分になります。これをすべての $x$について考えてあげると、やはり分布関数の上の部分にあたります。

分布関数

連続関数なので、微小区間 $dx$をとって積分すると、分布関数の上の部分の面積が求まります。

$$ \int_{0}^{\infty}\{1-F(x)\}dx $$

これはまさに今証明しようとしている式と同じですね。

実際の証明についてですが、ここがかなりテクニカルな感じがしています。 $F(x)=\int_0^xf(t)dt$だということが頭に浮かべば、 $1-F(x) = \int_x^{\infty}f(t)dt$ だと思い浮かんで積分計算に持ち込めるかもしれません。

$$ \int_0^{\infty}\{1-F(x)\}dx = \int_0^{\infty}\left\{\int_x^{\infty}f(t)dt\right\}dx $$

公式の回答はここから期待値の形に一気に持って行っているように見えますが、計算する確率変数の順番を変えて求めています。上の形は $t$について積分してから $x$について積分していますが、 $x$から積分します。

積分範囲から、 $x < t < \infty, 0 < x < \infty$ となりますが、 $0 < x < t, 0 < t < \infty$ と書き換えることができます。これを用いて積分の順番を入れ替えると、

$$ \int_0^{\infty}\left\{\int_x^{\infty}f(t)dt\right\}dx = \int_0^{\infty}\left\{\int_0^tf(t)dx\right\}dt = \int_0^{\infty}tf(t)dt=E[X] $$

となり、題意を示すことができます。

[4]

ガンマ関数を計算できれば、与えられた式をそのまま積分するだけで求められます。

$$ f(x) = \int_0^{\infty}g(x)h(\lambda)d\lambda $$ $$ = \int_o^{\infty} \lambda e^{-\lambda x}\frac{\beta^\alpha}{\Gamma (\alpha)}\lambda ^{\alpha-1}e^{-\beta\lambda}d\lambda $$ $$ = \int_0^{\infty}\frac{\beta^{\alpha}}{\Gamma(\alpha)}\lambda^{(\alpha+1)-1}e^{-(\beta+x)\lambda}d\lambda $$ $$ = \frac{\Gamma(\alpha+1)} {\Gamma(\alpha)} \frac{\beta^\alpha}{(\beta+x)^{\alpha+1}}\int_0^{\infty}\frac{(\beta+x)^{\alpha+1}}{\Gamma(\alpha+1)}\lambda^{(\alpha+1)-1}e^{-(\beta+x)\lambda}d\lambda $$ $$ = \frac{\Gamma(\alpha+1)} {\Gamma(\alpha)} \frac{\beta^\alpha}{(\beta+x)^{\alpha+1}} = \frac{\alpha\Gamma(\alpha)}{\Gamma(\alpha)}\frac{\beta^\alpha}{(\beta+x)^{\alpha+1}}=\frac{\alpha \beta^\alpha}{(\beta+x)^{\alpha+1}} $$

となります。

[5]

[4]で確率密度関数を求めているので、 $f(x)$に $x$をかけて積分すればよいと考えるでしょう。しかし、問題の前提をよく考えるともう少し楽に計算できます。

与えられている $g(x)$は変数 $\lambda$が定数の時の関数になります。少し丁寧に書くと、

$$ g(x| \lambda) = \lambda e^{-\lambda x} $$

ということになります。指数関数の平均は $\frac{1}{\lambda}$であることは計算してもわかりますし、覚えてしまっている方も多いと思います。$\lambda$が定数であるときはすぐに $x$の平均を求めることができることが重要です。使いたいのは条件付き期待値の計算です。

$$ E[X] = E^{\lambda}[E^{X|\lambda}[X|\lambda]] $$

$E^{X|\lambda}[X|\lambda]$は、 $X$と $\lambda$の同時確率密度関数と $X$の積を、 $\lambda$を定数とみなして $X$について積分すればよいです。

$$ E^{X|\lambda}[X|\lambda] = \int_0^{\infty} x\lambda e^{-\lambda x}\frac{\beta^\alpha}{\Gamma (\alpha)}\lambda ^{\alpha-1}e^{-\beta\lambda}dx $$ $$ = \frac{\beta^\alpha}{\Gamma (\alpha)}\lambda ^{\alpha-1}e^{-\beta\lambda} \int_0^{\infty} x\lambda e^{-\lambda x} dx $$ $$ = \frac{\beta^\alpha}{\Gamma (\alpha)}\lambda ^{\alpha-1}e^{-\beta\lambda} ・ \frac{1}{\lambda} $$ $$ = \frac{\beta^\alpha}{\Gamma (\alpha)}\lambda ^{(\alpha-1)-1}e^{-\beta\lambda} $$

これを $\lambda$について積分すれば期待値が求まります。その計算は[4]とほぼ同様です。

$$ E[X] = E^{\lambda}[E^{X|\lambda}[X|\lambda]] $$ $$ = \int_0^{\infty}\frac{\beta^\alpha}{\Gamma (\alpha)}\lambda ^{(\alpha-1)-1}e^{-\beta\lambda}d\lambda $$ $$ = \beta \frac{\Gamma(\alpha-1)}{\Gamma(\alpha)}\int_0^{\infty}\frac{\beta^{\alpha-1}}{\Gamma (\alpha-1)}\lambda ^{(\alpha-1)-1}e^{-\beta\lambda}d\lambda $$ $$ = \beta \frac{\Gamma(\alpha-1)}{\Gamma(\alpha)} = \frac{\beta}{\alpha-1} $$

となります。ここで、ガンマ関数に入るパラメータは正の値である必要がありますので、上記の期待値は $\alpha-1 > 0$、すなわち $\alpha > 1$で存在することになります。

2022年の問3にも、同じように確率密度関数を計算させてから期待値を求める問題があり、同様に条件付き期待値を考えた方が簡単なものでした。過去問演習は大事ですね。

PAGE TOP