今回は2024年に解いた統計検定の過去問を解いてみました。ただし、私も受験生として挑戦したのがつい先日ですので、よくわかっていないところも大いにあると思います。参考になれば幸いですが、もし気になる箇所がありましたら真偽を確かめつつ参考にしていただけたらと思います。
問題自体は著作権の関係もあるのでこちらのページには載せません。解答に至るまでの考え方を上げていきます。例年であれば統計検定の公式ページから確認できるようになると思いますので、確認してみてください。（2025年1月12日14時時点では2023年の問題でした）
[5]は調整中です。
[1]
まず、確率変数 $Y_i\ \ (i=1, … n)$ が以下のように与えられています。$ε_i$にはそれぞれ独立に正規分布$N(0, σ^2)$に従います。
$$ Y_i = \beta x_i+\epsilon_i $$
ここで$x_i$は正の定数と仮定があります。（試験本番で $x_i$ も確率変数と考えて意味の分からない計算をしたのはここだけの話です…）
今、$Y_i$の実現値、$y_i\ \ (i=1, … n)$が与えられたときの、$β$の対数尤度関数$l(\beta)$を求めないといけません。
初めに与えられた式をよく見ると、$\epsilon_i$について整理してあげれば、これが正規分布に従うことが示されているため、$\epsilon_i$たちについての同時確率密度関数は簡単にわかりそうですね。これを$\beta$についてみてあげたものが$β$の尤度関数だとわかれば解けたも同然です！ $\epsilon_i$たちは互いに独立なので、それらの積をとってあげればよいです。
さっそく、$ε_1,…,ε_n$について、同時確率密度関数は
$$ f(ε_1,…,ε_n\ |\ β) = \prod^n_{i=1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left(- \frac{\epsilon_i^2}{2 \sigma^2} \right) $$
で与えられます。最初の式から$\epsilon_i=y_i-\beta x_i$であることに注意すると、尤度関数$L(\beta)$は、
$$ L(β) = \prod^n_{i=1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left(- \frac{(y_i-\beta x_i)^2}{2 \sigma^2} \right) $$
したがって、対数尤度関数$l(\beta)$は以下になります。
$$ l(\beta)=-\frac{n}{2}\log \left(2 \pi \sigma^2 \right)-\sum^n_{i=1} \frac{(y_i-\beta x_i)^2}{2 \sigma^2} $$
[2]
パラメータ$\beta$の最尤推定量を求める問題です。統計1級に向けて準備されている方であれば[1]が解ければ問題なく導けるでしょう。[1]で求めた対数尤度関数$l(\beta)$を$\beta$で微分して、それが0となるときの$\beta$を求めればよいのですね。
$$ \frac{d}{d\beta}l(\beta)=-\frac{1}{2 \sigma^2} \sum^n_{i=1} 2(Y_i-\beta x_i)(-x_i) = 0 $$
よって、求める$\hat \beta_{ML}$は、
$$ \hat \beta_{ML} = \frac{\sum^n_{i=1} Y_ix_i}{\sum^n_{i=1} x_i^2} $$
そして、この$\hat \beta_{ML}$が不偏推定量であることを示します。（こういった問題がスッと出されると一瞬わからなくなるのは私だけでしょうか…）
「不偏推定量である」＝「期待値を計算して母数に一致する」ことを示せばよいので計算しましょう。といっても、$x_i$は正の定数ですから、
$$ E[Y_i]=E[\beta x_i+\epsilon_i]=\beta x_i $$
であることがわかれば、
$$ E[\hat \beta_{ML}] = \frac{\beta \sum^n_{i=1} x_i^2}{\sum^n_{i=1} x_i^2}=\beta $$
となり、不偏推定量であることが確かめられます。
[3]
一般的にパラメータ$\theta$のフィッシャー情報量$I_n(\theta)$は以下のように表せます。ここで、$\mathbf \it X$は$n$個の確率変数の組$X_1,…X_n$を表します。
$$ I_n(\theta)=E\left[ \left\{ \frac{d}{d\theta} \log f_n(X\ |\ \theta) \right\}^2 \right]=-E\left[ \frac{d^2}{d\theta^2} \log f_n(X\ |\ \theta) \right] $$
どちらでも計算すれば求まるのですが、基本的には二階微分を用いて表したものがすぐに計算可能です。[2]で最尤推定量を求めるときに一階微分のものは求まっているので、それをさらに微分して、期待値を計算して符号に気を付ければ大丈夫です。
$$ \frac{d^2}{d\beta^2}l_n(\beta)=-\frac{d}{d\beta}\frac{1}{2 \sigma^2} \sum^n_{i=1} 2(Y_i-\beta x_i)(-x_i) = -\frac{1}{\sigma^2}\sum^n_{i=1}x_i^2 $$
よって、フィッシャー情報量$I_n(\beta)$は、($x_i$は定数なので、期待値をとってもそのままですね)
$$ I_n(\beta)=-E[-\frac{1}{\sigma^2}\sum^n_{i=1}x_i^2]=\frac{\sum^n_{i=1}x_i^2}{\sigma^2} $$
クラメール・ラオの下限は、フィッシャー情報量の逆数で与えられるので、
$$ \frac{1}{I_n(\beta)} = \frac{\sigma^2}{\sum^n_{i=1}x_i^2} $$
が解答になります。
[3]までは尤度関数を求めて、最尤推定量を求めて、フィッシャー情報量やクラメール・ラオの下限を出すといった、問題演習としてはかなりオーソドックスな問題かなと思います。
[4]
以下で与えられた推定量の期待値と分散を求める問題です。
$$ \tilde \beta=\frac{\sum^n_{i=1}Y_i}{\sum^n_{i=1}x_i} $$
[2]と同様ですが、$E[Y_i]=E[\beta x_i+\epsilon_i]=\beta x_i$ だということがわかっていれば期待値はすぐに求まります。
$$ E[\tilde \beta] =\frac{\beta \sum^n_{i=1}x_i}{\sum^n_{i=1}x_i}=\beta $$
となり、与えられた推定量も不偏推定量になりますね。
分散もほとんど同じです。$Var[Y_i] = Var[\beta x_i+\epsilon_i]=Var[\epsilon_i]=\sigma^2$ であることがわかります。また、$\epsilon_i$はそれぞれ独立であるため、$Var[\sum^n_{i=1} Y_i] = \sum^n_{i=1} Var[Y_i]$ が成り立ちます。（忘れがちかもしれないですが、独立でない場合は異なる項$[Y_i, Y_j]$同士の相関係数を考慮して総和に含めないといけません）
$$ Var[\tilde \beta] = Var\left[\frac{\sum^n_{i=1}Y_i}{\sum^n_{i=1}x_i}\right]=\frac{\sum^n_{i=1}Var[Y_i]}{(\sum^n_{i=1}x_i)^2}=\frac{n\sigma^2}{(\sum^n_{i=1}x_i)^2} $$
となります。分散を扱うときに、係数は2乗して外に出すことに注意してください（（$\sum^n_{i=1}x_i)^2$の部分です）。
[5] (調整中)