十分統計量

十分統計量（じゅうぶんとうけいりょう）とは、十分性を持つ統計量を指す。統計量が十分性を持つ、また十分であるとは、その統計量が下記の性質を満たすことを指す。

ある統計データに対し、それが従う確率分布を示す母数 θ に対応するその統計量の値が決められた条件下で、データが出現する条件付き確率分布が、もはやθ にはよらない。

直感的にいうと、「母数θ（直接は求められず、推定しかできない）に対する十分統計量は、θ の統計学的推定に関する限り、データから得られる情報を漏らさず含んでいる」ということになる[1]。

十分統計量はロナルド・フィッシャーによって導入された、統計学的推定において基本的な概念である。

定義

確率変数X に対する統計量T(X) の値が与えられた条件下で、データx の従う条件付き確率分布が母数 θ と独立である場合、かつその場合に限り、「T(X)はθ に対して十分である」という。すなわち：

Pr ( X = x ∣ T ( X ) = t , θ ) = Pr ( X = x ∣ T ( X ) = t ) {\displaystyle \Pr(X=x\mid T(X)=t,\,\theta )=\Pr(X=x\mid T(X)=t)}

簡単に書けば Pr ( x ∣ t , θ ) = Pr ( x ∣ t ) {\displaystyle \Pr(x\mid t,\,\theta )=\Pr(x\mid t)} である。従って

Pr ( x ∣ θ ) = Pr ( x , t ∣ θ ) = Pr ( x ∣ t , θ ) ⋅ Pr ( t ∣ θ ) = Pr ( x ∣ t ) ⋅ Pr ( t ∣ θ ) {\displaystyle \Pr(x\mid \theta )=\Pr(x,t\mid \theta )=\Pr(x\mid t,\,\theta )\cdot \Pr(t\mid \theta )=\Pr(x\mid t)\cdot \Pr(t\mid \theta )}

である。

フィッシャーの因子分解定理

十分統計量を決定する基準として、フィッシャーの因子分解定理がある。これは、

X の確率密度関数（離散的な場合には確率質量関数）をf(x ;θ) （これは尤度関数に等しい）とすると、ある関数 g と h が次の関係にある場合、かつその場合に限り、T はθ に対して十分である：
f ( x ; θ ) = h ( x ) g ( T ( x ) ; θ ) {\displaystyle f(x;\,\theta )=h(x)\,g(T(x);\,\theta )}
つまり、密度関数 f が分解できて、1つの因子 h が θ に依存せず、またもう1つの因子が T(x) を通してのみ x に依存するようにできる

というものである。これは次のように考えるとわかりやすい。T(X) の値を一定に保ちながらデータ x の値を変え、このような変化が θ に関する推定に影響するかどうかを考えてみる。上の式が成り立つならば、尤度関数 f のθ に対する依存性は変化しないから、影響はないのである。

これが成立するならこの統計量は良いものであるというわけではない。しかし、少なくともこの条件を満たしていない統計量に良い結果は望めない。

例

ベルヌーイ分布

X 1 , … , X n {\displaystyle X_{1},\dots ,X_{n}} をベルヌーイ分布に従う独立な確率変数、その期待値を p {\displaystyle p} とすると、和 T ( X ) = X 1 + ⋯ + X n {\displaystyle T(X)=X_{1}+\dots +X_{n}} が、 p {\displaystyle p} に対する十分統計量となる（ここで「成功」は X i = 1 {\displaystyle X_{i}=1} に、「失敗」は X i = 0 {\displaystyle X_{i}=0} に当たる。従って T {\displaystyle T} は総成功回数である）。

これは次の同時確率分布をみればわかる：

Pr ( X = x ) = P ( X 1 = x 1 , X 2 = x 2 , … , X n = x n ) {\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})}

各観察は独立だから、次のように書き換えられる：

p x 1 ( 1 − p ) 1 − x 1 p x 2 ( 1 − p ) 1 − x 2 ⋯ p x n ( 1 − p ) 1 − x n {\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}\,\!}

そしてp と 1 − p の累乗を集めて、

p ∑ x i ( 1 − p ) n − ∑ x i = p T ( x ) ( 1 − p ) n − T ( x ) {\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}\,\!}

これは因子分解基準に合致し、h(x)=1 となる。

特に注目すべきは、不明の母数p が、統計量 T(x) = Σ xi を通じてのみ、観察値 x に関係することである。

一様分布

X1, ...., Xn を、一様分布に従う独立な確率変数（[0,θ]の値をとる）とすると、T(X) = max(X1, ...., Xn )が、θ に対する十分統計量である。

これは次の同時確率分布をみればわかる：

Pr ( X = x ) = P ( X 1 = x 1 , X 2 = x 2 , … , X n = x n ) {\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})}

観察値は互いに独立だから、次のように書き換えられる：

H ⁡ ( θ − x 1 ) θ ⋅ H ⁡ ( θ − x 2 ) θ ⋅ ⋯ ⋅ H ⁡ ( θ − x 2 ) θ ⋅ ⋯ ⋅ H ⁡ ( θ − x n ) θ {\displaystyle {\frac {\operatorname {H} (\theta -x_{1})}{\theta }}\cdot {\frac {\operatorname {H} (\theta -x_{2})}{\theta }}\cdot \,\cdots \,\cdot {\frac {\operatorname {H} (\theta -x_{2})}{\theta }}\cdot \,\cdots \,\cdot {\frac {\operatorname {H} (\theta -x_{n})}{\theta }}\,\!}

ここで H(x) はヘヴィサイドの階段関数である。さらに書き換えて：

H ⁡ ( θ − max i { x i } ) θ n {\displaystyle {\frac {\operatorname {H} \left(\theta -\max _{i}\{\,x_{i}\,\}\right)}{\theta ^{n}}}\,\!}

これはθ だけの関数と見なすことができ、maxi(Xi) = T(X) となる。これから因子分解条件が成り立ち、今回も h(x) = 1 となる。

ポアソン分布

X1, ...., Xn を、母数λ のポアソン分布に従う独立な確率変数とする。和 T(X) = X1 + ... + Xn が λ に対する十分統計量である。同時確率は：

Pr ( X = x ) = P ( X 1 = x 1 , X 2 = x 2 , … , X n = x n ) . {\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}

観察は独立であるから、次のように書き換えられる：

e − λ λ x 1 x 1 ! ⋅ e − λ λ x 2 x 2 ! ⋅ ⋯ ⋅ e − λ λ x n x n ! {\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdot \,\cdots \,\cdot {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}\,\!}

さらに

e − n λ λ ( x 1 + x 2 + ⋯ + x n ) ⋅ 1 x 1 ! x 2 ! ⋯ x n ! = e − n λ λ T ( x ) ⋅ 1 x 1 ! x 2 ! ⋯ x n ! {\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}=e^{-n\lambda }\lambda ^{T(x)}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}\,\!}

これから因子分解条件が成り立ち、h(x) は全変数の階乗の積の逆数である。

ラオ・ブラックウェルの定理

十分統計量 T(X) が与えられればX の条件付き分布はθ によらないので、T(X) が与えられた条件での任意の関数（ただし条件付き期待値が定義できるとする）g(X) の条件付き期待値も母数θ にはよらない。従ってこのような条件付き期待値も統計量であり、推定に用いることができる。

十分性に関して重要な定理に、ラオ・ブラックウェルの定理がある。この定理は、「g(X) をθ の推定量（どんな種類の推定量でもよい）とすれば、十分統計量T(X) のもとでのg(X) の条件付き期待値はθ のよい推定量（他の推定量より悪くなることはない）である」というものである。

これを利用して、大雑把な推定量 g(X) が得られたら、これから条件付き期待値を求めることで、最適な推定量が得られる。

脚注

  1. ^ 例えて言えば、二つのさいころの目の和だけで物事が決まり、個別の目の組み合わせについては無関係となる場合には、目の和だけで話が十分ということを指している。

関連記事