解説165 条件付きエントロピー

Characater: 夏色花梨
条件付きエントロピーは、情報Bを得た後の事象Aの不確かさです。 /
条件付き確率を使って計算します。/
条件付きエントロピーの値は非負になります。/
ということは、どんな情報でもエントロピーを下げるのに役立つ、という事になります。/
ログ記号を、条件付き確率で挟んだ総和の形になります。/
条件付きエントロピーを、サイコロの例で考えてみましょう。/
まず、６つの目があるサイコロのエントロピーを計算します。/
教科書にもよく出てきますが、それぞれ６分の１の確率なので、/
エントロピーは、2.58になります。/
次に、事象Aに対する情報、出た目が奇数である、という情報をBをします。/
情報Bを得た後の条件付きエントロピーは，H A Bになります。　/
この場合、条件付き確率は、P A Bで三分の一になります。/
そのため、この状況での条件付きエントロピーを計算すると、/
1.58になります。/
さらに、天気予報の例で見てみます。/
まず、予想が完全に的中した状況と、完全に外れた状況です。/
表にすると、このようになります。 /
予想で１００％晴れだと予想して、実際の晴れの確率も１００％になっています。/
完全に外れた場合も同様です。/
次に、予報の確率と、実際に観測されるであろう晴と雨の確率が等しくない場合を考えます。/
この場合は、２つの確率が一致していないため、/
晴れの予報と、雨の予報の確率がずれています。/
そのため、天気予報は外れる場合がありますが、/
エントロピーは0.68に減っているため、予報自体の情報量はある、ということになります。/