概念の整理のため． 情報量，自己エントロピー 事象が起こる確率に対して， \begin{align} \displaystyle I(E) = -log P(E) \end{align} 平均情報量（シャノンエントロピー） ある確率変数の従う確率分布を考えたとき， \begin{align} \displaystyle H(X) = …