Shannon, C. E., "A Mathematical Theory of Communication," The Bell System Technical Journal Vol. 27, pp. 379-423, 623-656, 1948. (長谷川淳・井上光洋(訳)『コミュニケーションの数学的理論』明治図書出版，1969年．)

●要旨

本論は，通信の基本となる情報量の数量的定義，通信路の容量の測定，効率的な符号化のプロセスと速度への影響，雑音の特性と影響及び影響を最小あるいは除去する方法，さらには連続的メッセージの離散的メッセージへの変換について論じたものである．本論においては，意味論的問題や効果の問題ではなく，いかに通信の記号を正確に伝送できるかという技術的問題が中心的に扱われている． 　シャノンは，まず，可能な選択の数(自由度)の対数(２を底とする)で測定したものを情報量と規定する．例えば，２つの選択肢がある場合，それらの選択肢の発生確率が等しいという条件が満たされれば，その情報量は１である．２つの選択肢から選ばれるのは常に一方だけという極端な場合，その情報量は０となる． 　つぎに，先行事象に依存する確率過程に従う情報の情報量を，エントロピーという概念として定義づける．これは，先に規定された情報量の一般化であり，選択の自由度を意味する．また，実際のエントロピーと最大のエントロピーに対する比率を相対的エントロピーと呼び，相対的エントロピーを１から引いた値を冗長度と規定した．冗長性の高い部分は，それが欠けてもメッセージは本質的に完全であり，その情報にとって不要な部分を意味する．なお，英語の冗長度は約50％とされる． 　また，通信路の容量は，毎秒伝送される情報の量(bit/s)として表される．送信機はメッセージを受け取り，信号に変え(符号化)，受信機に送られる．受信機は信号を受け取り，メッセージに変換する(復号化)．雑音がない場合には，毎秒Ｃビットの容量を持ち，毎秒Ｈビットのエントロピーがある場合，最大で　Ｃ／Ｈ　に近い平均速度が出る．しかし，その速度は，符号化または復号化の速度にも依存しており，それらが遅い場合には全体の速度も低下する． 　雑音がある場合，信号が知られているときの，メッセージにおける平均不確定度のことを曖昧度と呼ぶ．符号化のプロセスがどんなに複雑で適切であろうと，最小の望ましくない不確定度はそれ以上減少させることができない． 　最後に，連続的メッセージを離散表現することによって，有限個の変数を扱うかなり単純な事態に還元することができる．これによってメッセージの信頼度と，情報を生み出す速度，伝送速度，通信路容量などを特徴づけることができる．

●コメント

シャノンのいう情報量とは，すなわち不確実性を減らす程度であり，不確実性を減らすものこそが情報であるとされる．野口悠紀雄が『情報の経済理論』の中で指摘する通り，不確実性を減らさない情報(音楽や映画など)は対象とされないこと，また，不確実性を減らしさえできれば，無価値なものであっても情報量があるとされることなどに注意しなければならない． 　しかしながら，コミュニケーションを数学的に表現することによって，通信を可能にする基礎を提供した意義は，極めて深いものであるといえよう．特に，連続量の離散表現変換は，デジタル化技術の基礎をなすものであり，今日の情報環境に及ぼした影響は計り知れない．

林　幹人(2002年4月22日)