情報理論

授業目的
情報理論は,情報を定量的に扱うことで,通信の効率や信頼性,安全性の限界を明らかにする学問である.また特にデータ圧縮や誤り訂正のための符号化,すなわちメッセージの変換法を検討することも重要な課題となる.本講義では,情報理論と符号化の基本的事項について習得することを目的とする.
到達目標
情報理論の基本事項に関して正しく理解し,ディジタル通信および情報処理における意義を把握する.具体的な目標は以下の通りである
-情報量の定義および意味を学習し,与えられた確率分布に関してそれを計算できること,
-情報源符号化定理および効率的な情報源符号化法を理解すること,
-通信路符号化のシステムモデルと通信路符号化定理について理解すること.
授業計画
第1回講義の概要紹介,情報理論全般の説明
第2回情報量:確率変数のエントロピー
第3回情報量:2個の確率変数のエントロピー
第4回情報量:相互情報量
第5回情報源のモデル
第6回情報源符号化の概念
第7回情報源符号化定理:順定理
第8回情報源符号化定理:逆定理
第9回情報源符号化の手法
第10回通信路のモデル
第11回通信路符号化の概念
第12回通信路符号化定理
第13回誤り訂正符号の基礎
第14回総合演習