情報理論
| 授業目的 |
|---|
| 情報理論は，情報を定量的に扱うことで，通信の効率や信頼性，安全性の限界を明らかにする学問である．また特にデータ圧縮や誤り訂正のための符号化，すなわちメッセージの変換法を検討することも重要な課題となる．本講義では，情報理論と符号化の基本的事項について習得することを目的とする． |
| 到達目標 |
| 情報理論の基本事項に関して正しく理解し，ディジタル通信および情報処理における意義を把握する．具体的な目標は以下の通りである -情報量の定義および意味を学習し，与えられた確率分布に関してそれを計算できること， -情報源符号化定理および効率的な情報源符号化法を理解すること， -通信路符号化のシステムモデルと通信路符号化定理について理解すること． |
| 授業計画 | |
|---|---|
| 第1回 | オンライン授業（オンデマンド型） 講義の概要紹介，情報理論の概要，2進数，対数関数 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第2回 | 事象の情報量 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第3回 | 確率変数のエントロピー 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第4回 | 2個の確率変数のエントロピー 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第5回 | 相互情報量 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第6回 | 情報源と符号化 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第7回 | 平均符号語長と下界 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第8回 | 理想符号語長とエントロピー 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第9回 | 情報源符号化定理 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第10回 | 中間試験 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第11回 | 通信路と符号化 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第12回 | 通信路容量と通信路符号化定理 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第13回 | 誤り訂正符号の基礎 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． 次回の授業内容に関して教科書の当該章を読むことで予習を行う． |
| 第14回 | 情報理論のまとめ 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． |
| 第15回 | 授業（オンデマンド型） 情報源符号化・通信路符号化の発展的な話題・応用 【授業外学修】配布される演習課題に取り組むことで授業内容の理解を深める． |