「情報の量」と「情報の符号化」についての基礎を学ぶ。
伝送や記録では、データ量をできるだけ減らしたい。一方で、通信においては伝送エラーの可能性があり、伝送誤りをできるだけ小さくするための符号化が必要となる。これらの課題に対する基本的な考え方と方法を理解する。

情報量、平均情報量（エントロピー）、情報源モデル、情報源符号化、通信路モデル、通信路符号化などの情報理論における重要な概念について理解しており、またそれらについての数理的及び概念的な説明ができるようになる。

情報量、平均情報量（エントロピー）、相互情報量、情報源、符号化、通信路

情報通信技術の基礎にある数学的理論であり、情報概念を定量的に扱うための考え方を習得する講義である（工学部情報・エレクトロニクス学科のカリキュラム・ポリシー)。「確率統計学」「パターン認識と機械学習」「データ通信」「応用確率論」「暗号とセキュリティ」「情報ネットワーク工学」などと関連を有する。

スライドと板書による講義と数週に1度の小テストまたはレポート課題で学習を進めていく。

第1週 授業方法の説明、情報理論とは

第2週 ～ 第5週 情報量、平均情報量、相互情報量

第6週 ～ 第9週 情報源モデル、情報源符号化

第10週 ～ 第12週 通信路モデル（マルコフ情報源）、通信路容量

第13週 ～ 第14週 、通信路符号化、誤り訂正符号（線形符号）

第15週 期末試験と講義全体の総括

講義資料・テキスト等を「熟読」し、十分な理解を得るための予習及び復習を必ず行うこと。
確率論を基礎として成り立つ講義なので、確率論に関する知識・理解が不十分な場合は前もってある程度自習しておくこと。

講義で扱った例題等、決して聞き流すことなく実際に手を動かして自分で解いてみること。

小テスト及びレポート、期末試験の総合点で60点以上を合格とする。

小テスト及びレポート40点、期末試験60点の配点で評価する。

テキスト：講義スライドをテキストとする。
参考書：
中村篤祥、喜田拓也、湊真一「基礎から学ぶ情報理論」（ムイスリ出版）
小川英一郎「マルチメディア時代の情報理論」（コロナ社）

自分なりに考え、問題を解いて理解を深めること。
線形代数および確率論の基礎的な事項について必要に応じて予習しておくことが望ましい。

質問等がある場合は、授業終了後に直接問い合わせるようにすること。