以上で線形計画入門は完了になります。お疲れ様でした。
- 第一章では、情報理論入門で学ぶ内容を俯瞰しました
- 第二章では、情報源符号化を定式化しました
- 第三章では、望ましい符号の性質をまとめ、瞬時符号の条件であるクラフトの不等式を示しました
- 第四章では、平均符号長の限界と、限界に近い符号長を達成するシャノン・ファノ符号を構成しました
- 第五章では、平均符号長の限界に任意に近づくことができるという情報源符号化定理を示しました
- 第六章では、通信路符号化を定式化しました
- 第七章では、相互情報量と通信路容量という通信路についての基本的な概念を定義しました
- 第八章では、誤り率の下界を与えるファノの不等式を示しました
- 第九章では、確率的な記号の系列に対する重要な性質である漸近的等分配性を示しました
- 第十章では、通信路容量が伝送レートの限界であることを表す通信路符号化定理を示しました
このシリーズでは、情報理論に関する基本的な話題は概ねカバーしましたが、情報源符号化定理と通信路符号化定理の二大定理を示すことに焦点をあてたため、関係のない話題についてはあえて取り上げませんでした。たとえば、ハフマン符号化は情報理論の教科書であれば必ず取り上げられていますが、ここでは取り上げませんでした。これらの話題については、個別の記事で扱う予定です。
また、漸近的等分配性は発展的な話題であり、入門書の多くは取り上げていませんが、情報理論において非常に重要な基礎理論であることと、通信路符号化定理の証明に必要なため、取り上げることとしました。多くの入門書では、通信路符号化定理の証明は特殊ケースのみか、概略のみが示されているのに比べて、このシリーズは漸近的等分配性を導入することで自己完結性が高まったと思います。
このシリーズでは取り上げられきれなかった話題がたくさんあります。それらについては、以下の読書案内を参考にしてください。
情報理論を学ぶ上で有用な教科書を紹介します。
情報理論と符号理論について広範な内容について扱った教科書です。
情報理論について扱った和書の中では総合的に見て最も優れていると思います。
具体例が多く、説明も丁寧なので、独学から講義の参考書としてまで広くおすすめです。
欠点があるとすれば、議論が厳密でないことが多いことです。これは逆にいえば感覚的に分かりやすい説明がある、という利点でもあるのですが、数学的に厳密な議論を好む人には、以下の別書をおすすめします。
情報理論と符号理論についてコンパクトにまとまった本です。
上記の情報理論と比べると、数学的な厳密さが高い本であるので、厳密な議論を好む人にはおすすめです。
また、演習問題の回答が丁寧についているので、独学にもおすすめです。
情報理論について広範な内容を扱った洋書です。
例や直感的な説明が豊富にありつつも、厳密に理論が展開されており、あらゆる角度から見て質の高い教科書です。情報理論の教科書の中で最もおすすめの一冊です。
当シリーズ（情報理論入門）もこの教科書に強く影響されています。
式変形が丁寧で行間も少なく、独学にもおすすめです。
また、ギャンブルと情報理論の関係など、興味をそそる話題にも触れられており、様々な観点で情報理論に対する直感を養うことができます。
欠点があるとすれば、日本語でないことと、分量が多いので読むのに時間がかかることでしょうか。
時間がかかってでも読む価値のある教科書なので、腰を据えて情報理論に取り組みたい人は是非読んでみてください。
