首先了解一下什么是信息理论？人类社会的生存和发展时时刻刻都离不开信息的获取、传递、处理、再生、控制和利用。比如原始人的结绳记事

结绳记事

这是最初的一种表达储存、传递信息的方法，还有我国古代的烽火告警

烽火告警

是一种快速的远距离传递信息的方法，语言和文字是人类社会是用来表达和传递信息的最基本的工具，造纸术和印刷术的发明使得信息表示和储存方式产生了一次重大的革命随着电报、电话等现代化通信工具的发明，使信息传递更加快速、便利远距离再次出现了信息加工和传输的变革。

信息论的诞生：

香农《通信的数学理论》

自从1948年香农发表了《通信的数学理论》，宣告了信息论做为一科独立全新的诞生。从此以后信息理论又得到了不断的发展和深化。尤其是在信息理论的指导下，信息技术也得到了快速的发展过程。迈入二十一世纪后，高度信息化时代以来，移动通信、互联网通信、多媒体通信、计算机技术、空间技术等信息技术的高速发展。在信息技术领域，只要涉及信息的存储、传输和处理都要用到香农的信息理论。例如，我们生活中所用到的数码相机、影像系统、网络游戏等这些都采用了信息理论中的纠错编码技术和数据压缩技术。因此，信息理论不仅是现代科学信息大厦里的一块重要基石，而且还广泛的渗透到生物学、医学、管理学、经济学等，信息科学与其他科学交叉，各个领域都与我们密切相关的。

信息论就是一门把信息作为研究对象，以揭示信息的本质特征和规律基础，信息论是研究信息及其运动规律的科学。它主要研究的是如何提高信息系统的可靠性、有效性、保密性、认证性，以使信息系统最优化。信息论的出发点就是认识信息的本质和运动规律，它的归宿就是利用信息来达到某种具体的目的。那么，究竟什么是信息呢？信息一词在各种场合都被广泛采用，不同领域不同学科对信息都有着不同的定义，例如，在日常生活中我们会说信息是消息，是数据。还有从数学、物理学、哲学等角度对信息的定义，但是这些都不适用于我们通信领域。那么，信息论中如何定义信息呢？我们是从通信的角度来定义信息的，通信的主要任务是讲信息的外在形式准确、快速地传送给接收端。通信的过程是一种消除不确定的过程，不确定性的消除就获取了信息。因此，通信的结果是消除或部分消除不确定性从而获得信息。我们可以举个例子，假设巴西队和阿根廷队将进行一场重要的足球比赛，在未得到结果的任何消息之前，我们可以通过两队以往的成绩来进行判定，两队实力方面，比赛的结果存在着不确定性，如果从新闻上了解到，上半场巴西队2:0领先，这样是不是巴西队取胜的概率大大增加，说明了比赛结果的不确定性大大减少了，消除了一部分的不确定性，比赛结束后巴西队2:0取胜，那说明不确定性消除了，不管通信的结果是不确定性部分消除或是完全消除，这都是因为收到了信息，因此可见，整个的通信过程确实是不确定性逐渐减少从而获取信息的过程。因此，在信息论中信息的定义采用香农在1948年发表的著名论文：“通信的数学理论”中对信息的定义：信息是消除随机不确定性的东西，也就是信息是随机不确定性的减少。我们也可以引出信息的度量方法，信息是不确定性的减少，那么度量信息，首选要从度量不确定性入手。不确定性和可能性是有关系的，不确定性越大，则可能性就小，那么可能性在数学上用什么来度量呢？我们可以用概率来度量可能性，概率越大，可能性越大，则不确定性越小，因此，不确定性可以用概率这个数据工具来度量，不确定性是概率的函数。