【信息论与编码理论】
拼译：the theory of information and coding
科学技术的发展使人类正进入一个新的时代，这个时代的主要特征之一是对信息的需求和利用，有人称它为信息时代。信息论是当今信息时代3大基础理论(信息论、控制论、系统论)之一，是探讨信息的基础理论。
信息论是20世纪中叶从通信，主要从电信中总结和开拓出的理论。它是以通信系统的信息传输问题为主要研究对象，以信息的定量描述、信道中信息传输的理论上极限(潜在)能力为主要研究目的。它的奠基性论文是1948年美国仙农(C．E．Shannon)发表的《通信的数学理论》。仙农对信息论的贡献是开拓性的、全面的、系统的。差不多与仙农同时研究信息论并取得杰出成果的还有美国著名控制论创始人维纳(N．Wiener)和前苏联柯尔莫哥洛夫(A．H．Kолмоюpоъ)等人。仙农的贡献主要包括以下内容：(1)建立统一的通信系统物理模型，并引用概率论加以描述。(2)将热学中“熵”引入通信中，建立信息熵的重要概念，采用它作为度量信息的标准。(3)建立信道容量的概念，并用它表示信道中理论上的极限(潜在)传输能力。(4)建立了某些在最简单、最基本条件(如离散、无记忆、单个消息符号等)下的编码定理，它包括无失真信源编码定理、信道编码定理、限失真信源编码定理，又称为仙农编码3个定理。(5)对连续信源的熵和高斯噪声信道的信道容量作了研究，并给出了在限频、限时、限功率、白色高斯信道条件下的信道容量公式：
即著名的仙农公式。(6)自40年代末至60年代初，仙农还分别对保密通信、信息率失真理论以及多用户理论等方面作出了开拓性的贡献。
当前，信息论的研究除了不断完善上述经典信息论以外，在理论上最为活跃的有3个方向：(1)信息率失真R(D)函数理论：早期仙农信息论主要研究无失真信源的信息传输问题，然而实际上接收信息的信宿无论是人还是仪器都存在一定灵敏度和分辨力，因此追求无失真恢复是没有实用价值的。信息率失真理论就是要研究不同类型的信源和信宿，在不同的允许(限定)失真D时，信源所必须传送的最小信息率R(D)，故又称为R(D)函数理论。这一理论是仙农在1959年首先提出的，60年代末又由伯格(T．Berger)等进一步发展和完善。R(D)函数理论是近代信息处理的理论基础之一，它给出各类信源(宿)的信源编码理论压缩极限性能，对信源编码具有重大的理论指导意义。然而大多数R(D)函数的计算都相当复杂，只能借助计算机迭代运算求解，且对更复杂的有记忆信源甚至计算机也无法求解。(2)多用户信息论：早期信息论只研究单用户，多用户的基本思想是仙农1961年首先提出的，70年代，随着卫星通信、广播通信、移动通信和计算机网络的飞速发展，出现了适应上述多用户信源和信道的理论。斯列宾(D．Slepien)、伍尔夫(J．K．Wolf)、柯夫(T．Cover)等人进一探讨了多用户理论。它大致可以分为3类：多输入、单输出的多址接入信道(如卫星通信)；单输入、多输出的广播信道(如广播和卫星电视广播)；多输入、多输出的广播信道(如移动通信和计算机网)。目前仅多址接入信道理论比较完善但成果多集中于纯理论性，还不能应用于实际。(3)现代保密学：1949年仙农发表《保密通信与信息理论》，首先将保密技术纳入科学轨道，产生保密学，但保密学引起人们广泛重视是在70年代以后的两件事：一件是1976年迪菲(W．Diffie)和海尔曼(M．E．Hellman)发表《密码学新方向》一文，另一件是1977年公布美国数据加密标准(DES)。前者是理论上的新突破，它打破了传统的单钥体制，提出崭新的双钥制。它在功能上首先从传统的信息保密扩展到既保密又具有认证性的双重功能，并且为在公开信道上安全地(既保密又具有认证性)传递信息提供了理论上的可能性，为民用化、商业化提供了广阔的前景。而后者DES的公布，公开了DES加密算法，可广泛用于商业数据加密，使保密学走向实用化。编码理论是信息论领域中另一个主要分支。信息论中的编码定理只证明了最佳编码方法的存在性，而编码理论则偏重于最佳编码的构造性，它可分为信源编码和信道编码两类。信源编码是指对信源输出的信号所进行的变换，其目的是为了提高信息传输的有效性。这是由于客观的统计特性，信源总是存在着大量的多余成分，我们将这类去除信源多余成分的变换称为信源编码，它可分为无失真信源编码和限失真信源编码两类，目前前者发展比较成熟。1948年仙农首先构造了一类按概率特性匹配的仙农码，1952年哈夫曼(D．A．Huffman)又提出一类性能上更为优良的最佳无失真信源编码，60年代，有人将哈夫曼推广到有记忆信源，70年代以后哈夫曼码走向实用化，目前采用实用化的修正哈夫曼码的文件传真机已商品化。另一类有前途的信源编码是算术编码，它也是仙农首先提出，后来到70～80年代经过瑞荪(J．Rissanen)和朗东(G．G．Langdon)等人的努力解决了工程上运算精度，并给出适用于二元信源的实用性算术码，从而走向实用化。目前，在信源编码领域中通用编码是人们研究的一个热点。它是研究一类当信源统计特性不确知和完全不知道时，实现信源匹配的最佳信源编码。它首先是由戴维荪(L．D．Davisson)于 1973年提出的，后来兹夫(J．Ziv)和兰波尔(A．Lempel)以及爱力斯(P．Elias)等人又从不同的角度进行了研究。另外，多用户信源编码和限失真信源编码也是值得注意的两个方向。信道编码是指对信道输入的信号所进行的变换，其目的是为了提高信息传输的可靠性。即为了克服信息传输中在信道中所受到的噪声干扰，在发送端设计一种能在信道传输中产生错误后，在接收端能自行发现和纠正错误的码，称它为信道编码。它主要包含分组码和卷积码两类。1948年，仙农提出著名的有干扰信道编码定理，奠定了信道编码的基础。50年代，汉明(R．W．Hamming)、斯列宾(D．Slepian)和普兰奇(E．Prange)等人根据仙农思想设计了一些好码和有限域概念，并给出了性能估计的基本理论码限。60～70年代是信道编码发展的最活跃时期，这一时期不仅提出了许多有效编译码方向如门限译码、迭代译码、软判决译码以及卷积码的维特比(Viterbi)译码算法，而且还注意到实用化问题。70～80年代，以前苏联学者戈帕(Goppa)为首的一批学者构造了一类Goppa码，其中一类子码具有极好的渐近性能，它达到了仙农信道编码定理中所要求的理论性能的信道编码性能，这是理论上一大突破。同时，由于VLSI技术、FFT技术以及微机的普及，使信道编码在各类数字通信系统特别是在深空通信以及计算机存贮运算系统得到广泛的应用。信息论与编码理论的发展主要从“完善、应用、拓广”3个方面来考虑。完善主要指仙农信息论的核心编码定理部分，特别是指对有记忆的信源和信道、限失真信源、多用户信源和信道的编码定理的推广和完善。在编码理论方面，重点在寻找限失真的信源编码理论和方法、多用户编码理论和方法、寻找渐近性能好的信道编码、特别是新近出现的代数几何码及各类组合码。应用主要指寻求各类最优编、译码的实现特别是各类译码算法的改进，各类编、译码专用VLSI芯片的研制，以及各类联合编、译码和组合编译码技术，各种类型的级连码，也是一类性能良好，有发展前途的信道编码。拓广有3个含义：一是优化指标从单指标拓广到联合段化的多指标；二是从单用户拓广到多用户乃至通信网；三是指信息含义上从仙农的研究的狭义客观概率信息拓广到适应当今信息化社会的广义信息。(北京邮电大学博士生导师吴伟陵教授撰)