Weaver（韦弗）： 近期对通信的数学理论的贡献
Recent Contributions to The Mathematical Theory of Communication
Warren Weaver
September, 1949
原文摘要：
本文分为三个主要部分。在第一和第三部分中，W.W.（韦弗）既负责思想也负责形式。中间部分，即“2）A层次的通信问题”，是对贝尔电话实验室的克劳德·E·香农博士的数学论文的解读。正如冯·诺依曼所指出的，香农博士的工作源于玻尔兹曼在其一些统计物理学工作（1894年）中的观察，即熵与“缺失信息”有关，因为它与在记录了关于物理系统的所有宏观可观察信息后，该系统仍可能存在的替代方案的数量有关。L.西拉德（Zsch. f. Phys. Vol. 53, 1925）将此想法扩展到物理学中信息的一般讨论，而冯·诺依曼（《量子力学的数学基础》，柏林，1932年，第五章）则处理了量子力学和粒子物理学中的信息。香农博士的工作与大约二十年前贝尔实验室的H.奈奎斯特和R.V.L.哈特利所发展的某些思想有更直接的联系；香农博士本人也强调，通信理论的基本哲学在很大程度上归功于诺伯特·维纳教授。另一方面，维纳教授指出，香农早期关于开关和数学逻辑的工作早于他自己对这一领域的兴趣；并慷慨地补充说，香农当然应该因其独立发展了该理论的一些基本方面（如引入熵的概念）而得到认可。香农自然特别关注将其应用于工程通信，而维纳则更关注生物应用（中枢神经系统现象等）。
主要内容：
本文主要围绕通信相关研究展开，共划分为三个主要部分。其中，第一部分和第三部分由 Warren Weaver （韦弗）负责构思并撰写，第二部分则是对 Claude Shannon（香农） 数学论文的解读。
1. 关于分析性通信研究总体背景的引言性注释
1.1 Communication（通信）
“通信” 在本文中的定义极为宽泛，它指代一个思想对另一个思想施加影响所运用的所有方式。这不仅包含书面与口头语言，还涉及音乐、各类艺术形式以及所有人类行为，甚至可拓展到一个机制对另一个机制产生影响的情形，例如自动化设备间的信息交互。尽管文中语言常聚焦于言语通信领域，但所阐述内容同样适用于音乐、图片等其他形式的信息传递。
1.2 Three Levels of Communications Problems（通信问题的三个层次）
在通信这个广泛的主题下，存在三个层次的问题：
A 层（技术问题）：How accurately can the symbols of communication be transmitted?（通信符号能被多精确地传输？
此层次着重关注通信符号从发送者传输至接收者的精准程度，涵盖多种类型信号，如离散符号（书面文字等）、连续变化信号（语音、音乐等）以及连续变化的二维模式（电视画面等）的传输准确性。从数学视角来看，涉及有限离散符号集、单个时间连续函数以及多个时间相关函数或时空相关函数的传输。这是通信系统正常运行的基础，直接关系到信息能否准确无误地从源头到达目的地，是后续语义理解和行为影响的前提。若技术层面传输不准确，后续层次的通信效果将大打折扣。
B 层（语义问题）：How precisely do the transmitted symbols convey the desired meaning?（传输的符号如何精确传达期望的含义？）
该层次聚焦于接收者对信息含义的理解与发送者预期含义之间的契合程度。这是一个复杂的过程，即使在相对简单的言语通信中，也面临诸多挑战。例如，双方交流时可能存在理解偏差，即便一方表示理解，也可能并非真正理解对方意图。在跨语言或跨文化交流场景下，语义问题更为凸显，同一信息可能因文化背景和语言习惯不同而被不同解读。语义的准确传达是实现有效通信的关键环节，若含义传达不准确，将影响接收者对信息的理解，进而影响通信对行为的影响效果。
C 层（有效性问题）：How effectively does the received meaning affect conduct in the desired way?（接收到的含义如何以期望的方式有效地影响行为？）
此问题关注接收者接收到信息含义后，其行为是否受到期望的影响。从广义行为范畴来看，通信的目的在于影响行为，否则通信便失去意义。在艺术领域，有效性体现在审美影响上；在言语方面，涉及从语言风格到心理情感乃至价值判断等多方面因素。有效性问题与语义问题紧密相连，语义的准确理解是行为有效影响的基础，而行为影响效果也是衡量语义传达是否成功的重要标准。同时，该层次与技术问题也存在关联，若技术传输失败导致信息缺失或错误，必然影响对行为的有效影响。
1.3 Comments（评论）
如前文所述，人们容易认为 A 层较为表面，仅涉及通信系统工程设计细节，而 B 层和 C 层包含更多通信问题的哲学内涵。然而，Claude Shannon（香农） 在贝尔实验室发展的通信工程数学理论虽看似仅适用于 A 层技术问题，但实际上意义深远。该理论表明 A 层的信号准确性限制会影响 B 层和 C 层，且 A 层与其他层次的重叠程度远超想象，意味着 A 层理论在很大程度上也是 B 层和 C 层的理论，后续部分将进一步阐释和论证这一观点。
2. A 层通信问题
这部分内容着重探讨通信问题在 A 层（技术问题层面）的各种情况，围绕通信系统从信息源到目的地的传输过程，深入分析其中的关键要素与相关理论。
2.1 通信系统及其问题（A Communication System and Its Problems）
详细介绍通信系统的构成要素，涵盖信息源、发送器、信道、接收器和目的地。信息源负责挑选消息，发送器将消息转换为信号通过信道传输，接收器把信号还原为消息传至目的地，而传输中会受噪声干扰。针对此系统，人们关注信息与信道容量的测量、编码特性、噪声影响及连续消息传输等问题，这些问题的研究有助于深入理解通信系统的运行机制与性能优化方向。
2.2 信息（Information）
在通信理论里，信息有特殊定义，与日常意义不同，它与选择消息的自由度相关，用对数度量（以 2 为底），单位是比特。信息源产生消息时符号选择受概率影响（如英语单词受前文影响形成马尔可夫过程），此时信息度量与热力学熵相关，可通过熵研究语言统计结构。同时还提及相对熵和冗余概念，英语冗余度约 50%，冗余在有噪声时能纠错，其变化会影响信息传输特性。
2.3 信道容量（Capacity of a Communication Channel）
信道容量用每秒传输信息量（比特）描述，与信道传输的符号、信息含量及传输速率有关。简单情况下，如定长符号源和信道，容量为每秒传输符号数与每个符号信息量之积；一般情况需考虑符号时长变化，其衡量的是每秒传输的信息量，准确理解信道容量对设计高效通信系统至关重要。
2.4 编码（Coding）
发送器对消息编码，接收器解码。对于无噪声信道传输离散符号有基本定理，合适编码可使传输速率接近信道容量与信息源熵之比，但无法超过，且理想编码虽提升速率却会增加编码延迟，实际中需权衡。编码关键是使信号具适合信道的统计特性，以最大化信号熵并等于信道容量，良好编码能有效提高通信效率。
2.5 噪声（Noise）
噪声会增加接收消息的不确定性，包含无用部分（由噪声引起）。通过计算消息相对于信号的熵（含糊度）可衡量噪声影响，信道容量定义为有用信息的最大传输速率。对于有噪声信道，信道容量与信息源熵关系决定编码能否降低错误，这体现了噪声对通信准确性的重要影响及应对策略的必要性。
2.6 连续消息（Continuous Messages）
连续消息（如语音）的理论更复杂但本质差异不大。实际中连续信号可由有限带宽内谐波成分组成，相关定理使连续信号问题从处理无限变量简化为有限变量。对于特定带宽、功率和噪声的信道有容量定理，对一般连续消息也有接收消息保真度等相关结果，为连续消息通信提供了理论指导。
3. 三个层次通信问题的相互关系
此部分旨在深入剖析通信问题三个层次（技术、语义、有效性）之间的内在联系，探讨它们如何相互影响、相互关联，以及在整个通信体系中的协同作用。
3.1 引言（Introductory）
在论文的第一部分提出了通信问题的三个层次，即技术、语义和有效性问题。Claude Shannon （香农）等人发展的数学通信理论，虽看似仅适用于技术问题层面（Level A），但实际上对语义（Level B）和有效性（Level C）问题也具有重要意义。本部分将回顾相关情况，以检验之前关于 Level A 进展对其他两个层次贡献的观点是否合理，以及三个层次之间的关联是否紧密到使分层变得不那么必要的程度。
3.2 A 层理论的普遍性（Generality of the Theory at Level A）
理论的广泛适用性：数学通信理论在范围上极具一般性，它所处理的问题十分基础，结果经典、简洁且有力。该理论适用于各种形式的通信符号，如书面文字、音乐、图片等，表明其触及通信问题的核心本质，这种一般性使其对密码学、翻译、计算机逻辑设计等领域有着重要贡献。例如，在密码学中，其编码相关理论起到关键作用；在计算机设计方面，Shannon 关于计算机下棋的论文体现了与通信理论的紧密联系，暗示计算机的逻辑设计与通信系统存在相似之处。
通信系统图示的扩展意义：通信系统的图示化（如信息源、发送器、信道、接收器和目的地的划分）虽然最初是为了分析技术问题，但具有深刻的合理性。当考虑语义和有效性问题时，可能需要对图示进行扩展，如增加 “语义接收器” 以匹配消息与接收者的语义统计特征，以及 “语义噪声” 来表示影响意义理解的干扰因素。这表明 Level A 的理论框架为理解更复杂的通信问题提供了基础，虽然需要扩展，但无需根本改变。
信道容量与错误的启示：在 Level A 中发现的信道容量限制以及错误产生的条件（如当试图在信道中传输过多信息，即 H > C 时），对所有层次的通信问题都具有重要启示。这表明不仅要考虑信道的容量，还要考虑接收者（或受众）的容量，过度传输可能导致错误和混乱，无论是在技术层面的信息丢失，还是在语义和有效性层面的误解和无效影响。
熵概念对其他层次的影响：Level A 中发展的熵概念与信息的关系，尽管起初看似与语义中的意义无关，但实际上为理解语义和有效性问题提供了新的视角。例如，通过熵可以研究语言的统计结构，这对于语义研究具有重要意义，因为它有助于处理语义中受上下文影响的复杂问题。此外，熵概念的出现也为语义研究带来了新的思考方向，如信息与意义可能存在类似量子理论中的共轭变量关系，或者意义可能与热力学系统中的熵相关联，这为未来建立真正的意义理论奠定了基础，同时也暗示了 Level A 理论对其他层次问题研究的导向作用。
下期预告：
快速综述 | 语义通信：为何它将重塑通信世界？—— 从概念到应用的深度剖析
热门跟贴