Nature Physics 信息热力学经典综述：通往信息的物理本质

打开网易新闻 查看精彩图片

导语

信息是一个抽象的量，与其物理实现方式无关；然而，测量信息的结果必须记录在某种物理系统中——如兰道尔所言：信息是物理的。麦克斯韦妖首次揭示了熵与信息之间的关系，然而，热力学第二定律的传统表述中并没有提及信息。我们该如何将信息引入热力学？又该如何阐明信息的物理本质，从而能够评估测量、擦除、复制和反馈等信息操作的热力学代价？本文是2015年发表于 Nature Physics 的经典综述，介绍了一个基于随机热力学和涨落定理的信息热力学新理论框架。

为了探讨统计物理学的前沿进展，集智俱乐部联合西湖大学理学院及交叉科学中心讲席教授汤雷翰、纽约州立大学石溪分校化学和物理学系教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学物理系助理教授唐乾元，以及多位国内外知名学者共同发起「」读书会。读书会从12月12日开始，计划每周四晚20:00-22:00进行，持续时间预计12～15周。欢迎感兴趣的朋友一起讨论交流！

研究领域：信息热力学，涨落定理，随机热力学，麦克斯韦妖

Juan M. R. Parrondo, Jordan M. Horowitz & Takahiro Sagawa| 作者

李沛东| 译者

梁金 | 审校

打开网易新闻 查看精彩图片

论文题目：Thermodynamics of information 论文地址：https://www.nature.com/articles/nphys3230

目录

摘要

引言

西拉德引擎

信息与第二定律

信息的物理本质

动态信息流

展望、扩展与前景

摘要

从本质上讲，热力学第二定律是概率性的，因为其表述需要对系统状态进行概率描述。这引发了关于第二定律客观性的问题：例如，它是否依赖于我们对系统的了解？一个多世纪以来，大量努力致力于将信息引入热力学，并评估操纵信息的熵和能量成本。最近，这一具有历史意义的理论探索在信息于小尺度下被操纵的实际情境中体现出来，例如分子与细胞生物学、人工纳米装置或量子计算。在本文中，我们介绍了一个基于随机热力学（stochastic thermodynamics）和涨落定理（fluctuation theorems）的信息热力学新理论框架，回顾了一些最新的实验结果，并概述了该领域的前沿发展状况。

引言

在热力学第二定律被发现后不久，詹姆斯·克拉克·麦克斯韦 （James Clerk Maxwell） 通过一个思想实验阐释了该定律的概率特性，这个实验后来被称为麦克斯韦妖 （Maxwell’s demon） [1, 2]。他提出，如果有一种聪明的生物——即妖——掌握了气体中粒子的速度和位置的信息，那么这个妖可以将高速、高能的粒子从冷库 （cold reservoir） 转移到热库 （hot reservoir） ，这表面上违反了热力学第二定律[1, 2]。

麦克斯韦妖首次揭示了熵与信息之间的关系——表明通过使用信息，可以放宽第二定律对系统与其环境之间能量交换施加的限制。然而，鲁道夫·克劳修斯 （Rudolf Clausius） 、开尔文勋爵 （Lord Kelvin） 和马克斯·普朗克 （Max Planck） [3]对第二定律的表述中并没有提及到信息。调和这两种图景需要完成两个独立的任务。首先，我们必须完善第二定律，使其明确纳入信息的因素。其次，我们必须阐明信息的物理本质，使其以物理实体而非抽象概念的形式进入第二定律。这样，测量、擦除、复制和反馈等信息操作就可以被视为具有热力学代价的物理操作。

第一项任务由里奥·西拉德 （Léo Szilárd） 部分完成，他设计了一个简化版本的麦克斯韦妖。西拉德的妖利用一比特信息 （即一个无偏的“是/否”测量结果） 来实施一个循环过程，从温度为 T 的热库中以功的形式提取大小为 kTln2 的能量，其中 k 为玻尔兹曼常数[4]。这表明妖使用的信息与从单一热库中可提取功之间存在定量关系。

为解决第二项任务所做的努力多种多样[1, 2]。莱昂·布里渥安 （Léon Brillouin） 在某些特定情况下量化了测量的代价；马里安·斯莫鲁霍夫斯基 （Marian Smoluchowski） [5]和理查德·费曼 （Richard Feynman） [6]则证明，涨落现象会阻止自主妖对第二定律的表面违背。此外，罗尔夫·兰道尔 （Rolf Landauer） 、查尔斯·贝内特 （Charles Bennett） 和奥利弗·彭罗斯 （Oliver Penrose） 证明[7]，测量可以在零熵增的情况下实现——尽管测量擦除需要付出能量代价。贝内特随后研究了信息处理的若干热力学方面[8]，包括压缩、算法复杂性、逻辑可逆性和校对过程。

尽管信息在热力学中的研究历史悠久，过去十年间，由于涨落定理[9, 10]和随机热力学[11, 12]的应用，该领域取得了显著进展。这些研究为信息热力学提供了一个通用框架，既澄清又推广了以往的研究结果。与这一理论进展并行的是技术的进步，它带来了操控小型涨落系统的新实验技术。因此，过去的思想实验，如麦克斯韦妖和西拉德引擎 （Szilárd’s engine） ，现在正在实验室中得以实现[13, 14]，使得对信息操作的一些基本预测得到了验证[15, 16]。

本文旨在补充现有综述文献 [1, 2, 11, 12, 17-19]，呈现最近发展与实验的最新概述，同时为分析信息系统热力学所使用的主要思想与理论工具提供基本介绍。在回顾西拉德引擎后，我们将讨论如何将信息纳入第二定律的精确表述中，随后继续分析记忆存储与信息处理的物理实现。

西拉德引擎

从历史上看，有关信息热力学的许多研究都集中于1929年西拉德提出的循环引擎上[4]。在西拉德的原始构想中，引擎的工作物质是一箱体积为 V0 的单分子气体 （图1a） ，浸没在温度为 T 的热库中，并由外部实体 （external agent） 或“妖”进行操控。妖首先快速地在箱体中间插入一个隔板，将其分成两半，从而启动一个循环。妖随后测量分子被困在隔板的哪一侧，并执行一个从体积 V0/2 到 V0 的可逆膨胀，从而提取功 Wext = kTln2。通过移除隔板，循环完成。其净效应是从单一热库中提取能量并完成一个循环过程，这表面上违反了普朗克对第二定律的表述。

西拉德引擎的一些方面乍看之下似乎很模糊：分子不会施加平滑变化的压力，而是产生随机强度的撞击，这使得人们质疑在计算功时理想气体定律的适用性。测量的作用也不明确，因为压力本身似乎可以揭示分子的位置。仔细的分析已澄清了这些问题[1]。此外，任何经历相空间分裂的系统都可以用作“工作物质” （working substance） [20]。例如，西拉德引擎最近已经在实验室中实现，所使用的系统不是单分子气体，而是胶体布朗粒子和单电子。归根结底，使西拉德引擎能够运转的是信息与熵之间的一种基本关系，这种关系专门适用于一类非平衡状态，接下来我们将讨论这一点。

打开网易新闻 查看精彩图片

图 1. 西拉德引擎及近期的实验实现。a. 在原始的西拉德引擎中，隔板被插入包含单个分子的箱子中，箱子被温度为 T 的热库包围。箱子中含有分子的那一半被测量到后，隔板被移动，执行等温膨胀以提取功。b. 使用单电子盒（single-electron box）（SEB）进行的实验实现，由门电压 Vg 控制并通过单电子晶体管（single-electron transistor，SET）监测[14]。上图显示了实验装置。下图展示了盒子的能级，其大小取决于电子数 (n=0, 1)，是归一化门电压 ng 的函数。当电子数 n 被测量到时，ng 被快速改变，能量下降（左图），然后缓慢返回初始值（右图）。在这个过程中，由于 ng 仅在缓慢变化时引起 n 的热激发，因此产生了净功输出。c. 使用胶体粒子（colloidal particle）和两个光学阱（optical traps）的实验实现 [16]。上图显示了实验装置：一个阱固定在位置 x = 0，另一个则以速度 vtrap 水平移动。由两个电极产生的可控静电场使粒子偏向某个阱。下图显示了影响粒子的势阱的等高线图，该过程中，移动的阱被移动然后回到初始位置。粒子的轨迹以涨落的白线形式呈现。西拉德循环通过在过程的中间测量粒子所在于哪个阱，并在过程的后半段偏置该阱来实现。d. 使用旋转胶体粒子（rotating colloidal particle）的实验实现[13]。上图显示了实验装置，其中两个粒子附着在一块盖玻璃上。一个粒子被视为旋转布朗粒子，并由四个电极产生的电场控制。下图显示了有效势能的两种形状，它们是正弦势能和恒定扭矩的叠加。当粒子的位置被测量到处于跨越势能最小值后的上坡方向时，势能从一种形状切换到另一种形状。

信息与第二定律

当我们获取关于具有微观状态 x 的物理系统的新信息时，我们将统计状态从ρ(x) 更新为 ρ(x|m)，其中 m 表示新的信息，例如测量结果或用于准备状态的方法。例如，在西拉德引擎中，测量后统计状态 ρ(x|m) 被限制在箱子的左半部分或右半部分。一般来说，即使测量前的状态 ρ(x) 处于平衡状态，更新后的状态 ρ(x|m) 仍然是非平衡的。信息将系统推离平衡，而表面上无需付出能量代价。因此，信息热力学可以被视为非平衡热力学的一个分支，处理一类特殊的状态和过程。该理论的起点是对熵定义的扩展，以适应这类特殊的非平衡状态。

香农熵（Shannon entropy）的物理意义。非平衡状态的熵定义多年来一直存在争议。尽管平衡态热力学熵在某些非平衡情境中得到了成功应用，但对于一般非平衡状态，如何定义具有物理意义的熵仍不明确。香农熵 （或量子情况下的冯·诺依曼熵） 已被广泛使用，但在这些情况下，它往往被宽泛地视为等同于热力学熵。然而，最近随机热力学的发展严格表明，在某些情境下，香农熵具有明确的物理意义；具体而言，它决定了与一个或多个热库耦合的系统的非平衡过程的能量学特性[12]。

在信息论中[21]，具有概率密度 ρ(x) 的随机变量 X 的香农熵定义为：。当 X 表示物理系统的微观状态时，我们可以将香农熵乘以玻尔兹曼常数，作为非平衡熵的候选表达式

我们将 S(ρ) 和 H(X) 都称为香农熵，因为它们本质上是用不同单位测量的相同量。然而，保留这两个符号及其各自的具体依赖关系是有益的，它们分别是热力学和信息论中的标准表示。

打开网易新闻 查看精彩图片

是哈密顿量， β=1/(kT) （其中 T 是温度） ，而 Z0 是配分函数。在这种情况下，我们恢复了自由能 F=E-TS 的热力学关系，其中自由能 F(ρ0)=-kTln Z0，平均内能 ，以及香农熵 S(ρ0)。我们可以进一步定义一个非平衡自由能，用于描述与热浴接触且哈密顿量为 的系统的一般统计状态 [22-26]

可以证明，在非平衡等温过程中的香农熵及其相关的非平衡自由能，与其在平衡态时对应的熵和自由能是类似的。在此，“等温”意味着系统与温度为 T 的热库接触，尽管系统本身可能没有明确的温度。如框1所示，平均而言，为了等温地将系统从一个任意状态驱动到另一个状态，所需的最小功只是两个状态之间非平衡自由能的差 。相对于这一最小值的多余功是耗散的或不可逆的功，Wdiss 。

我们还可以将熵增量定义为系统中香农熵的增加，加上热库中热力学熵的增加 （见框1和参考文献23, 26-28） 。

这是第二定律在非平衡态等温过程的推广，并为发展信息热力学提供了基本工具。

打开网易新闻 查看精彩图片

框1.非平衡自由能

一个简单的论证，如图所示，有助于阐明非平衡自由能的物理意义[23]。该论证比较了两种等温过程的能量特性，这两种过程将系统从非平衡状态 ρ 驱动到平衡状态 。第一种是自发的、不可逆的弛豫过程，其中热量 从热库传递到系统，且不涉及功的产生。第二个过程由外部实体驱动，该外部实体瞬时将哈密顿量从初始值 变化到 ，然后以准静态和等温的方式将哈密顿量恢复到 的初始值。完成这个过程所做的功 Wdriv 是执行淬火（quench）所需的功 ，加上将哈密顿量可逆地恢复到初始值 的功，这可以表示为平衡自由能的差异 F(ρ0) - F(ρ) 。因此，

可以证明，这个功是所有可能的等温过程驱动系统从 ρ 到 ρ0 所需的最小功[23]。换句话说，-Wdriv 是从非平衡状态 ρ 中提取的最大功。因此，给定哈密顿量 ，非平衡自由能在平衡状态 ρ0 时达到最小值。这意味着，对于任何统计状态 ρ，都有 。[23] 这个过程在非平衡情况下起着与平衡热力学中可逆过程相同的作用。它在操作上是可逆的，也就是说，如果驱动过程在时间上反转，系统将沿着完全相同的统计状态序列反向行进，且能量特性—— Wdriv 和 Qdriv ——是相等且方向相反的。它还使提取的功最大化。

在这个可逆过程中，总熵增量 ，定义为系统中香农熵变化 ΔSsys = S(ρ0) - S(ρ) 和热库中熵变化 ΔSres = -Qdriv/T 的总和，其总和的值为零，从热库传递到系统的热量为 。

相比之下，不可逆的自发弛豫过程的熵增量为：

打开网易新闻 查看精彩图片

换句话说，在不可逆过程中，熵增量为正，这意味着自由能的减少被浪费了，也就是说没有功被提取。

框2. 互信息

在信息论中，两个随机变量 U 和 V 之间的互信息定义为[21]：

互信息总是非负的、对称的，并且仅当 U 和 V 统计独立时才为零。当我们将其重新表达为以下形式时，它的意义变得显而易见：

其中：

是条件熵。回想一下，H(U) 衡量了我们对 U 的不确定性，而 H(U|V) 衡量了在已知 V 的条件下我们对 U 的不确定性。由此可知，互信息量化了在获知 V 时，我们对 U 的不确定性减少量，反之亦然。因此，我们可以宽泛地说，互信息是对相关性的一个衡量指标。一个重要的特殊情况是，当 U 明确决定 V 时（例如无误测量（error-free measurements）的情形），此时 H(V|U) = 0 且 I(U; V) = H(V)。

互信息（Mutual information）与第二定律。我们现在可以解决构建信息热力学的第一个任务：评估测量导致的非平衡自由能变化。当系统的统计状态从 ρ(x) 变为 ρ(x|m) 时，系统香农熵的变化 S(ρ(x|m)) - S(ρ(x))，在概率为 pm 的所有可能结果的平均，可以写成[29]：

其中 H 是等式（1）中的香农熵，I 是系统微观状态 X 和测量结果 M 之间的互信息 （见框2） 。

为了将这一观察结果转化为关于自由能的陈述，我们集中讨论那些不影响哈密顿量或系统微观状态的测量。结果是，测量不改变平均能量，而非平衡自由能增加了：

由于互信息是正值，测量 （或信息获取） 总是增加自由能，从而增加可等温提取的功。如方程（3）所示，这一增加必须伴随着功的产生。阐明这个功的来源是我们的第二个任务，并将在下一节中讨论。现在，我们的讨论仅限于测量对系统和周围环境之间能量传递的影响。

我们现在可以很容易地看出如何修正第二定律以使信息变得清楚明白。具体来说，考虑一个由一组外部参数 λ 表征的系统，这些参数由“妖”进行调节。起初，这些参数固定为 λ = A，系统处于温度为 T 的正则平衡态。随后，“妖”在时间间隔 [0, τ] 内改变外部参数，并在某个中间时刻 tms 进行测量，利用测量得到的信息设计一个外部参数协议 （protocol） λm(t) ，其仅依赖于测量结果 m 且在 t≥tms 时生效。注意到测量会引起自由能的增加 （方程 (4)） ，我们可以应用方程 (3) 来得到反馈过程的第二定律[30]：

其中，W 是对系统所做的平均功， 是非平衡自由能的平均变化。注意，功和自由能的变化都依赖于测量结果 M，并且方程 (5) 仅对得到测量结果 M 后的平均值有效。在一个循环过程中，若 λm(τ) = λm(0) = A 对所有 m 都成立，并且系统被允许弛豫回到平衡态，则 = 0，并且 W≥-kT I(X(tms); M)。这意味着我们可以提取一部分功，平均后，其量与测量中获得的信息成正比。对于无误差的测量，M 的值由 X 直接决定，即互信息就等于测量的香农熵 I(X(tms); M) = H(M) （见框2） 。值得注意的是，西拉德引擎可以达到这一极限，因为 M 代表着左或右，概率均为 1/2，因此 H(M) = ln2 。

涨落定理：包含信息的热力学第二定律（方程 (5)）对系统的平均行为设定了限制。然而，如果将涨落考虑在内，这个不等式可以转化为等式。假设重复依赖于测量的协议 λm(t) 多次，每次都从平衡态初始化，进行测量并执行反馈。热涨落会使系统每次在其相空间中描绘出不同的微观轨迹 γ = {x(t)}。我们将轨迹和结果 m 的联合概率表示为 。这种情景被称为正向 （反馈） 过程。

涨落定理将正向过程与其时间反向过程进行比较，后者是通过反转驱动协议 （driving protocol） 而得到的[9, 10, 12]。识别这种反向过程的难点在于如何选择反向协议，因为协议 λm(t) 在 tms 之后依赖于测量结果 m。文献 [31, 32] 中提出的解决方案在操作上是可行的，并提供了一个有用的描述功和信息涨落的定理。其核心思想是从正向过程中结果的概率密度 pm 中随机选择 m，然后简单地运行对应协议的完全反向过程 ，无需进行测量。

详细的涨落定理将 与反向过程中观察到反向轨迹 的概率 进行比较，其中 * 表示动量反向[31, 32]：

(6)

这里，w 是沿轨迹 γ 对系统所做的随机功，同时引入了一个依赖于轨迹的互信息：

其在 γ 和 m 下的平均后结果为互信息，即 （见 框 2） 。

方程 (6) 中的详细涨落定理将底层微观动力学的基本时间反演对称性与热力学联系起来。基于这一关系，可以容易地推导出带有反馈的各种涨落定理[32-34]。例如，积分涨落定理为：

这一结果已通过由单电子组成的西拉德引擎的实验验证[14]。将詹森不等式 （Jensen's inequality） 应用于方程 (7)，即可得到不等式 (5)。

方程 (6) 表明，如果反馈过程与其反向过程不可区分——换句话说，如果过程是可逆的，那么不等式 (5) 可以在单个轨迹层面上达到极限。这一观察结果提供了一种通用方法，用于设计最优的反馈协议：通过找到在反向运行时看起来像反馈过程的过程。特别要提到的是，反向过程必须在测量后准备好正确的相应状态。如果能够找到这样的反向过程，通过反转它，就可以得到最优反馈协议。这种制备方法已被用于设计多粒子西拉德引擎的最优协议[35, 36]。其中一个版本的制备方法类似于 框 1 中描述的最优功协议，其他可逆协议则被用于可反馈控制谐振子模型中[37, 38]。

打开网易新闻 查看精彩图片

图2. 一个存储器的玩具模型。一个布朗粒子可以被稳定的囚禁在位置坐标为 y 的双势阱的左阱或右阱中，分别表示一个比特的介观信息态 m=0 和 m=1 。这个存储器可以是对称的 (a) 或不对称的 (b)。

信息的物理本质

存储与兰道尔原理：乍一看，信息是一个抽象的量，与其物理实现方式无关。然而，当我们进行测量时，结果必须记录在某种物理系统中，无论是写在纸上还是存储在计算机的硬盘中。这一观点最早由西拉德提出[4]，但兰道尔用他的名言将其表达得最为简洁：“信息是物理的。”[39]

为了构建一个存储器，一个系统必须具有多个可区分的“信息状态”来存储信息。为了实现可靠且不衰退的信息存储，这些状态必须具有较长的寿命，对环境噪声具有鲁棒性，并在相同的外部约束下得以实现。从统计力学的角度来看，这些要求意味着一个具有微观状态 y 的系统若要作为存储器，则其哈密顿量 下必须具有多个不同的亚稳态。换句话说，各态遍历性 （ergodicity） 必须是破缺的——或者在存储可靠的时间尺度上是有效破缺的。在实践中，这意味着其相空间 Γ 被分割为多个遍历区域 {Γm}，每个区域对应一个信息状态 m [16]。这种遍历性的丧失可以通过集体坐标中的相变来实现，例如在标准磁存储中，小型铁磁畴的磁化；或者通过提高分隔微观自由度的高自由能屏障来实现，例如在单电子存储或 DNA 碱基配对中。

存储器的统计状态由处于其遍历区域之一的概率 pm 表征。进一步假设存储器在局部平衡态下运行，那么在给定信息状态 m 的条件下，该概率是相空间中与 m 相配的区域 Γm 上的正则分布。该分布具有平均能量 Em 和香农熵 Sm。存储 M 的非平衡自由能可以用这些量表示为：

(8)

其中，Fm = Em - TSm 是相应状态的自由能。这里存储器的熵 S(ρ) 被分解为各个信息态中的香农熵，，和他们各自内部熵 Sm 的平均值。

这种装置的一个直观示例是图 2 中描述的单比特存储器玩具模型。存储器由一个布朗粒子和一个双势阱组成。当势垒远高于热运动能量时，粒子将在任一势阱中停留较长时间。因此，粒子位于左侧或右侧势阱可以分别作为比特的稳定信息状态“0”和“1”。图 2a 中的对称势使得 F0 = F1。另一种情况是图 2b 中的不对称势，此时 F0 ≠ F1，两个势阱的平均能量和相空间体积不同。

现在我们假设，在对存储器进行任何操作后，其过程始终以相同的初始哈密顿量 结束。在这种情况下，唯一相关的状态是信息状态，并且操作存储器及其存储信息的能量学特征应该仅用术语 pm 来表达。特别是，将存储器的统计状态从分布为 pm 的 M 改变为分布为 p'm 的 M' 所需的平均功，可以根据第二定律 (3) 表示为：

对于对称的存储器，根据方程 (8)，这仅与信息内容的变化有关，即 W≥kT (H(M) - H(M'))。

一个著名的特殊情况是兰道尔原理，它限制了在对称存储器中重置 （或擦除） 一个随机比特所需释放的热量[40]。重置存储是指，无论初始条件如何，所有信息状态 m 都被驱动到一个预选的标准状态，例如 m = 0，即 p'0 = 1，而所有其他的 p'm = 0。对于对称的存储器，根据方程(9)，执行这一“归零”操作所需的最小功为 Wreset ≥ kTH(M)，因为 H(M') = 0。对于一个随机比特，p0 = p1 = 1/2，我们得到了兰道尔的原始限制，该限制已通过图 2 中玩具模型存储器的实验实现得到了验证[15, 41, 42]。对于不对称存储器， 不一定等于 -kTH(M)，广义兰道尔原理为[43, 44]：

当重置过程在热力学上是可逆时，等号成立。这并不与重置的逻辑不可逆性相矛盾，后者意味着信息状态的熵 H(M) 减少[44]。对于有限时间内的擦除操作，当无法达到方程 (10) 的极限时，一些模型研究在阐明效率权衡方面取得了成效[45, 46]。同样，可以使用积分涨落定理在轨迹层面上分析这一限制[47]。

与“归零”相反的过程是通过增加存储器的无序性来提取功。例如，一个具有低香农熵的 N-比特对称存储器可以被置于一个新的高熵状态 M'，从而提取功的量为 kT(H(M') - H(M))。这种将有序存储器用作“燃料”的方式最初由 Bennett 提出[8]，但最近被 Mandal 和 Jarzynski 通过一个显式模型实现[48]。这一进展推动了针对这类有序存储器的新理论框架的建立，这些存储器现在被称为信息库，与热库或化学库等其他热力学储库享有平等的地位[49-55]。

打开网易新闻 查看精彩图片

图 3.测量、反馈和重置的示意图。测量是一种将存储器从 M'→M 改变，获取关于系统 X 的信息 I 的热力学过程。在反馈过程中，系统在存储器固定的情况下做X→X' 演化，利用关联来提取功 -W。最后，存储器通过与 X 无关的协议重置为初始状态 M'。

测量的代价

我们现在讨论信息热力学的第二个任务，即理解第二定律中互信息的起源 （方程5） 。为此，我们将研究的系统 X 和一个存储器 XM 作为一个联合超系统 X，并分析其在测量和反馈两个热力学过程中的能量学，如图 3 所示。进一步的简化假设是，存储器和系统仅在执行测量和反馈操作时进行相互作用——否则，系统的总哈密顿量为 。利用互信息的定义 （见框 2） ，当没有交互能量时，复合系统的非平衡自由能 （方程8） 可以简单地表示为：

从这个方程中可以轻松获得测量和反馈的能量学特征。

第一步是在固定 X 的情况下，进行一次依赖于 X 的测量，并对其存储器进行演化。因此，系统的非平衡自由能不会受到影响，但测量会在两个系统之间建立关联，从而产生信息。为了与前面章节的符号保持一致，我们分别称测量前后存储器的状态为 M' 和 M，其中 pm 是结果 M 的分布。如果系统和存储器在测量前后没有相互作用，我们可以应用方程 (11)，并得到联合系统在测量过程中的非平衡自由能变化：

其中， 是存储器自由能的变化。方程 (3) 中的第二定律表明，方程 (12) 给出的自由能增加需要做功[25, 43, 56, 57]：

在一个具有对称存储器且无误差测量的特殊情况下，- = kTΔH(M) = kT I(X; M)，因此有可能在执行测量时不做功，即 Wmeas≥0。

在 X 和 M 建立了关联后，我们现在可以通过反馈从系统中提取存储在信息中的自由能作为功。具体来说，我们以依赖于存储器的方式驱动系统，同时保持存储器固定。假设反馈后不再存在任何剩余关联，根据方程 (11)，非平衡自由能的变化为：

其中， 是系统自由能变化对测量结果 M 取平均值后得到的结果，与方程 (5) 相同。最后，应用第二定律 (方程3) 到 方程(14)，我们可以得到反馈过程中平均功 W 的方程 (5)[25, 43, 57]。

归根结底，在反馈过程中用于提取功的信息，是通过存储器在测量的过程中提供的——这意味着信息并非免费的。如果我们从整个测量–反馈循环的角度来看功和自由能，这一点会变得显而易见。将两个不等式 (5) 和 (13) 相加可得：

互信息被抵消了。从这个全局视角来看，我们只是利用功将自由能添加到存储器中，而这些自由能又被系统取出。

现在，让我们回忆一下，熵增是由联合系统的功与非平衡自由能变化之差给出。因此，方程 (13) 和 (5) 中的不等式等价于熵增非负这一事实。在这个意义上，麦克斯韦妖在分别应用于测量和反馈过程时，与第二定律是相符的。此外，如果方程 (13) 和 (5) 中的等号分别成立，则测量和反馈过程在热力学上是可逆的。这种可逆的测量和反馈协议通过一个信息引擎模型得到了明确的验证。

仅这一论证就充分阐明了为什么麦克斯韦妖不违背第二定律。然而，我们通常希望在反馈之后将存储器重置回其初始状态 M （图 3） ，以便能够在另一个反馈循环中再次使用。重置的代价由广义兰道尔原理 (方程10) 给出，其中。因此，操作存储器 （即进行测量和重置） 的功为[43]：

这表明处理信息所需的基本功仅由互信息决定，并且与存储器的结构无关。这个表达式总结了为调和西拉德引擎与第二定律[1]所提出的主要解决方案：能量的消耗可以表现在测量过程中或存储器的还原过程中，这取决于循环的设计。

动态信息流

到目前为止，我们已经讨论了系统和具有稳定信息状态的存储器之间的相互作用，并看到起作用的量是互信息。然而，任何一对关联系统都可以共享互信息，即使其中一个并不是稳定的存储器。在这种情况下，它们的动态演化不仅会导致能量在它们之间流动，还会导致信息的流动。我们可以通过将两个交互系统 X 和 Y 的第二定律 分解为 X 的熵增 和 Y 的熵增 来精确定义这一概念，如下所示[58-61]：

(15)

其中， 和 是每个子系统环境储库中熵变化的速率。对于等温过程，它们是热量项 。新量 和 分别是由于 X 和 Y 中的涨落导致的互信息 I(X; Y) 的变化速率。这些项代表了两个系统之间的信息动态流动，方程（15）描述了它们对热力学的影响。

通过将这些不等式应用于逐步的测量和反馈协议 （如上一节中讨论的协议） ，我们可以得出等效的公式[58]。从这个角度来看，可以将这种对第二定律的分解视为麦克斯韦妖的动态版本。然而，我们还可以分析其他更具动态性的情景，例如感知或监测未知的涨落信号[62]。

展望、扩展与前景

我们已经对与单个热库接触的系统中的存储器、反馈过程和信息流的热力学进行了基本介绍。我们在此勾勒的框架也已应用于许多更普遍的情景。对于重复的测量和反馈，许多分析已在平均熵减少[63]和使用涨落定理[32, 60, 64-67]方面有所讨论。在这些分析中，起作用的量是互信息的广义形式——转移熵，它仅捕获每次测量中获得的新信息。在此，热力学成本取决于我们是选择将每次新测量记录在同一存储器中[57, 68, 69]，还是记录在不同的存储器中，从而允许具有多个交互系统[60, 65, 70]的更复杂的动力学。除了等温控制之外，还推导出了适用于打破了细致平衡的反馈系统的涨落定理[71]。

关于量子测量和反馈的热力学也有大量研究，包括量子西拉德引擎[72, 73]。在这方面，人们已经得到了第二定律[30, 43, 74]和用于测量与反馈的涨落定理[75-77]的量子广义形式，从而能够在此场景下对纠缠和量子不和谐进行一致的描述[78-80]。

我们在此主要关注麦克斯韦妖的信息方面。然而，麦克斯韦妖的原始表述也可以被视为是一种无需明显能量消耗即可进行状态间转变的系统。这种方法最初由 Smoluchowski [5]和 Feynman [6]探索，他们考虑了一种能够通过棘轮机制校正热涨落的自主麦克斯韦妖的可能性。然而，这种实现方式仅在系统可以被保持在非平衡状态时才有效，例如存在两个不同的热浴[6]或高自由能化学储库。在 Feynman 的分析之后的数年间，这些构造——现在被称为非平衡布朗棘轮——已作为一种新型的运输机制被广泛研究[81]。在某些情况下，转变中的偏向性可以用信息的术语来解释，例如在化学开关中[82]，其转变依赖于分子复合物中轮烷环的位置。最近，利用随机热力学分析了一个打破细致平衡的通用麦克斯韦妖[83]。然而，有趣的是，转变的简单偏向性不足以决定系统的热力学。我们已经表明，相同的偏向性和相同的动力学可以由化学燃料或麦克斯韦妖引发，但其热力学却截然不同[25]。值得注意的是，这个例子中的妖能够以比化学燃料少得多的熵增来实现相同的偏差。

信息与热力学之间的相互作用体现在超越反馈引擎和存储器的现象中。生物系统在分子或细胞层面上执行多种信息处理，其涨落和能量传递的量级与热能相当。一个例子是将信息从 DNA 复制到新 DNA （复制） 或 RNA （转录） ，这一过程通常称为共聚反应[84, 85]。共聚反应展示了一些有趣的热力学现象，例如与过程精确性相关的熵力的出现[84, 86]。此外，在某些热力学代价下，这种精确性可以通过校对得以提高，例如在众多动力学的校对机制[86-90]中所体现的那样，这些机制展现了精确性与耗散之间的权衡，并具有生物学意义。例如，这种权衡的优化可能决定了转录的动力学[90]。另一个与信息可能相关的生物学例子是在感知和预测中的能量特性。生物体必须感知并适应其环境，最近的研究表明，这种感知适应过程需要能量来获取关于环境的信息[62, 91]。另一方面，环境适应的鲁棒性需要最小的信息量[92]。一旦生物体获得了关于环境的信息，准确预测其未来涨落可能至关重要，而完成这一任务的最小功由预测信息决定[24]。

即使到现在，关于信息与热力学的一些基本问题仍在争论中，例如热力学和心理学时间之矢的一致性问题[93]。我们相信，我们距离完全理解信息的物理本质还有若干步的距离。第一，有必要统一现有的理论框架，并研究适用于一般过程的综合理论。第二，我们需要验证诸如共聚反应和校对等其他现象是否可以在这一统一框架内进行分析。第三，我们必须回到麦克斯韦对第二定律的原始关注点，并尝试在一个通用的信息物理理论的框架下解决统计力学中的基本问题，例如宏观世界的出现以及熵的主观性问题。

参考文献

1. Le, H. S. & Rex, A. F. (eds) in Maxwell's Demon: Entropy, Information, Computing (Princeton Univ. Press, 1990).

2. Maruyama, K., Nori, F. & Vedral, V. Colloquium: The physics of Maxwell's demon and information. Rev. Mod. Phys. 81, 123 (2009).

3. Callen, H. B. Thermodynamics and an Introduction to Thermostatistics 2nd edn (JohnWiley, 1985).

4. Szilárd, L. in Maxwell's Demon: Entropy, Information, Computing (eds Le, H. S. & Rex, A. F.) (Princeton Univ. Press, 1990).

5. Smoluchowski, M. v. Experimentell nachweisbare, der Üblichen Thermodynamik widersprechende Molekularphenomene. Phys. Zeitshur. 13, 10691089 (1912).

6. Feynman, R. P., Leighton, R. B. & Sands, M. The Feynman Lectures on Physics Vol. I, Ch. 46 (Addison-Wesley, 1966).

7. Penrose, O. Foundations of Statistical Mechanics: A Deductive Treatment (Pergmon Press, 1970).

8. Bennett, C. The thermodynamics of computationa review. Int. J. Theor. Phys. 21, 905940 (1982).

9. Harris, R. J. & Schütz, G. M. Fluctuation theorems for stochastic dynamics. J. Stat. Mech. 2007, P07020 (2007).

10. Jarzynski, C. Equalities and inequalities: Irreversibility and the second law of thermodynamics at the nanoscale. Ann. Rev. Condens. Matter Phys. 2, 329351 (2011).

11. Sekimoto, K. Stochastic Energetics 799 (Lect. Notes Phys., Springer, 2010).

12. Seifert, U. Stochastic thermodynamics, fluctuation theorems, and molecular machines. Rep. Prog. Phys. 75, 126001 (2012).

13. Toyabe, S., Sagawa, T., Ueda, M., Muneyuki, E. & Sano, M. Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality. Nature Phys. 6, 988992 (2010).

14. Koski, J., Maisi, V., Sagawa, T. & Pekola, J. P. Experimental observation of the role of mutual information in the nonequilibrium dynamics of a Maxwell demon. Phys. Rev. Lett. 113, 030601 (2014).

15. Berut, A. et al. Experimental verification of Landauer's principle linking information and thermodynamics. Nature 483, 187189 (2011).

16. Roldán, E., Martínez, I. A., Parrondo, J. M. R. & Petrov, D. Universal features in the energetics of symmetry breaking. Nature Phys. 10, 457461 (2014).

17. Plenio, M. B. & Vitelli, V. The physics of forgetting: Landauer's erasure principle and information theory. Contemp. Phys. 42, 2560 (2001).

18. Sagawa, T. Thermodynamics of Information Processing in Small Systems (Springer Theses, Springer, 2012).

19. Sagawa, T. & Ueda, M. Information Thermodynamics: Maxwell's Demon in Nonequilibrium Dynamics 181211 (Wiley-VCH, 2013).

20. Parrondo, J. M. R. The Szilárd engine revisited: Entropy, macroscopic randomness, and symmetry breaking phase transitions. Chaos 11,725733 (2001).

21. Cover, T. M. & Thomas, J. A. Elements of Information Theory 2nd edn(Wiley-Interscience, 2006).

22. Gaveau, B. & Schulman, L. A general framework for non-equilibrium phenomena: The master equation and its formal consequences. Phys. Lett. A 229, 347353 (1997).

23. Esposito, M. & Van den Broeck, C. Second law and Landauer principle far from equilibrium. Europhys. Lett. 95, 40004 (2011).

24. Still, S., Sivak, D. A., Bell, A. J. & Crooks, G. E. Thermodynamics of prediction. Phys. Rev. Lett. 109, 120604 (2012).

25. Horowitz, J. M., Sagawa, T. & Parrondo, J. M. R. Imitating chemical motors with optimal information motors. Phys. Rev. Lett. 111, 010602 (2013).

26. Dener, S. & Lutz, E. Information free energy for nonequilibrium states. Preprint at http://arxiv.org/abs/1201.3888 (2012).

27. Hasegawa, H-H., Ishikawa, J., Takara, K. & Driebe, D. J. Generalization of the second law for a nonequilibrium initial state. Phys. Lett. A 374, 10011004 (2010).

28. Takara, K., Hasegawa, H-H. & Driebe, D. J. Generalization of the second law for a transition between nonequilibrium states. Phys. Lett. A 375, 8892 (2010).

29. Lloyd, S. Use of mutual information to decrease entropy: Implications for the second law of thermodynamics. Phys. Rev. A 39, 53785386 (1989).

30. Sagawa, T. & Ueda, M. Second law of thermodynamics with discrete quantum feedback control. Phys. Rev. Lett. 100, 080403 (2008).

31. Ponmurugan, M. Generalized detailed fluctuation theorem under nonequilibrium feedback control. Phys. Rev. E 82, 031129 (2010).

32. Horowitz, J. M. & Vaikuntanathan, S. Nonequilibrium detailed fluctuation theorem for discrete feedback. Phys. Rev. E 82, 061120 (2010).

33. Sagawa, T. & Ueda, M. Generalized Jarzynski equality under nonequilibrium feedback control. Phys. Rev. Lett. 104, 090602 (2010).

34. Fujitani, Y. & Suzuki, H. Jarzynski equality modified in the linear feedback system. J. Phys. Soc. Jpn 79, 104003 (2010).

35. Horowitz, J. M. & Parrondo, J. M. R. Designing optimal discrete-feedback thermodynamic engines. New J. Phys. 13, 123019 (2011).

36. Horowitz, J. M. & Parrondo, J. M. R. Optimizing non-ergodic feedback engines. Acta Phys. Pol. B 44, 803814 (2013).

37. Abreu, D. & Seifert, U. Extracting work from a single heat bath through feedback. Europhys. Lett. 94, 10001 (2011).

38. Bauer, M., Abreu, D. & Seifert, U. Eciency of a Brownian information machine. J. Phys. A 45, 162001 (2012).

39. Landauer, R. Information is physical. Phys. Today 44 (5), 2329 (1991).

40. Landauer, R. Maxwell's Demon: Entropy, Information, Computing (Princeton Univ. Press, 1990).

41. Berut, A., Petrosyan, A. & Ciliberto, S. Detailed Jarzynski equality applied to a logically irreversible procedure. Europhys. Lett. 103, 60002 (2013).

42. Jun, Y., Gavrilov, M. & Bechhoefer, J. High-precision test of Landauer's principle in a feedback trap. Phys. Rev. Lett. 113, 190601 (2014).

43. Sagawa, T. & Ueda, M. Minimal energy cost for thermodynamic information processing: Measurement and information erasure. Phys. Rev. Lett. 102, 250602 (2009).

44. Sagawa, T. Thermodynamic and logical reversibilities revisited. J. Stat. Mech. 2014, P03025 (2014).

45. Diana, G., Bagci, G. B. & Esposito, M. Finite-time erasing of information stored in fermionic bits. Phys. Rev. E 87, 012111 (2013).

46. Zulkowski, P. R. & DeWeese, M. R. Optimal finite-time erasure of a classical bit. Phys. Rev. E 89, 052140 (2014).

47. Dillenschneider, R. & Lutz, E.Memory erasure in small systems. Phys. Rev. Lett. 102, 210601 (2009).

48. Mandal, D. & Jarzynski, C.Work and information processing in a solvable model ofMaxwell's demon. Proc. Natl Acad. Sci. USA 109, 1164111645 (2012).

49. Mandal, D., Quan, H. T. & Jarzynski, C. Maxwell's refrigerator: An exactly solvable model. Phys. Rev. Lett. 111, 030602 (2013).

50. Hoppenau, J. & Engel, A. On the energetics of information exchange. Europhys. Lett. 105, 50002 (2014).

51. Barato, A. C. & Seifert, U. An autonomous and reversible Maxwell's demon. Europhys. Lett. 101, 60001 (2013).

52. Barato, A. C. & Seifert, U. Unifying three perspectives on information processing in stochastic thermodynamics. Phys. Rev. Lett. 112, 090601 (2014).

53. Dener, S. & Jarzynski, C. Information processing and the second law of thermodynamics: An inclusive, Hamiltonian approach. Phys. Rev. X 3, 041003 (2013).

54. Dener, S. Information-driven current in a quantum Maxwell demon. Phys. Rev. E 88, 062128 (2013).

55. Barato, A. & Seifert, U. Stochastic thermodynamics with information reservoirs. Phys. Rev. E 90, 042150 (2014).

56. Granger, L. & Kantz, H. Thermodynamics of measurements. Phys. Rev. E 84, 061110 (2011).

57. Sagawa, T. & Ueda, M. Role of mutual information in entropy production under information exchanges. New J. Phys. 15, 125012 (2013).

58. Horowitz, J. M. & Esposito, M. Thermodynamics with continuous information flow. Phys. Rev. X 4, 031015 (2014).

59. Allahverdyan, A. E., Janzing, D. & Mahler, G. Thermodynamic eciency of information and heat flow. J. Stat. Mech. 2009, P09011 (2009).

60. Hartich, D., Barato, A. C. & Seifert, U. Stochastic thermodynamics of bipartite systems: Transfer entropy inequalities and a maxwell's demon interpretation. J. Stat. Mech. 2014, P02016 (2014).

61. Shiraishi, N. & Sagawa, T. Fluctuation theorem for partially-masked nonequilibrium dynamics. Phys. Rev. E 91, 012130 (2015).

62. Barato, A., Hartich, D. & Seifert, U. Eciency of cellular information processing. New J. Phys. 16, 103024 (2014).

63. Cao, F. J. & Feito, M. Thermodynamics of feedback controlled systems. Phys. Rev. E 79, 041118 (2009).

64. Sagawa, T. & Ueda, M. Nonequilibrium thermodynamics of feedback control. Phys. Rev. E 85, 021104 (2012).

65. Ito, S. & Sagawa, T. Information thermodynamics on causal networks. Phys. Rev. Lett. 111, 180603 (2013).

66. Barato, A. C., Hartich, D. & Seifert, U. Rate of mutual information between coarse-grained non-Markovian variables. J. Stat. Phys. 153, 460478 (2013).

67. Sandberg, H., Delvenne, J-C., Newton, N. J. & Mitter, S. K. Maximum work extraction and implementation costs for nonequilibrium Maxwell's demons. Phys. Rev. E 90, 042119 (2014).

68. Sagawa, T. & Ueda, M. Fluctuation theorem with information exchange: Role of correlations in stochastic thermodynamics. Phys. Rev. Lett. 109, 180602 (2012).

69. Tasaki, H. Unified Jarzynski and SagawaUeda relations for Maxwell's demon. Preprint at http://arxiv.org/abs/1308.3776 (2013).

70. Horowitz, J. M. & Sandberg, H. Second-law-like inequalities with information and their interpretations. New J. Phys. 16, 125007 (2014).

71. Abreu, D. & Seifert, U. Thermodynamics of genuine nonequilibrium states under feedback control. Phys. Rev. Lett. 108, 030601 (2012).

72. Zurek,W. inMaxwell's Demon: Entropy, Information, Computing (eds Le, H. S. & Rex, A. F.) (Princeton Univ. Press, 1990).

73. Kim, S.W., Sagawa, T., De Liberato, S. & Ueda, M. Quantum Szilárd engine. Phys. Rev. Lett. 106, 070401 (2011).

74. Jacobs, K. The second law of thermodynamics and quantum feedback control: Maxwell's demon with weak measurements. Phys. Rev. A 80, 012322 (2009).

75. Morkuni, Y. & Tasaki, H. Quantum JarzynskiSagawaUeda relations. J. Stat. Phys. 143, 110 (2011).

76. Funo, K.,Watanabe, Y. & Ueda, M. Integral quantum fluctuation theorems under measurement and feedback control. Phys. Rev. E 88, 052121 (2013).

77. Albash, T., Lidar, D. A., Marvian, M. & Zanardi, P. Fluctuation theorems for quantum processes. Phys. Rev. E 88, 032146 (2013).

78. Zurek,W. Qauntum discord and Maxwell's demons. Phys. Rev. A 67, 012320 (2003).

79. Funo, K.,Watanabe, Y. & Ueda, M. Thermodynamic work gain from entanglement. Phys. Rev. A 88, 052319 (2013).

80. Park, J. J., Kim, K. H., Sagawa, T. & Kim, S.W. Heat engine driven by purely quantum information. Phys. Rev. Lett. 111, 230402 (2013).

81. Reimann, P. Brownian motors: Noisy transport far from equilibrium. Phys. Rep. 361, 57265 (2002).

82. Serreli, V., Lee, C-F., Kay, E. R. & Leigh, D. A. A molecular information ratchet. Nature 445, 523527 (2007).

83. Esposito, M. & Schaller, G. Stochastic thermodynamics for ``Maxwell demon'' feedbacks. Europhys. Lett. 99, 30003 (2012).

84. Andrieux, D. & Gaspard, P. Nonequilibrium generation of information in copolymerization processes. Proc. Natl Acad. Sci. USA 105, 95169521 (2008).

85. Jarzynski, C. The thermodynamics of writing a random polymer. Proc. Natl Acad. Sci. USA 105, 94519452 (2008).

86. Bennett, C. H. Dissipation-error tradeo in proofreading. Biosystems 11, 8591 (1979).

87. Hopfield, J. J. Kinetic proofreading: A new mechanism for reducing errors in biosynthetic processes requiring high specificity. Proc. Natl Acad. Sci. USA 71, 41354139 (1974).

88. Murugan, A., Huse, D. A. & Leibler, S. Discriminatory proofreading regimes in nonequilibrium systems. Phys. Rev. X 4, 021016 (2014).

89. Sartori, P. & Pigolotti, S. Kinetic versus Energetic Discrimination in Biological Copying. Phys. Rev. Lett. 110, 188101 (2013).

90. Depken, M., Parrondo, J. M. R. & Grill, S.W. Intermittent transcription dynamics for the rapid production of long transcripts of high fidelity. Cell Rep. 5, 521530 (2013).

91. Sartori, P., Granger, L., Lee, C. F. & Horowitz, J. M. Thermodynamic costs of information processing in sensory adaptation. PLOS Comp. Biol. 10, e1003974 (2014).

92. Ito, S. & Sagawa, T. Maxwell's demon in biochemical signal transduction. Preprint at http://arxiv.org/abs/1406.5810 (2014).

93. Mlodinow, L. & Brun, T. A. Relation between the psychological and thermodynamic arrows of time. Phys. Rev. E 89, 052102 (2014).

（参考文献可上下滑动查看）

非平衡统计物理读书会启动！

2024年诺贝尔物理学奖授予人工神经网络，这是一场统计物理引发的机器学习革命。统计物理学不仅能解释热学现象，还能帮助我们理解从微观粒子到宏观宇宙的各个层级如何联系起来，复杂现象如何涌现。它通过研究大量粒子的集体行为，成功地将微观世界的随机性与宏观世界的确定性联系起来，为我们理解自然界提供了强大的工具，也为机器学习和人工智能领域的发展提供了重要推动力。

为了深入探索统计物理前沿进展，集智俱乐部联合西湖大学理学院及交叉科学中心讲席教授汤雷翰、纽约州立大学石溪分校化学和物理学系教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学物理系助理教授唐乾元，以及多位国内外知名学者共同发起。读书会旨在探讨统计物理学的最新理论突破，统计物理在复杂系统和生命科学中的应用，以及与机器学习等前沿领域的交叉研究。读书会从12月12日开始，每周四晚20:00-22:00进行，持续时间预计12周。我们诚挚邀请各位朋友参与讨论交流，一起探索爱因斯坦眼中的普适理论！

详情请见：

1.

2.

3.

4.

5.

6.