模型训练每向前走一步，都要先为全部参数准备一份改动。这份改动同时写明两件事，一是每个参数该往哪一侧挪，二是这一步准备挪多远。把所有参数上的改动合在一起，就得到一个既有方向又有长度的整体向量。方向对应损失下降时参数应跟随的那一侧，长度则是这一步的整体幅度。梯度裁剪专门看着这个长度，防止它在某一步里一下子冲得太高。
改动算出来以后，并不会立刻写进参数。训练会先量出这份整体向量的幅度，再拿它和事先定好的上限相比。上限是一个固定的正数，在这一轮开始之前就已经选定，不会因为某一批样本特别陡就临时改口。幅度没有超过上限时，改动按原样进入后面的参数更新。幅度一旦超过上限，才走进按比例缩小的那一支。
缩小的做法并不复杂。用上限除以当前幅度，得到一个小于一的比例，再让向量里的每一个分量都乘上这个比例。乘完之后，新的幅度刚好等于上限，既不会留下超出的一截，也不会被故意缩得更短。各个分量之间谁大谁小保持原样，所以指向没有偏到别的方位。可以把超长的那一步看成一根箭，只把箭身收到允许的长度，箭头仍指着原来的一侧。
用数字把这个比例说实。设上限是一，这一步算出来的整体幅度是八。一除以八得到八分之一，于是每个参数上的改动都变成原来的八分之一。某个参数原先准备加上零点八，裁完之后只加上零点一。另一个参数原先准备减去零点四，裁完之后只减去零点零五。两处的正负没有对调，大小次序也没有对调，只是整组数字一起变短了。
若这一步的整体幅度只有零点六，上限仍是一，比较下来就没有越线。那个小于一的比例用不着计算，每个分量都原封不动地留下。某一小步不会因为别处曾经出现过长步，就跟着一起被缩短。裁剪只看当前这一步自己的长度，而不是把许多步的长度做成一个平均数再去卡。因此平稳的步子经过这道检查时，写进参数的样子和没有这道检查时一样。
这种缩放和学习率不是一回事。学习率会在每一步都乘上去，不论这一步本来就很短，还是已经长得过头。它像更新公式里一把始终生效的固定系数，步步都改变长度。梯度裁剪只在幅度超过上限时才乘一个临时比例，没有超过就相当于乘一，也就是什么都不改。两条途径可以同时存在，可它们回答的问题并不相同，一个问这一步该不该被拦住，一个问每次更新默认乘多小。
它也不是随机丢弃。随机丢弃发生在前向计算里，按一定概率把一部分激活变成零，让模型少依赖少数几条固定通路。哪些单元被丢掉，每一步都可以重新抽取，和这一步梯度长不长并没有对应关系。梯度裁剪不会把任何一个参数的改动单独清成零，也不靠抽取来决定留下谁。它要么让整组分量乘上同一个比例，要么让整组分量原样保留，留下的分量仍带着原来的符号和相对权重。
它同样不是量化。量化关心数值用多粗的格子来存放，例如把细密的小数归到较少的离散档位，从而少占一些存储，也少做一些运算。这样做会改变一个数的精度，也可能让许多彼此接近的数变成同一个档。梯度裁剪不更换表示格式，也不把相近的分量合并到一起。它只在长度越界时做一次统一的比例收缩，收缩之后每个分量仍是原来的连续数值，只不过整体被收到上限上。
过大的改动要从这一步的梯度本身去找原因。损失曲面在有的区域非常陡，参数只挪动一小段，损失就会抬得很高，反传回来的梯度又长又冲。某一批样本若明显偏离当前参数附近的常见情形，也会把梯度的长度突然抬起来。优化器如果还带着前面几步积下的动量，这一陡步会被再推一把。几种因素叠在一起，就可能出现长度远远超过上限的那一次。
梯度裁剪要拦住的，正是这种一次就过远的参数改动。参数若顺着那根过长的向量直接跳，可能从曲面比较稳的一段，跳到很远的另一段。跳走之后，损失常常猛地变大，下一步估出来的方向也可能跟着发飘。把长度压回上限，等于规定这一步最远只能走到某个半径之内。方向仍朝原来算出的那一侧，只是落点被留在允许的范围里。
第一种截面叫拦对，图上要能一眼看出过高的那一次被削到上限，而小的正常改动还在。画面里有一条水平的上限，下面是每一步改动幅度随时间排开的轨迹。大多数步子落在上限之下，它们在裁剪前后的高度完全重合。偶尔冒出一根明显高于上限的尖峰，裁剪之后变成正好贴着上限的平顶。贴顶的只有这一根越线的尖峰，旁边那些本来就矮的步子，高度一点都没有被压低。
把拦对写成一组可以画进图里的数字。设上限为一点零，连续五步的原始幅度分别是零点二、零点五、三点二、零点四和零点三。第三步超过上限，所用比例是一点零除以三点二。这一步的向量乘上该比例之后，幅度变成正好一点零。其余四步都低于上限，幅度仍是零点二、零点五、零点四和零点三。轨迹里少掉的只是刺出上限的那一截，正常小步保持原来的高度，参数既不会被第三步一下子带远，也不会丢掉前后那些细小的挪动。
拦对能够成立，前提是方向保持不变。那根尖峰往往不是完全指错了方位，而是在大致可用的方向上混进了过大的尺度。倘若把整根向量掉转，或者只砍掉其中几个参数，其余参数之间的配合就会散掉。按同一个比例缩短，等于承认这一步的方位仍然可用，只是否认它的长度。小的正常改动因为没有越线，连这个比例都不会被乘上去，所以同一次训练里可以同时看见被削平的尖峰和原样留下的小步。
第二种截面是没拦住。上限定得过高，或者这一步根本没有做幅度检查，尖峰就会原样穿过那条线。原始幅度是多少，写进参数的幅度仍然是多少。方向没有被改，长度也没有被改，这道检查等于没有发生。图上会看到一根细高的尖峰突破上限，并在突破之后继续向上，那一步的参数改动因此带着全部超额长度落地。
尖峰穿过上限之后，参数会被带飞。带飞是说这一步的落点离开上一步过远，远到后面的计算所依赖的局部形状已经对不上。损失值常常出现一次陡升，原本平滑下降的曲线在这里被打断。下一步即便想把位置修回来，也只能从新的远处重新估计梯度。若连续几批样本都不稳，这种远跳会接连发生，参数轨迹在空间里甩出很大的折线。
把没拦住和拦对放在同一根尖峰上比较，差别就在落点的远近。拦对时，尖峰的高度被收到上限，参数只前进允许的那一截。没拦住时，同一根尖峰保持原高，参数前进的距离对应着未经缩短的全长。小的正常改动在两种截面里都可以还在，因为它们自己并没有越线。真正把两种结果分开的，是那根越线尖峰有没有被按比例缩短，所以看图时要盯住尖峰穿过上限的那一个时间位置。
第三种截面是削过头。上限被定得过低，低到多数本来正常的小步也越过了线。每一步都要乘一个明显小于一的比例，幅度被压到那条很低的线上。图上几乎看不到还贴着原始高度的小步，整条轨迹被抹成贴近上限的窄带。偶发的尖峰同样被压进这条窄带，和正常步子挤在一起，高低差别消失，训练看起来很安静，其实是步子被削没了。
仍用前面那五步来对照削过头。原始幅度还是零点二、零点五、三点二、零点四和零点三。若把上限改成零点一，五步就全部越线。它们会分别乘上零点一除以各自幅度所得的比例，结果每一段的长度都变成零点一。原先分得清的小步和尖峰，在裁剪后变成五段同样短的挪动。方向各自还在，可是每一步能走的距离都只剩上限那么一点，许多步之后参数几乎仍停在起点附近。
削过头带来的直接结果，是训练几乎不再往前。损失下降变得极慢，因为每一步对参数的推动都被压到极小。即便梯度的方向一直指着可用的一侧，长度不够，也只是在原地附近来回蹭。验证时的曲线会长时间贴着高位，或者只以很难辨认的斜率缓缓下移。这时候若只看损失有没有突然抬升，会以为训练很稳，其实是有效步长被上限掐住，模型几乎没有拿到新的参数位置。
三种截面可以收成一组对照。拦对的图里，上限是一条清楚的横线，尖峰被削成贴线的平顶，线以下的小步保持原高。没拦住的图里，同一位置的尖峰突破横线，高度保持原始的超额，参数轨迹出现一次远跳。削过头的图里，横线压得很低，尖峰和小步全被收到这条低线上，轨迹几乎走不动。三张图可以共用同一次过大的原始改动，差别只在上限的高低，以及有没有执行按比例缩小。
梯度裁剪并不改写损失本身如何定义。样本、预测和损失之间的计算，在反传之前照旧进行。它改的是反传得到的那一份改动向量，在写回参数之前先做长度检查。因此同一步里，方向信息来自损失的梯度，长度上限来自事先给定的那个正数，两者叠在一起，才成为真正落到参数上的一步。若要画机制，应当把算出改动、比较上限、按比例缩小、写回参数分成先后四拍，而不要把裁剪画进损失公式里面。
这里的幅度指的是全体参数改动合在一起的整体长度，不是单个参数的绝对值。某个参数的改动特别显眼，可是其余分量都很小，整体长度仍可能低于上限，这一步就不会被缩短。反过来，没有任何一个参数独自极端，成千上万个中等分量加在一起，整体长度仍可能越线。越线之后，所有分量共用同一个比例，包括那些本来不大的分量。这和只给单个参数设一道硬顶并不相同，硬顶会改掉各分量的相对长短，整体按比例缩小则把相对长短留住。
上限定在哪里，决定三种截面里会出现哪一种。定得和常见小步大致同级，又高于大多数平稳步，尖峰会被拦住，小步还能留下，这就是拦对。定得远高于训练里真正出现的幅度，尖峰穿线而过，就变成没拦住。定得低于日常小步的高度，每一步都被压短，就变成削过头。比较稳妥的做法，是先看未裁剪时幅度的常见范围，把上限放在这个范围的上沿附近，然后再看损失是否仍在下降，以确认步子没有被压没。
把整套机制收束起来，梯度裁剪就是对单步参数改动设置的一道长度闸门。每一步先算出往哪边改、改多大，再拿整体幅度去比事先定好的上限，超过就把整个改动按比例缩小到刚好等于上限，不超过就原样保留。方向始终不动，它也不代替学习率那种每步都乘的固定比例，更不做随机丢弃，也不做量化。拦对时，一次过高的改动被削到上限，小的正常改动还在。没拦住时尖峰穿过上限，参数被带飞。削过头时上限太低，连正常的小步也被压没，训练几乎不再往前。
http://www.l5b1y9.cn/m/84507428.html
http://www.h1y5r7.cn/m/54857956.html
http://www.lxpbw.cn/m/76262131.html
http://www.zysvjr.cn/m/47384984.html
http://www.njjingxinning.cn/m/57074631.html
http://www.youan66.cn/m/56851038.html
http://www.e8t2m5.cn/m/81627637.html
http://www.qingmiaomiao.cn/m/37988643.html
http://www.huiju101.cn/m/96724592.html
http://www.u9p5j1.cn/m/56910949.html
http://www.t56985.cn/m/42609232.html
http://www.xajkyhs.cn/m/47638772.html
http://www.qingyani.cn/m/70336499.html
http://www.g5m0x2.cn/m/10698872.html
http://www.sliekd.cn/m/79702688.html
http://www.z6r3c7.cn/m/69184755.html
http://www.biefengwo.cn/m/88645484.html
http://www.qihll.cn/m/81261268.html
http://www.t7a1q8.cn/m/94855227.html
http://www.yyjkgg.cn/m/13181481.html
http://www.jianlibang.cn/m/37653170.html
http://www.klvvb.cn/m/28535075.html
http://www.itoj.cn/m/69287893.html
http://www.odteuz.cn/m/12431079.html
http://www.tjyuce8.cn/m/77197201.html
http://www.lmncbx.cn/m/53522884.html
http://www.xhpxad.cn/m/31239716.html
http://www.c7d4x3.cn/m/95506926.html
http://www.yjkf568.cn/m/28665118.html
http://www.hygsk.cn/m/87528970.html
http://www.baizeycs.cn/m/15982075.html
http://www.b8c2l6.cn/m/30625963.html
http://www.p7q1z5.cn/m/78536844.html
http://www.bwtone.cn/m/13575869.html
http://www.jxcanzhang.cn/m/94543443.html
http://www.grkqvf.cn/m/99664428.html
http://www.hunhuntu.cn/m/24931054.html
http://www.zhaocaicatt.cn/m/47955335.html
http://www.gdiipxp.cn/m/13790269.html
http://www.n2d8f4.cn/m/64787541.html
http://www.opqoas.cn/m/79664897.html
http://www.tjyuce168.cn/m/22847337.html
http://www.huangzui.cn/m/95772055.html
http://www.kttjyhwy.cn/m/59484803.html
http://www.rspwu.cn/m/77473673.html
http://www.qlgyio.cn/m/47980165.html
http://www.xvfahz.cn/m/38164264.html
http://www.suheqing.cn/m/72592363.html
http://www.xemvyl.cn/m/77972644.html
http://www.xuanyuewenhua1314.cn/m/12427540.html
http://www.d9n4t2.cn/m/44776765.html
http://www.s4v9e3.cn/m/48044494.html
http://www.xiaoniaohuichong.cn/m/41709476.html
http://www.tjyuce6.cn/m/52029985.html
http://www.kythf.cn/m/77147063.html
http://www.f6j3w8.cn/m/98552965.html
http://www.k3w6b9.cn/m/70433425.html
http://www.xiaofengyu.cn/m/46511327.html
http://www.r4g7k2.cn/m/63843017.html
http://www.vqid.cn/m/88925491.html
http://www.kjfrr.cn/m/71344792.html
http://www.pxxzxtc.cn/m/19451635.html
http://www.jrpsna.cn/m/72797748.html
http://www.ituf.cn/m/51559071.html
http://www.qihss.cn/m/74111792.html
http://www.klunn.cn/m/60713769.html
http://www.itoeps.cn/m/92890209.html
http://www.q1h9v4.cn/m/13335453.html
http://www.xiaofengluo.cn/m/42814911.html
http://www.rylvyw.cn/m/73769025.html
http://www.qingyant.cn/m/30069937.html
http://www.bjzzvideo.cn/m/35643563.html
http://www.x2m8k4.cn/m/19536832.html
http://www.w3s8a6.cn/m/85549740.html
http://www.ymwmxi.cn/m/51801481.html
http://www.poypwb.cn/m/76081409.html
http://www.ailinzhi.cn/m/69548313.html
http://www.fyghj.cn/m/71200069.html
热门跟贴