在今日的大模型训练里，权重衰减会在每一步更新中把参数轻轻往更小的方向拉一下。更小，是指离零更近。参数本身越大，这一拉越明显；已经接近零的参数几乎不动。这一拉每一步都在，不是等到改动过长才出现。它改的是参数离零有多远，不是把这一步梯度的整体长度卡到某个上限。
损失先给出梯度，指出每个参数该往哪边走。衰减不取代这份梯度，也不在这一步较短时停手。它是另加的一小项，对着参数当前的取值，按比例往零减一点。被改动的是这个数离零的距离，整步梯度有多长并不由它卡死。哪怕这一步改动本来就不长，这轻轻一收也照样发生。学习率可以同时开着，却只管沿损失走多远。
学习率和衰减可以同时留在同一步里。学习率乘在损失带来的改动上，决定跟着损失方向走多远。衰减不靠缩放这段位移，而是把参数本身往零那侧收一点。学习率变大，沿损失走得更远；衰减系数变大，回收更明显。只调学习率，并不会让离零更远的参数单独多受一拉。两边各留各的数值，互不顶替。
设某个参数当前是四，衰减系数取得很小。这一步先按损失方向把四改一点，改完多半仍在四附近，略大或略小都有可能。接着按比例往零收，也就是减掉系数乘以这个数，接近于乘上一个比一略小的因子。收完以后它仍是正数，只是比完全不做衰减时更靠近零。系数小，一步的差额不大，可每一步都会再出现一次。
另一个参数只有零点零二。同一个很小的系数用上去，回收量是这个小数再乘上系数，小到几乎看不出来。规则并没有把它排除，只是收多少跟着参数自己的大小走。衰减不是对所有参数扣除同一个固定数。谁离零更远，谁被拉回的那一截更长；贴近零的，看起来像停在原地。
系数若调得过强，轻轻一拉就变成往下压。本来维持着有用大小的参数，也会在连续很多步里被收得很低，靠这些大小才能分开的差别会被挤薄。有用的尺度还没留住，就被过猛的回收抹去大半。这时应把系数放小，让它只牵制无节制地变大，同时保住正常需要的幅度。太强的回收会把该留下的大小一并压没。
若把系数设成零，这一小项就消失。此后每一步只跟着损失方向走，走多远仍由学习率决定。已经偏大的数，只要损失没有往小处推，就会一直留在那里，后面还可能继续变大。离零远本身不再成为被拉回的理由。训练拉长以后，一部分参数的尺度更容易越积越散，因为没有对面那一股轻轻的回收。
梯度裁剪看的是这一步整体改动有多长，和按离零远近回收不是一回事。只有当这一整步的长度超过事先定下的上限时，才把长度削到上限，方向大体不变，步子缩短到刚好贴着上限。没超过上限时，裁剪什么也不做，改动原样留下。它不会因一个是四、一个是零点零二就给出不同的朝零回收，也不会每一步对全体参数追加那一小项。
一步很短时，裁剪完全不起作用，衰减却仍按每个参数的大小在收。一步很长时，裁剪把整体长度压到上限，衰减仍是另外一项。即便长度已被削过，写回时朝零的比例回收还在。把裁剪上限调低，只是让超长的步子更早被削短，并不会变成参数越大拉得越狠。两边可以同时打开，痕迹却各是各的。
学习率每一步都乘在损失带来的改动上。数值大，顺着下降方向走得远；数值小，走得近。它缩放的是损失指出的位移，不是参数当前的取值。若这一步损失给四和零点零二的梯度相同，乘出来的位移也就相同。它不会因为四更大就额外往零多拉，也不会因为零点零二很小就少走。步幅对这份损失位移同等看待，并不单独把参数往零拉。
把学习率调小，代替不了衰减。步子会一起变短，其中也包括本来该往有用方向前进的步子。衰减是在这段位移之外另加的一小项，量和参数当前大小成比例，方向朝着零。两者同时存在时，既可以沿损失下降，又让偏大的参数每一步略往回收。关掉衰减、只留学习率，偏大的数会停在损失留下的地方。
归一化发生在前向计算途中，稳住的是一层层往下算的尺度。某一层吐出的数若过散或过猛，就先收回一个还能继续往下算的范围，免得后面的层被过大的中间结果带偏。它改的是这一次流过的数值。这些中间结果并不被当成参数离零的距离写进参数里。所以它不是在更新里把参数往零收。
参数更新是另一条线。衰减改的是即将写回的那个数，让它比只按损失更新时更靠近零。每一层都做归一化，也不会在更新末尾自动多出按大小朝零回收的那一项。输出落回可继续计算的范围，只表示这一次前向的中间尺度被照应过。做了衰减，也不保证某一层算出来的数就落在固定区间。两件事发生的位置不同。
随机丢弃挡住的是通路。训练的某一轮里，它暂时挡住一层中的一部分，被挡住的部分这一轮不参与往前算，也不参与把梯度传回来。下一轮再重新决定挡住哪里。休息并不改写参数里的数。四不会因为大就被乘上回收因子，零点零二也不会因为小就被优先保留。大小不决定谁被挡住，挡住与否也不按离零远近。
不再更新参数时，丢弃通常不再挡任何通路，该参与的都会参与。衰减没有这种暂时启用、事后整段取消的做法。只要还在按步更新，它就每一步作用在参数上，写回去的数已经含着这一次回收。它也不靠随机挑选。参与更新的都按离零远近被收，远的多收，近的少收。有些单元没参与，并不能当成偏大的参数被往零拉了。
再看四在同一步里的两股力。假设损失希望把它往正方向加一个很小的量，衰减则按比例往零减掉另一小段。两股力叠在一起，一股顺着损失，一股朝着零。净结果仍可能是增加，只是比不衰减时少一点；也可能损失正在减小这个数，衰减再往零收，于是更靠近零。衰减贡献的一段跟四成比例。收完仍是正数，只是比不衰减时更靠近零。
零点零二若遇上同样的损失改动和同样的系数，损失带来的位移可以和四那边差不多，回收却小得多，往往藏在小数末尾。拉得明不明显，取决于参数有多大，而不是取决于这一步梯度整体有多长。贴近零的参数不会因此被突然抹掉。能持续感觉到那一拉的，主要是已经偏大的数。同一系数下，大小不同，回收的明显程度就不同。
回收每一步都按当前大小重算，很多步以后会慢慢托住整体尺度。单看一步，四只变得略小一点。若损失不断把某些参数往大处推，衰减就在对面轻轻拽。两边常常停在大致相抵的一带。系数温和，相抵处仍留着有用的大小；系数过猛，相抵处被压得很低；系数为零，就没有往里的那一股，尺度缺少回收来牵住。
参数变小以后，后一步的回收也会变轻。四收到三附近时，下一步扣除的绝对量就比还是四的时候更小。越靠近零，拉力越弱。系数不大时，通常不会把一个有用的正数一步收成零，而是越近越只作微调。这和超过上限才把长度削到上限不同。那种削法是超了才截、没超就不动。比例回收则每一步都在，离得越远拉得越多，靠近之后自己变轻。
写进更新时，可以先沿损失方向按学习率走出一段，再减去衰减系数乘以参数本身。系数很小时，也相当于先乘上略小于一的因子，再叠上损失带来的位移。对四，收掉的是系数乘以四；对零点零二，收掉的是系数乘以零点零二。学习率决定跟着损失走多远，衰减系数决定按大小回收多少。两边可以同时存在，也可以分开调整。
裁剪和衰减若同时开着，仍按各自的条件做事。没超过上限，改动原样往下走；超过了，才把长度削到上限。衰减在写回时仍按每个参数的大小再收一笔，并不因为没超上限而取消。于是可以出现这样一步：整体改动并不长，裁剪完全没动手，四仍被往零收了一点，零点零二几乎看不出变化。那一拉并不等待改动过长。
归一化与随机丢弃若也开着，各处仍分开。前向时，归一化把一层算出来的数值收回还能继续算的范围，随机丢弃暂时挡住这一层里的一部分。反向之后，只有整体改动超过上限，裁剪才削长度，没超过就原样留下。写回时，衰减再按离零远近轻轻一收。一个管中间结果的尺度，一个管哪些通路暂时休息，一个管整步是否超限，一个管参数离零多远。
太强和为零是两端。太强时，连正常有用的大小也被压没，已经分开的差别很难保住，损失即便还在下降，表达也会发虚。为零时，更新只跟损失方向走，偏大的数只要没被推小，就会一直留在那里，训练越久越可能散开。温和的系数每一步都收，但只收一点点。四会更靠近零，却仍然为正；零点零二的回收几乎看不出来。
合在一起看，权重衰减就是在每一步更新里，按参数离零的远近轻轻往回收。越大越明显，接近零的几乎不动。它不是梯度裁剪，因为裁剪只在这一步整体改动超过上限时才把长度削到上限，没超过就原样留下。它不是学习率，因为学习率每一步都乘在损失带来的改动上，决定步幅，并不单独把参数往零拉。它不是归一化，因为归一化是把一层算出来的数值收回可继续算的范围，不是在更新里把参数往零收。它也不是随机丢弃，因为随机丢弃是训练时暂时挡住一层里的一部分，不是按参数离零的远近去收。
http://www.fyghj.cn/m/24229314.html
http://www.p7q1z5.cn/m/11590223.html
http://www.hygsk.cn/m/73547765.html
http://www.suheqing.cn/m/65274268.html
http://www.qlgyio.cn/m/54717949.html
http://www.k3w6b9.cn/m/99328551.html
http://www.grkqvf.cn/m/14022264.html
http://www.s4v9e3.cn/m/15679078.html
http://www.xiaofengyu.cn/m/50376928.html
http://www.opqoas.cn/m/13135011.html
http://www.qihll.cn/m/95026868.html
http://www.yyjkgg.cn/m/71318685.html
http://www.poypwb.cn/m/25542104.html
http://www.odteuz.cn/m/97308906.html
http://www.bwtone.cn/m/86077036.html
http://www.d9n4t2.cn/m/88478974.html
http://www.xuanyuewenhua1314.cn/m/44905166.html
http://www.xemvyl.cn/m/64536347.html
http://www.ymwmxi.cn/m/79172398.html
http://www.gdiipxp.cn/m/86649632.html
http://www.t56985.cn/m/23983615.html
http://www.qingyant.cn/m/84878339.html
http://www.zysvjr.cn/m/28746557.html
http://www.xajkyhs.cn/m/37316211.html
http://www.zhaocaicatt.cn/m/87068506.html
http://www.c7d4x3.cn/m/95964677.html
http://www.sliekd.cn/m/97756102.html
http://www.itoj.cn/m/75866092.html
http://www.klunn.cn/m/72458729.html
http://www.rylvyw.cn/m/61524376.html
http://www.xhpxad.cn/m/52627329.html
http://www.klvvb.cn/m/85211889.html
http://www.kjfrr.cn/m/66758726.html
http://www.kythf.cn/m/26539981.html
http://www.njjingxinning.cn/m/24667823.html
http://www.tjyuce168.cn/m/48357457.html
http://www.n2d8f4.cn/m/90520831.html
http://www.ailinzhi.cn/m/87987315.html
http://www.u9p5j1.cn/m/85051809.html
http://www.q1h9v4.cn/m/13801620.html
http://www.jxcanzhang.cn/m/60938469.html
http://www.tjyuce6.cn/m/79582206.html
http://www.f6j3w8.cn/m/25031776.html
http://www.yjkf568.cn/m/88100455.html
http://www.jrpsna.cn/m/80993510.html
http://www.w3s8a6.cn/m/11378959.html
http://www.xiaoniaohuichong.cn/m/41692459.html
http://www.youan66.cn/m/67516618.html
http://www.huangzui.cn/m/98251198.html
http://www.kttjyhwy.cn/m/71083545.html
http://www.baizeycs.cn/m/85057831.html
http://www.x2m8k4.cn/m/48321072.html
http://www.bjzzvideo.cn/m/30513472.html
http://www.tjyuce8.cn/m/51065398.html
http://www.h1y5r7.cn/m/13951903.html
http://www.ituf.cn/m/79618856.html
http://www.xiaofengluo.cn/m/18089397.html
http://www.qingmiaomiao.cn/m/40201743.html
http://www.huiju101.cn/m/76457290.html
http://www.qingyani.cn/m/44519863.html
http://www.xvfahz.cn/m/76433932.html
http://www.qihss.cn/m/96389738.html
http://www.r4g7k2.cn/m/69822484.html
http://www.l5b1y9.cn/m/50470307.html
http://www.e8t2m5.cn/m/34292219.html
http://www.z6r3c7.cn/m/21902317.html
http://www.lxpbw.cn/m/82265934.html
http://www.vqid.cn/m/11622125.html
http://www.rspwu.cn/m/46108719.html
http://www.hunhuntu.cn/m/70603597.html
http://www.g5m0x2.cn/m/50143601.html
http://www.lmncbx.cn/m/35364820.html
http://www.jianlibang.cn/m/63524619.html
http://www.b8c2l6.cn/m/72913989.html
http://www.itoeps.cn/m/61805734.html
http://www.biefengwo.cn/m/36927974.html
http://www.t7a1q8.cn/m/83368157.html
http://www.pxxzxtc.cn/m/66185238.html
热门跟贴