大模型在今日常常要把好几条序列放进同一次计算。这些序列长短不一。若直接并排，短的那一条尾部缺一截，无法和最长的那一条排成整齐的一块。做法是在真正写完的内容后面补上若干空位，补到和这一次里最长的那一条一样长。形状齐了，才能排成整齐的一块一起算。
补上的空位不是真正的字。格子里没有词，也没有要被人读懂的意思，它只是为了对齐长度而临时占住的位置。它也不是前文里的内容。前文已经写好的字仍留在原来的格子上，空位并不把前文抄进来。若把空位当成一个字，或当成前文的后继，这一次计算的含义就会被搅乱。
补齐之后，短序列和长序列就能肩并肩排成一块。最长的那一条常常不用补，它的长度就是这一次的基准。较短的按差距补足，差得越多补得越多。每一行的格子数相同，计算就可以按同一套步调往下走。对齐只服务这一次的外形，并不改写任何一条里已经写好的内容。
填充掩码专门把这些空位标出来。它顺着每一条逐格查看，后来补上的空位就在对应处做上标记，本来写着内容的位置则保持可算。标记只辨认哪些格子是垫长度用的，并不新写一个字，也不改动已经放进格子的内容。没有这层标记，后面的步骤就分不清空位和真内容。
空位被标出之后，就不参与这一次的注意力。注意力让各个位置互相照看。空位上什么都没有，若允许别人去看它，那些位置会把空白吸进结果。若允许空位自己去看别人，它又会在没有内容的前提下聚起不该存在的表示。填充掩码把这两条通路都挡住，使空位留在注意力之外。
空位也不进入这一次的误差。误差衡量算出来的结果离该有的结果有多远，并据此决定这一次该怎样调整。空位上本来没有该交出的内容，若仍算进误差，模型就会被要求在空白格子上匹配一个并无意义的目标。填充掩码让误差只落在有内容的位置上，空位不贡献偏差。
真正写着内容的位置照常计算。它们之间该发生的注意力仍然发生，每个字仍能依照同一条里其他有效位置上的内容来更新自己。误差也只在这些位置上比较算出的结果和该有的结果。补空位改变的是整块的外形，并不把已有的字从计算里拿掉。前面写下的字在这一次里仍按原有方式被处理。
掩码一旦漏了，空位就会被当成有效内容。计算分不清哪些格子是垫上去的，就会让空位进入注意力，让别的位置去照看它，也让它去照看别的位置。短序列尾部那一截空白，于是像真写了字一样去影响前面的字。内容本身没有变，变的是空白被错误地赋给了和真字一样的地位。
这种误认还会把误差带偏。空位被当成有效位置之后，误差也会在这些格子上产生，模型被推动着去迎合空白上的目标。参数的调整于是掺进一份没有内容依据的拉力，真正有内容的位置所需要的修正受到干扰。这一次得到的方向，不再只反映写好的那些字。
掩码划得太宽，会把真正有内容的位置也标成空位。那些本来该参与注意力的字被挡在互相照看之外，邻近位置无法再借助它们，它们自己也无法借助该看的其他位置。该算的字就这样被丢掉。丢掉的不是外形上的格子，而是这条序列里已经写好、本应进入计算的内容。
划得太宽同样会让误差缺掉一块。被误标成空位的字不再为这一次的误差提供比较，模型在这些位置上即使算偏了，也得不到应有的修正。短序列若被多标了几格，靠近尾部的真字会最先被排除。长序列若被套上了别人的空位范围，后半段整段内容都可能被挡在误差之外。
空位必须补在内容后面。先把这条序列真正写下的字按原来的先后排好，再在末尾接上为了对齐而增加的空位。内容的顺序保持原样，空位只延长尾部，不改中间的衔接。填充掩码也按这个顺序来标，前面连续的一段是有效位置，后面连续的一段才是空位。
空位不能插进内容中间。若在两个已经写好的字之间塞进空位，原来紧挨着的字就被拆开，中间多出一块没有内容的间隔。注意力越过这段间隔时，会把本应相连的上下文隔断，序列的先后也不再是原来的先后。长度看似补齐了，内容的结构却被改写。
空位也不能盖住已经写好的字。盖住意味着某个原本有内容的格子被换成空位，那个字从这一次的块里消失。模型看不到它，误差也不会为它计算，等于把写好的内容抹掉一截。补齐的目的只是让短序列在尾部追上长序列，而不是用空白替换已有的字。空位只能追加在它们之后。
每条序列要补的空位数量可以不同。同一次里最长的那条可能一个空位都没有，次长的只补几格，最短的要补很多格。空位的多少由各自长度和这一次最大长度之差决定，差多少就补多少。不能因为它们排在同一块里，就让每条都补同样多的空位。
掩码要按每条自己的长度来标。一条序列的有效位置到哪里结束，空位从哪里开始，只由这一条实际写下的长度决定。旁边另一条即使排在相邻的一行，也不能替它规定空位从第几格开始。填充掩码因此是逐条给出的，每一条有自己的有效范围，也有自己的空位范围。
不能用同一套空位位置套到所有序列上。若拿最短那条的空位范围去套每一条，较长序列的后半段会被错标成空，本有内容的字就被排除。若拿几乎没有空位的最长那条去套，短序列尾部的空位就得不到标记，空白又会混进注意力和误差。掩码必须一条一个样子，不能全块共用一个空位图案。
填充掩码和因果掩码不是一回事。因果掩码挡住的是还没写出的后文。按先后生成时，一个位置只能借助已经写到它之前的内容，不能提前看到后面尚未写出的字。那些被挡住的位置，在整段最终写完时往往真有内容，只是就当前这一步而言还不该被看见。填充掩码挡住的是为了对齐长度而补上的空位，那些格子从头到尾都不是字，也不是稍后会写成的后文。
两种掩码可以同时存在，各自管各自的事。因果掩码关心方向，沿着序列的先后，把不该提前看见的后文挡住。填充掩码关心有没有内容，把尾部垫长度的空位挡在这一次之外。已经写好的字，仍可能因为位于当前步的后文而被因果掩码暂时挡住。补上的空位则无论先后如何，都不进入这一次的注意力和误差。把二者混成一种，要么让空白漏进去，要么把本该按先后处理的内容当成空位。
填充掩码和滑动窗口也不是一回事。滑动窗口挡住的是离得太远的前文。窗口给每个位置划定一个能照看的近距范围，超出这个范围的更早位置，这一次就不再被看见。那些被挡住的前文是真有内容的，字确实写在那里，只是距离超出了窗口。它们不是空位，也不是为了对齐长度才补上去的。若把远方的真内容理解成填充空位，就会误以为那边的格子里没有字。
滑动窗口改变的是能看多远，填充掩码改变的是哪些格子根本没有内容。远方的字被窗口挡住时，近处的有效位置仍然保留，误差仍会在那些写好的字上计算。空位被填充掩码挡住时，是因为那里从来没有写过字，不该产生注意力，也不该产生误差。一条序列可以既用滑动窗口，又用填充掩码。窗口在有效内容内部限制距离，填充掩码在内容结束之后把补上的空位排除。远方的真字和尾部的空位并不是同一种东西。
连续批处理是另一件相关但不同的事。它让长短不同的生成共用一次计算。好几条正在逐字写出的序列，哪怕各自已经写出的长度不一样，也可以在同一步里放进同一块，一起做这一轮计算。共用的是这一次的计算步，各条仍按自己已经写出的内容往下接。连续批处理解决的是怎样把进度不同的生成排到同一次里，它本身并不规定补出来的空位能不能算进去。
填充掩码在这种共用里专门处理补出来的空位。进度较短的那一条，为了和这一步里较长的条对齐，尾部仍可能被补上空位，这些空位不能算进去。掩码按每条当前已经写出的长度来标，让补上的格子留在注意力之外，也不进入误差。连续批处理因此可以把长短不同的生成放在一起算，而不必担心垫长度的空白被当成新写出的字。一个负责把它们排进同一次，一个负责把空位排除出这一次的有效计算。
结束记号也不是这些空位。结束记号是生成写到该收的地方就停下来的标记，它本身是序列里真正写出的一个记号，占据有意义的位置，会参与该参与的注意力，也会进入该进入的误差。短序列尾部的空位只是比同一次里最长的那条少了若干格，需要把格子数垫齐，并不是写到了该停的地方。空位可以出现在结束记号之后，那是已经收束又为了对齐而多补的格子，也可以出现在尚未写下结束记号的短序列尾部，那只是这一次排布上的垫齐。结束记号说的是内容写到该收了，填充掩码说的是补出来的空位不能进入这一次计算。因果掩码仍挡还没写出的后文，滑动窗口仍挡离得太远却确有内容的前文，连续批处理仍安排不同进度的生成共用一次计算，彼此并不互相替代。
http://www.grkqvf.cn/m/15172616.html
http://www.suheqing.cn/m/81262611.html
http://www.g5m0x2.cn/m/67312100.html
http://www.huiju101.cn/m/61861834.html
http://www.qingyant.cn/m/24060758.html
http://www.n2d8f4.cn/m/63308319.html
http://www.c7d4x3.cn/m/84221790.html
http://www.hunhuntu.cn/m/45127683.html
http://www.e8t2m5.cn/m/95548647.html
http://www.xajkyhs.cn/m/61682304.html
http://www.xiaoniaohuichong.cn/m/17683306.html
http://www.lmncbx.cn/m/20322541.html
http://www.qlgyio.cn/m/83127830.html
http://www.jrpsna.cn/m/95308197.html
http://www.pxxzxtc.cn/m/57721948.html
http://www.xiaofengluo.cn/m/13426872.html
http://www.l5b1y9.cn/m/29652124.html
http://www.itoj.cn/m/24137720.html
http://www.itoeps.cn/m/95194506.html
http://www.poypwb.cn/m/98758688.html
http://www.tjyuce168.cn/m/43531198.html
http://www.bjzzvideo.cn/m/66320365.html
http://www.klunn.cn/m/63072933.html
http://www.d9n4t2.cn/m/86226745.html
http://www.w3s8a6.cn/m/84960630.html
http://www.ituf.cn/m/34880969.html
http://www.kttjyhwy.cn/m/70840981.html
http://www.zhaocaicatt.cn/m/14975184.html
http://www.bwtone.cn/m/21794188.html
http://www.ailinzhi.cn/m/57144458.html
http://www.hygsk.cn/m/64421054.html
http://www.youan66.cn/m/69695416.html
http://www.tjyuce8.cn/m/46784020.html
http://www.njjingxinning.cn/m/57676530.html
http://www.u9p5j1.cn/m/13269672.html
http://www.xhpxad.cn/m/84442503.html
http://www.qihss.cn/m/94225422.html
http://www.kythf.cn/m/34568509.html
http://www.kjfrr.cn/m/86758541.html
http://www.klvvb.cn/m/14960371.html
http://www.zysvjr.cn/m/34543341.html
http://www.yjkf568.cn/m/30571733.html
http://www.baizeycs.cn/m/77454215.html
http://www.opqoas.cn/m/10013429.html
http://www.fyghj.cn/m/96025168.html
http://www.xvfahz.cn/m/17193189.html
http://www.gdiipxp.cn/m/16351480.html
http://www.p7q1z5.cn/m/26149542.html
http://www.xemvyl.cn/m/73719538.html
http://www.sliekd.cn/m/44803280.html
http://www.f6j3w8.cn/m/24143225.html
http://www.lxpbw.cn/m/41408696.html
http://www.ymwmxi.cn/m/74238764.html
http://www.huangzui.cn/m/67871165.html
http://www.x2m8k4.cn/m/32470228.html
http://www.b8c2l6.cn/m/85203587.html
http://www.qingyani.cn/m/86006906.html
http://www.jianlibang.cn/m/30811530.html
http://www.k3w6b9.cn/m/73434218.html
http://www.biefengwo.cn/m/67598146.html
http://www.rylvyw.cn/m/62641895.html
http://www.vqid.cn/m/86427286.html
http://www.odteuz.cn/m/95972835.html
http://www.xiaofengyu.cn/m/44176021.html
http://www.qihll.cn/m/39482691.html
http://www.tjyuce6.cn/m/11813187.html
http://www.t56985.cn/m/91576214.html
http://www.jxcanzhang.cn/m/53440584.html
http://www.qingmiaomiao.cn/m/38878936.html
http://www.xuanyuewenhua1314.cn/m/95698149.html
http://www.r4g7k2.cn/m/79554060.html
http://www.q1h9v4.cn/m/96251522.html
http://www.h1y5r7.cn/m/70131788.html
http://www.s4v9e3.cn/m/13671607.html
http://www.z6r3c7.cn/m/73317900.html
http://www.t7a1q8.cn/m/30496903.html
http://www.yyjkgg.cn/m/83568021.html
http://www.rspwu.cn/m/93484080.html
热门跟贴