面试官问LSTM的门,很多人背得出"遗忘门、输入门、输出门"六个字,往下追问一句"为什么需要门"就卡住了。这道题真正的起点,是RNN的记忆问题。
RNN,循环神经网络(recurrent neural network),靠循环结构把上一步的信息带到下一步。听起来能记住历史,实际会衰减——序列一长,早期信息在传递中越来越淡,梯度消失随之出现。这就是RNN的记忆问题。
LSTM给出的解法是三个门,各管一件事:
- 遗忘门:决定遗忘程度,控制旧信息丢掉多少
- 输入门:决定写入,控制新信息进来多少
- 输出门:决定读取,控制这一步往外输出多少
三者配合,共同缓解梯度消失。注意是缓解,不是消灭——门控让信息有选择地保留,长距离依赖才有机会传下去。
面试里常被接着问的是GRU。GRU把遗忘门和输入门合并成一个更新门,参数更少,效果相近。这个对比几乎是标准追问:结构简化了,性能没掉多少,工程上就值得考虑。
再往下就是Transformer。素材把GRU与Transformer的异同列为对比项,说明这条追问链已经延伸到门控结构之外。RNN的记忆衰减、LSTM的三门分工、GRU的合并简化,是一条完整的知识线。
所以这道题别只背名词。先讲清RNN为什么会忘事,再讲三个门分别管什么,最后落到GRU为什么能少一个门。顺序对了,答案就立住了。
热门跟贴