13本七月在线内部电子书在文末，自取~
公众号福利
回复【100题】领取《名企AI面试100题》PDF
回复【干货资料】领取NLP、CV、ML、大模型等方向干货资料
问题1、transformer的结构
Transformer是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务。它的结构主要由以下几个部分组成：
Encoder-Decoder结构：Transformer模型分为两个部分：编码器（Encoder）和解码器（Decoder）。
Encoder：由多个相同的编码层（通常是6层）堆叠而成，每层由两部分组成：自注意力机制（Self-Attention Mechanism）和前馈神经网络（Feed-Forward Neural Network, FFNN）。
Decoder：同样由多个相同的解码层（通常也是6层）堆叠而成，每层包括三部分：自注意力机制（Self-Attention Mechanism）、编码器-解码器注意力机制（Encoder-Decoder Attention）和前馈神经网络（FFNN）。
Attention机制：Transformer的核心是注意力机制，尤其是多头自注意力机制（Multi-Head Self-Attention），它允许模型关注输入序列中不同位置的关系。
Position Encoding：由于Transformer不使用循环结构（如RNN中的时间步），它使用位置编码（Positional Encoding）来捕捉序列中各位置的位置信息。
Layer Normalization：每一层中使用归一化来加速训练并提高稳定性。
问题2、transformer残差连接的目的
残差连接（Residual Connection）的主要目的是解决梯度消失问题，使得在深度网络训练时梯度能够更容易地传播，从而有助于更深层次网络的训练。此外，残差连接也可以保留输入信息，防止信息在层之间丢失，有助于模型的稳定性和收敛速度。
问题3、transformer encoder的归一化是什么
Transformer Encoder使用的是Layer Normalization（层归一化）。在每个子层的输出上应用LayerNorm，以稳定模型的训练并加快收敛速度。
问题4、cv常用的归一化是什么，和transformer归一化的区别
在计算机视觉（CV）中，常用的归一化方法是Batch Normalization（批归一化）。BatchNorm在训练时会基于一个mini-batch的数据来计算均值和方差，然后使用这些统计量对数据进行归一化。
区别：
BatchNorm: 对整个mini-batch的数据进行归一化，依赖于batch内的统计量；主要用于卷积神经网络（CNN）。
LayerNorm: 对每个单独的样本进行归一化，不依赖于batch的大小；更适合像Transformer这种序列模型。
问题5、layernorm的公式
LayerNorm对每一个输入样本 x 的每一个特征 x_i 进行归一化。具体公式如下:
其中：
是输入特征的均值。
是一个小的正数，用于防止除以零。
- H 是输入的维度。
最后，归一化后的值会通过两个可学习参数 和 进行缩放和平移：
问题6、batchnorm推理时的方差和均值如何计算
在推理时，BatchNorm不再使用每个batch内的均值和方差，而是使用在训练过程中累积的全局均值和方差。这些全局统计量通常通过指数移动平均（Exponential Moving Average, EMA）在训练期间进行估计。
具体来说，全局均值和方差的计算公式如下：
全局均值：通过所有训练batch的均值按如下方式计算：
全局方差：通过所有训练batch的方差按如下方式计算：
其中，是衰减因子（通常接近1）。
问题7、RAG的流程
RAG（Retrieval-Augmented Generation） 是一种结合了检索与生成的模型结构，特别适用于需要大量外部知识的自然语言生成任务。RAG的主要流程如下：
检索（Retrieval）：给定一个输入查询，使用检索模型（如DPR）从预先构建的文档数据库中获取与查询相关的文档片段。
生成（Generation）：将检索到的文档片段与查询拼接，输入到生成模型（如BART或GPT）中进行回答生成。
输出（Output）：生成模型利用检索到的信息生成最终的答案。
RAG的优势在于能够利用大量外部知识库，增强生成模型的知识能力，从而生成更加准确和信息丰富的答案。
↓以下13本书电子版免费领，直接送↓
扫码回复【999】免费领13本电子书
（或找七月在线其他老师领取）
热门跟贴