13本七月在线内部电子书在文末，自取~
公众号福利
回复【100题】领取《名企AI面试100题》PDF
回复【干货资料】领取NLP、CV、ML、大模型等方向干货资料
问题1、原生模型复读不严重，为什么微调后复读严重？
微调后复读严重的原因主要包括以下几个方面：
数据分布偏差：
原生模型在大规模、多样化的预训练数据上训练，具备通用语言生成能力。微调时，模型的训练数据通常是小规模的、特定领域的数据，可能存在高重复性或狭窄的语义分布，导致模型学习到重复的模式。
训练目标的单一化：
微调过程中，由于数据规模较小，模型更容易过拟合，过度学习训练集中出现的模式和特定表述，从而导致复读现象。
问题2、领域知识能不能通过LoRA微调得到
可以通过LoRA微调模型来学习和表达领域知识，具体如下：
LoRA 的原理：
LoRA（Low-Rank Adaptation）通过对预训练模型中的权重进行低秩矩阵分解，仅更新分解后的低秩矩阵部分，而保持原始权重冻结。这种方式能够有效地引入领域特定的知识，同时降低训练开销。
适用场景：
小数据集领域微调：LoRA在少量领域数据下能较好地捕捉领域特性。
多领域适配：不同领域可以分别训练不同的LoRA模块，按需加载以适配不同任务。
模型容量受限场景：由于LoRA只增加少量参数，适合资源有限的情况。
问题3、如何解决大模型幻觉？或者说如何缓解吧
大模型的幻觉问题是指模型生成看似合理但事实不准确的信息。缓解方法包括：
增加知识约束：
知识增强（Knowledge Augmentation）：使用知识库、图谱或外部API对生成内容进行验证。例如，结合RAG（Retrieval-Augmented Generation）动态检索信息。
Fact-Checking 模块：在生成结果后增加事实验证机制。
多轮对话约束：
通过多轮对话，让模型自我纠错，或通过用户反馈迭代改进生成。
训练过程改进：
引入知识对齐：在微调时加入高质量知识标注数据，使生成内容更加准确。
对抗训练：使用对抗数据（如错误答案和正确答案）进行训练，减少幻觉风险。
后处理策略：
规则过滤：使用规则或分类器过滤明显的错误内容。
置信度输出：模型附带置信度评分，供用户判断结果可靠性。
强化学习优化（RLHF）：
使用人类反馈进行强化学习（如DPO、PPO），让模型生成更符合事实的内容。
问题4、loss 除以 10 和学习率除以10 有区别没？
有区别，但两者在某些情况下可以产生类似的效果。
Loss 除以 10：
Loss缩小后，每次反向传播的梯度也会相应缩小。这相当于间接减小了参数更新的步长。
这种方法可能在一定程度上缓解梯度爆炸，但不推荐直接调整Loss，容易导致损失函数不平衡。
学习率除以 10：
学习率缩小后，会直接控制参数更新的步长。
这种方法更直接且常用，能有效地控制训练过程的稳定性。
对比：
调整学习率是标准做法，更易于控制训练动态。
Loss调整会影响损失函数本身的意义，不建议直接用于控制训练。
问题5、self-attention为什么要做qkv的线性变换？
Self-Attention 中的 Q、K、V 线性变换有以下目的：
学习表达（Learnable Representations）：
原始的输入嵌入可能不足以捕获上下文关系。通过线性变换，模型可以学习到不同任务中更适合的特征表示。
多头机制的基础：
多头注意力依赖于多个独立的Q、K、V投影。线性变换允许每个头学习不同的特征空间，从而增强模型的表达能力。
降维和计算效率：
输入维度可能很高，直接计算注意力分数代价昂贵。通过线性变换，可以降维处理，降低计算复杂度。
灵活性：
线性变换引入了可学习的权重，使得Q、K、V可以根据上下文动态调整，而不是固定的。
问题6、self-attention 为什么 要做softmax？
Self-Attention中的Softmax用于归一化注意力分数，目的包括：
概率分布：
Softmax将注意力分数归一化为概率分布，使得各位置的注意力分数易于解释。
信息聚合：
通过Softmax，模型能够根据不同的注意力权重，聚合各位置的信息，突出重要内容，抑制次要信息。
梯度稳定性：
Softmax的归一化效果避免了注意力分数过大或过小，保证了梯度的稳定性和训练的有效性。
增强对比度：
Softmax的指数性质能够放大较大的分数，同时抑制较小的分数，从而更突出高相关性的上下文信息。
↓以下13本书电子版免费领，直接送↓
扫码回复【999】免费领13本电子书
（或找七月在线其他老师领取）
热门跟贴