最新版AI大模型面试八股文156-163题

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“最新版AI大模型面试八股文156-163题”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

最新版AI大模型面试八股文156-163题：

AI大模型风头正劲，相关岗位炙手可热，竞争也异常激烈。想要在面试中脱颖而出，除了扎实的技术功底，还需要对面试套路了如指掌。这份最新版AI大模型面试八股文，正是为你量身打造的“通关秘籍”！

156、attention mask不一样，前者prefix的部分token可以相互看到，而causal是严格自回归。

157、RLHF流程讲一下
答案：
a.Step1:语言模型根据问题生成答案或续写；
b.Step2:使用函数/模型/人类反馈或它们的某种组合来评估问题和答案。并映射至一个分数，即奖励reward；
c.Step3:在PPO优化步骤中，<问题 + 回复>pair用于计算序列中标记的对数概率。经过训练的模型(actor)和参考模型(critic)分别得到new_logit和old_logit，参考模型是上一阶段的指令微调模型。两个输出之间的KL 散度用作附加奖励信号，以确保生成的响应不会偏离参考语言模型太远。然后使用PPO算法训练语言模型

158、instruction tuning和prompt learning 的区别
答案：
instruction tuning和prompt learning的目的都是去挖掘语言模型本身具备的知识。不同的是Prompt是激发语言模型的补全能力，例如根据上半句生成下半句，或是完形填空等(few- shot)。Instruct是激发语言模型的理解能力，它通过给出更明显的指令，让模型去做出正确的行动(zeroshot)。

159、LoRA怎么做的，讲一下?
答案：
即在原始的预训练模型旁边增加一个新的通路，通过前后两个矩阵A,B相乘，做一个降维再升维的操作。外挂层和预训练模型层维度都为d,A会先将维度d降维到r，B再升回d。一般是针对Q/K/V的投影矩阵W分解成低秩矩阵BA作为外挂，B一般以0初始化，A以高斯分布初始化

160、为什么可以用LoRA ?
答案：
专有任务的微调权重与初始预训练权重之间的差异往往表现出“低固有秩(low intrinsicrank)”差异，这意味着它可以很好地近似为一个低秩矩阵。即微调权重和初始预训练权重之间的这种差距可以表示为两个较小矩阵的乘积。

161、LoRA的参数
答案：
a. rank秩8:选择更高秩的分解矩阵将抵消LoRA的效率优势，而且设到16也差别不大。
b. Alpha:16。Alpha用于对学习到的权重进行扩展。通常建议固定Alpha的值为16，不调节。
c.目标模块:所有密集层。初始只对QV，但应用所有有效，且更接近全参数。
d.基础学习率:1e-4。只有当训练不稳定时降到3e-5。

162、LoRA和全参微调的对比
答案：
a.对普通文本任务如生成sql差别不大，对小模型推理影响很多，但到70B的时候差别不大。此外，数据偏离分布外太远可能会导致LoRA难以处理，有提示对LoRA训练更稳定，没有提示用特殊词元代替(需训练比如4个特殊start/end等)
b. LoRA虽然在内存方面十分高效，但可能会影响模型达到收敛的速度。

163、国外开源的LLaMA的词表实际上兼容中文效果可能会大打折扣，那么扩充词表该怎么做?
答案：
a.准备一份中文训练预料，用sentencepiece训练切词，得到扩增的中文词表，然后增加到模型原来的词表中
b. embedding矩阵随机初始化(或均值初始化)新增的token 对应的向量
c.进一步做pretraining或者sft

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“最新版AI大模型面试八股文156-163题”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！