最新版AI大模型面试八股文146-150题

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“最新版AI大模型面试八股文146-150题”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

最新版AI大模型面试八股文146-150题：

AI大模型风头正劲，相关岗位炙手可热，竞争也异常激烈。想要在面试中脱颖而出，除了扎实的技术功底，还需要对面试套路了如指掌。这份最新版AI大模型面试八股文，正是为你量身打造的“通关秘籍”！

146、领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
答案：
如果仅仅使用领域数据集进行模型训练，模型很容易出现灾难性遗忘现象，为了解决这个问题通常在领域训练的过程中加入通用数据集。那么这个比例多少比较合适呢？目前还没有一个准确的答案。主要与领域数据量有关系，当数据量没有那么多时，一般领域数据与通用数据的比例在1:5到1:10之间是比较合适的。

147、进行SFT操作的时候，基座模型选用Chat还是Base?
答案：
在进行SFT实验的时候，大模型选用Chat还是Base作为基座，需要根据SFT的数据量进行决定。如果你只拥有小于10k数据，建议你选用Chat模型作为基座进行微调；如果你拥有100k的数据，建议你在Base模型上进行微调。

148、用于大模型微调的数据集如何构建？
答案：
进行大模型微调时，数据是比较重要的，数据的高度决定模型效果的高度，因此数据的质量重要性大于数据的数量的重要性，因此对于构建微调数据时的几点建议如下所示：
（1）选取的训练数据要干净、并具有代表性。
（2）构建的prompt尽量多样化，提高模型的鲁棒性。
（3）进行多任务同时进行训练的时候，要尽量使各个任务的数据量平衡。

149、预训练和微调是哪个阶段注入知识的？
答案：
知识是在预训练阶段注入的，而微调阶段是指在特定任务上的训练，以使预训练模型的通用知识和特定任务的要求相结合，使模型在特定任务上表现更好。

150、想让模型学习垂直领域的知识，是应该预训练还是微调？
答案：
对于大模型来说是在预训练的阶段注入领域知识的，因此在训练行业大模型的时候最佳的方案是使用预训练与微调相结合的方案，先用篇章数据进行预训练以获取广泛的知识，再用问答数据进行微调，使模型更好的学习到特定领域的知识。
不过GPT系列大模型的预训练和微调，从实现方式上来讲是没有什么差别的，都是用decoder only的语言模型进行训练并更新参数，如果样本数量比较少，没有大量的篇章文档数据，个人认为只进行微调也能够注入知识，就不必再进行预训练了。如果特定的垂直领域跟预训练模型的分布差别不是很大，也不用再进行二次预训练。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“最新版AI大模型面试八股文146-150题”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！