《大模型常考面试题总结（含答案）》电子书下载

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“《大模型常考面试题总结（含答案）》电子书下载”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

《大模型常考面试题总结（含答案）》电子书下载：

这本书总结了关于大模型面试中常见的问题及其答案，涵盖了从基础知识到高级技术的各个方面。以下是文章的主要内容：

​RAG技术体系

​总体思路：数据预处理 -> 分块（关键步骤）-> 文本向量化 -> query向量化 -> 向量检索 -> 重排 -> query+检索内容输入LLM -> 输出。
​检索环节评估：MMR平均倒排率、Hits Rate命中率、NDCG。
​生成环节评估：完整性、正确性、相关性（非量化），Rouge-L（量化）。

​外挂知识库的使用

​目的：克服遗忘问题，提升回答的准确性、权威性、时效性，解决小众领域问题，提高可控性和可解释性。

​大模型的幻觉问题和复读机问题

​幻觉问题：生成的内容无意义或不忠实于源内容。
​复读机问题：重复生成某些话。
​解决办法：引入外挂知识库、纠偏规则、限制输出长度、丰富数据集多样性、同义词替换、温度参数调整、后处理与过滤。
​
开源大模型

​当前主流：Meta的LLaMA。
​架构改动：输入前置归一化、SwiGLU激活函数、旋转嵌入、causal multi-head attention的高效实现。

​SFT方法

​全微调、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1、lora、RLHF。

​LangChain

​定义：为大型语言模型提供搭建和集成方式。
​常用模块：文档加载、文档分块、向量化、向量存储、检索问答。

​RAG的改进点

​query侧：纠错、改写、规范化和扩展。
​向量数据库：层次索引。
​LLM模型：微调、引入知识库。
​输出后处理：降低不合理case。

​LangChain的常用模块

​document_loaders：文档加载。
​text_splitter：文档分块。
​embedding.huggingface：向量化。
​vectorstores：向量存储。
​chain.RetrievalQA：检索问答。
​
SFT和RLHF优劣对比

​SFT：启动简单、训练简单、显存资源低。
​RLHF：利用人类偏好指导训练、提升安全性和事实性。
​缺点：SFT依赖数据质量，RLHF消耗显存、训练不稳定。
​
RLHF详细介绍

​定义：基于人类反馈的强化学习。
​目标：生成高质量且符合社会规范的输出。

​性能提升trick

​梯度累积、混合精度训练、减轻模型参数、分布式训练、减少批量大小、增加硬件资源、数据处理与加载优化。

​LLaMA模型输入句子长度

​理论限制：受限于计算资源，长句子会导致梯度消失或爆炸，推理阶段会增加预测错误率。
​
处理更长文本的方法

​分块处理、增加模型参数量、复杂化模型架构。

​大模型推理时显存中的数据

​模型参数、输入数据、计算中间结果、内存管理策略。

​ChatGLM

​基座GLM：Encoder和Decoder。
​mask方式：BERT形式、gpt形式。
​内部结构：位置编码、激活函数、LayerNormalization。

​GLU和SwiGLU激活函数

​GLU：通过门控机制过滤信息。
​SwiGLU：结合Swish和GLU。

​LLaMA1/2的异同

​数据角度：LLaMA2.0为2.0T，LLaMA1为1.4T。
​上下文长度：LLaMA1为2k，LLaMA2为4k。
​模型架构：位置编码、Normalization、激活函数。
​
模型显存占用

​训练：占用模型参数量的16倍。
​推理：占用模型参数量的2倍。

​Deepspeed机制

​数据并行：ring all reduce方式。
​Zero：逐步递进方案，减少显存占用。
​
混合精度训练

​定义：使用FP16和FP32的混合精度。
​优点：内存占用减少、通讯效率提高、计算效率更高。
​问题：数据溢出和舍入误差。
​技术点：权重备份、损失放大、精度累加。
​
prefix LLM和casual LLM

​prefixLM：输入双向注意力，输出单向注意力。
​casualLM：严格自回归，单向注意力。

​MHA计算优化

​KV cache：避免重复计算。
​MQA：减少缓存数据。
​GQA：进一步减少缓存数据。
​FlashAttention：切分Q、K、V，从HBM加载到SRAM。

​attention计算方式

​self-attention：保留权重差异性。
​din的attention：不进行softmax归一化，保留原始信号强度。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“《大模型常考面试题总结（含答案）》电子书下载”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！