《提示学习Prompting篇》电子书下载

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“《提示学习Prompting篇》电子书下载”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

《提示学习Prompting篇》电子书下载：

这篇文章详细介绍了提示学习（Prompting）及其相关方法，包括前缀微调（Prefix-tuning）、指示微调（Prompt-tuning）、P-tuning及其改进版本P-tuning v2。以下是文章的主要内容：

一、为什么需要提示学习（Prompting）？
提示学习（Prompting）在面对特定下游任务时提供了一种折衷方案。传统的Full Fine-tuning方法需要对预训练模型的所有参数进行微调，效率低下；而固定预训练模型的某些层并微调接近下游任务的部分参数，效果也不理想。提示学习通过提供上下文和任务相关信息，帮助模型更好地理解任务要求，生成正确的输出，从而提高模型的性能并降低计算成本。

二、什么是提示学习（Prompting）？
提示学习通过提供上下文和任务相关信息来帮助模型理解任务要求。例如，在问答任务中，prompt可能包含问题或话题的描述；在情感分析任务中，可以在句子前面加入前缀“该句子的情感是”来引导模型进行情感分类。这种方法旨在通过最小化微调参数的数量和计算复杂度，提高预训练模型在新任务上的性能。

三、提示学习（Prompting）的优点
提示学习通过最小化微调参数的数量和计算复杂度，提高预训练模型在新任务上的性能，缓解大型预训练模型的训练成本。这种方法可以在计算资源受限的情况下，利用预训练模型的知识迅速适应新任务，实现高效的迁移学习。

四、提示学习的方法
4.1 前缀微调（Prefix-tuning）
4.1.1 为什么需要前缀微调？
前缀微调旨在解决人工设计离散Prompts的缺点，如对模型性能的敏感性高、自动化搜索成本高以及离散化token搜索结果可能不是最优的。

4.1.2 前缀微调思路
构建Prefix：在输入token之前构造一段任务相关的virtual tokens。
训练时只更新Prefix部分的参数，Transformer中的其他部分参数固定。
在Prefix层前面加MLP结构，防止直接更新Prefix参数导致训练不稳定。

4.1.3 前缀微调的优点
可以学习的“隐式”Prompts。
可以在一个批次中处理多个用户/任务的样本。
只更新Prefix部分的参数，而不是全量微调。

4.1.4 前缀微调的缺点
占用序列长度，有额外计算开销。
在每层都加了prompt的参数，改动较大。

4.2 指示微调（Prompt-tuning）
4.2.1 为什么需要指示微调？
指示微调旨在解决全量微调的高开销、离散Prompts的高成本以及前缀微调的计算开销和参数改动问题。

4.2.2 指示微调思路
将prompt扩展到连续空间，仅在输入层添加prompt连续向量。
冻结模型原始权重，只训练prompts参数。
使用LSTM建模prompt向量间关联性。

4.2.3 指示微调的优点
只在输入层加入prompt tokens，不需要MLP进行调整。
随着预训练模型参数量的增加，逼近全参数微调的结果。
提出了prompt ensembling，减少模型集成成本。

4.2.4 指示微调的缺点
训练难度加大，可能不省时间。
多个prompt token之间相互独立，可能影响效果。
在NLU上表现不佳，不能处理困难的序列标注任务。

4.2.5 指示微调与Prefix-tuning的区别
Prefix-tuning仅针对NLG任务有效，指示微调适用于所有类型的语言模型。
Prefix-tuning限定在输入前面添加，指示微调可以在任意位置添加。
Prefix-tuning每一层都添加prompt，指示微调可以只在输入层添加。

4.2.6 指示微调与fine-tuning的区别
Fine-tuning改变预训练阶段模型参数，可能导致灾难性遗忘。
指示微调不改变预训练阶段模型参数，而是通过微调寻找更好的连续prompt。

4.3 P-tuning
4.3.1 为什么需要P-tuning？
P-tuning旨在解决大模型的Prompt构造方式严重影响下游任务效果的问题，如GPT系列在NLU任务上效果不佳。

4.3.2 P-tuning思路
设计可学习的Embedding层。
使用prompt encoder（双向LSTM+两层MLP）处理Prompt Embedding。

4.3.3 P-tuning的优点
引入prompt encoder来建模伪token的相互依赖，并提供更好的初始化。

4.3.4 P-tuning的缺点
复杂性增加。
伪token编码时是连续的，但与输入结合时可能是不连续的。

4.4 P-tuning v2
4.4.1 为什么需要P-tuning v2？
P-tuning v2旨在让Prompt Tuning在不同参数规模的预训练模型和不同下游任务上达到匹敌Fine-tuning的效果。

4.4.2 P-tuning v2思路
Deep Prompt Encoding：在输入前面的每层加入可微调的Prompts tokens。
移除重参数化的编码器。
针对不同任务采用不同的提示长度。
引入多任务学习。
放弃verbalizer，回归到传统的CLS和token label分类范式。

4.4.3 P-tuning v2的优点
在输入前面的每层加入可微调的Prompts tokens，增加可学习参数。
解决了Prompt Tuning在小模型上无法有效提升的问题。
将Prompt Tuning拓展至NER等序列标注任务。

4.4.4 P-tuning v2的缺点
放弃verbalizer，回归到传统的CLS和token label分类范式，弱化了prompt的味道。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“《提示学习Prompting篇》电子书下载”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！