面向开发者的LLM入门课程-人工评估

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“面向开发者的LLM入门课程-人工评估”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-人工评估：

人工评估

你想知道 qa 是怎么找到问题的答案的吗？下面让我们打开 debug ，看看 qa 是如何找到问题的答案！

import langchain
langchain.debug = True

#重新运行与上面相同的示例，可以看到它开始打印出更多的信息
qa.run(examples[0][“query”])

[chain/start] [1:chain:RetrievalQA] Entering Chain run with input:
{
“query”: “高清电视机怎么进行护理？”
}
[chain/start] [1:chain:RetrievalQA > 3:chain:StuffDocumentsChain] Entering Chain
run with input:
[inputs]
[chain/start] [1:chain:RetrievalQA > 3:chain:StuffDocumentsChain >
4:chain:LLMChain] Entering Chain run with input:
{
“question”: “高清电视机怎么进行护理？”,
“context”: “product_name: 高清电视机ndescription: 规格:n尺寸：50”。nn为什么我们
热爱它:n我们的高清电视机拥有出色的画质和强大的音效，带来沉浸式的观看体验。nn材质与护理:n使用
干布清洁。nn构造:n由塑料、金属和电子元件制成。nn其他特性:n支持网络连接，可以在线观看视
频。n配备遥控器。n在韩国制造。nn有问题？请随时联系我们的客户服务团队，他们会解答您的所有问
题。<<<<>>>>>product_name: 空气净化器ndescription: 规格:n尺寸：15” x 15” x 20”。
nn为什么我们热爱它:n我们的空气净化器采用了先进的HEPA过滤技术，能有效去除空气中的微粒和异味，
为您提供清新的室内环境。nn材质与护理:n清洁时使用干布擦拭。nn构造:n由塑料和电子元件制成。
nn其他特性:n三档风速，附带定时功能。n在德国制造。nn有问题？请随时联系我们的客户服务团队，
他们会解答您的所有问题。<<<<>>>>>product_name: 宠物自动喂食器ndescription: 规格:n尺寸：
14” x 9” x 15”。nn为什么我们热爱它:n我们的宠物自动喂食器可以定时定量投放食物，让您无论
在家或外出都能确保宠物的饮食。nn材质与护理:n可用湿布清洁。nn构造:n由塑料和电子元件制成。
nn其他特性:n配备LCD屏幕，操作简单。n可以设置多次投食。n在美国制造。nn有问题？请随时联系
我们的客户服务团队，他们会解答您的所有问题。<<<<>>>>>product_name: 玻璃保护膜
ndescription: 规格:n适用于各种尺寸的手机屏幕。nn为什么我们热爱它:n我们的玻璃保护膜可以
有效防止手机屏幕刮伤和破裂，而且不影响触控的灵敏度。nn材质与护理:n使用干布擦拭。nn构造:n
由高强度的玻璃材料制成。nn其他特性:n安装简单，适合自行安装。n在日本制造。nn有问题？请随时
联系我们的客户服务团队，他们会解答您的所有问题。”
}
[llm/start] [1:chain:RetrievalQA > 3:chain:StuffDocumentsChain > 4:chain:LLMChain
> 5:llm:ChatOpenAI] Entering LLM run with input:
{
“prompts”: [
“System: Use the following pieces of context to answer the users question.
nIf you don’t know the answer, just say that you don’t know, don’t try to make
up an answer.n—————-nproduct_name: 高清电视机ndescription: 规格:n尺
寸：50”。nn为什么我们热爱它:n我们的高清电视机拥有出色的画质和强大的音效，带来沉浸式的观看体
验。nn材质与护理:n使用干布清洁。nn构造:n由塑料、金属和电子元件制成。nn其他特性:n支持
网络连接，可以在线观看视频。n配备遥控器。n在韩国制造。nn有问题？请随时联系我们的客户服务团
队，他们会解答您的所有问题。<<<<>>>>>product_name: 空气净化器ndescription: 规格:n尺寸：
15” x 15” x 20”。nn为什么我们热爱它:n我们的空气净化器采用了先进的HEPA过滤技术，能有效
去除空气中的微粒和异味，为您提供清新的室内环境。nn材质与护理:n清洁时使用干布擦拭。nn构
造:n由塑料和电子元件制成。nn其他特性:n三档风速，附带定时功能。n在德国制造。nn有问题？请
随时联系我们的客户服务团队，他们会解答您的所有问题。<<<<>>>>>product_name: 宠物自动喂食器
ndescription: 规格:n尺寸：14” x 9” x 15”。nn为什么我们热爱它:n我们的宠物自动喂食
器可以定时定量投放食物，让您无论在家或外出都能确保宠物的饮食。nn材质与护理:n可用湿布清洁。
nn构造:n由塑料和电子元件制成。nn其他特性:n配备LCD屏幕，操作简单。n可以设置多次投食。n
在美国制造。nn有问题？请随时联系我们的客户服务团队，他们会解答您的所有问题。
<<<<>>>>>product_name: 玻璃保护膜ndescription: 规格:n适用于各种尺寸的手机屏幕。nn为
什么我们热爱它:n我们的玻璃保护膜可以有效防止手机屏幕刮伤和破裂，而且不影响触控的灵敏度。nn材
质与护理:n使用干布擦拭。nn构造:n由高强度的玻璃材料制成。nn其他特性:n安装简单，适合自行
安装。n在日本制造。nn有问题？请随时联系我们的客户服务团队，他们会解答您的所有问题。nHuman:
高清电视机怎么进行护理？”
]
}
[llm/end] [1:chain:RetrievalQA > 3:chain:StuffDocumentsChain > 4:chain:LLMChain >
5:llm:ChatOpenAI] [2.86s] Exiting LLM run with output:
{
“generations”: [
[
{
“text”: “高清电视机的护理非常简单。您只需要使用干布清洁即可。避免使用湿布或化学清洁
剂，以免损坏电视机的表面。”,
“generation_info”: {
“finish_reason”: “stop”
},
“message”: {
“lc”: 1,
“type”: “constructor”,
“id”: [
“langchain”,
“schema”,
“messages”,
“AIMessage”
],
“kwargs”: {
“content”: “高清电视机的护理非常简单。您只需要使用干布清洁即可。避免使用湿布或化
学清洁剂，以免损坏电视机的表面。”,
“additional_kwargs”: {}
}
}
}
]
],
“llm_output”: {
“token_usage”: {
“prompt_tokens”: 823,
“completion_tokens”: 58,
“total_tokens”: 881
},
“model_name”: “gpt-3.5-turbo”
},
“run”: null
}
[chain/end] [1:chain:RetrievalQA > 3:chain:StuffDocumentsChain >
4:chain:LLMChain] [2.86s] Exiting Chain run with output:
{
“text”: “高清电视机的护理非常简单。您只需要使用干布清洁即可。避免使用湿布或化学清洁剂，以免损
坏电视机的表面。”
}
[chain/end] [1:chain:RetrievalQA > 3:chain:StuffDocumentsChain] [2.87s] Exiting
Chain run with output:
{
“output_text”: “高清电视机的护理非常简单。您只需要使用干布清洁即可。避免使用湿布或化学清洁
剂，以免损坏电视机的表面。”
}
[chain/end] [1:chain:RetrievalQA] [3.26s] Exiting Chain run with output:
{
“result”: “高清电视机的护理非常简单。您只需要使用干布清洁即可。避免使用湿布或化学清洁剂，以免
损坏电视机的表面。”
}

‘高清电视机的护理非常简单。您只需要使用干布清洁即可。避免使用湿布或化学清洁剂，以免损坏电视机的表面。’

我们可以看到它首先深入到检索 QA 链中，然后它进入了一些文档链。如上所述，我们正在使用 stuff 方法，现在我们正在传递这个上下文，可以看到，这个上下文是由我们检索到的不同文档创建的。因此，在进行问答时，当返回错误结果时，通常不是语言模型本身出错了，实际上是检索步骤出错了，仔细查看问题的确切内容和上下文可以帮助调试出错的原因。

然后，我们可以再向下一级，看看进入语言模型的确切内容，以及 OpenAI 自身，在这里，我们可以看到传递的完整提示，我们有一个系统消息，有所使用的提示的描述，这是问题回答链使用的提示，我们可以看到提示打印出来，使用以下上下文片段回答用户的问题。

如果您不知道答案，只需说您不知道即可，不要试图编造答案。然后我们看到一堆之前插入的上下文，我们还可以看到有关实际返回类型的更多信息。我们不仅仅返回一个答案，还有 token 的使用情况，可以了解到 token 数的使用情况由于这是一个相对简单的链，我们现在可以看到最终的响应，通过链返回给用户。这部分我们主要讲解了如何查看和调试单个输入到该链的情况。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-人工评估”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！