面向开发者的LLM入门课程-检查是否符合产品信息

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“面向开发者的LLM入门课程-检查是否符合产品信息”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-检查是否符合产品信息：

检查是否符合产品信息

在下列示例中，我们要求 LLM 作为一个助理检查回复是否充分回答了客户问题，并验证助理引用的事实是否正确。

# 这是一段电子产品相关的信息
system_message = f”””
您是一个助理，用于评估客服代理的回复是否充分回答了客户问题，
并验证助理从产品信息中引用的所有事实是否正确。
产品信息、用户和客服代理的信息将使用三个反引号（即 “`）
进行分隔。
请以 Y 或 N 的字符形式进行回复，不要包含标点符号：
Y – 如果输出充分回答了问题并且回复正确地使用了产品信息
N – 其他情况。
仅输出单个字母。
“””
#这是顾客的提问
customer_message = f”””
告诉我有关 smartx pro 手机
和 fotosnap 相机（单反相机）的信息。
还有您电视的信息。
“””
product_information = “””{ “name”: “SmartX ProPhone”, “category”: “Smartphones
and Accessories”, “brand”: “SmartX”, “model_number”: “SX-PP10”, “warranty”: “1
year”, “rating”: 4.6, “features”: [ “6.1-inch display”, “128GB storage”, “12MP
dual camera”, “5G” ], “description”: “A powerful smartphone with advanced camera
features.”, “price”: 899.99 } { “name”: “FotoSnap DSLR Camera”, “category”:
“Cameras and Camcorders”, “brand”: “FotoSnap”, “model_number”: “FS-DSLR200”,
“warranty”: “1 year”, “rating”: 4.7, “features”: [ “24.2MP sensor”, “1080p
video”, “3-inch LCD”, “Interchangeable lenses” ], “description”: “Capture
stunning photos and videos with this versatile DSLR camera.”, “price”: 599.99 } {
“name”: “CineView 4K TV”, “category”: “Televisions and Home Theater Systems”,
“brand”: “CineView”, “model_number”: “CV-4K55”, “warranty”: “2 years”, “rating”:
4.8, “features”: [ “55-inch display”, “4K resolution”, “HDR”, “Smart TV” ],
“description”: “A stunning 4K TV with vibrant colors and smart features.”,
“price”: 599.99 } { “name”: “SoundMax Home Theater”, “category”: “Televisions and
Home Theater Systems”, “brand”: “SoundMax”, “model_number”: “SM-HT100”,
“warranty”: “1 year”, “rating”: 4.4, “features”: [ “5.1 channel”, “1000W output”,
“Wireless subwoofer”, “Bluetooth” ], “description”: “A powerful home theater
system for an immersive audio experience.”, “price”: 399.99 } { “name”: “CineView
8K TV”, “category”: “Televisions and Home Theater Systems”, “brand”: “CineView”,
“model_number”: “CV-8K65”, “warranty”: “2 years”, “rating”: 4.9, “features”: [
“65-inch display”, “8K resolution”, “HDR”, “Smart TV” ], “description”:
“Experience the future of television with this stunning 8K TV.”, “price”: 2999.99
} { “name”: “SoundMax Soundbar”, “category”: “Televisions and Home Theater
Systems”, “brand”: “SoundMax”, “model_number”: “SM-SB50”, “warranty”: “1 year”,
“rating”: 4.3, “features”: [ “2.1 channel”, “300W output”, “Wireless subwoofer”,
“Bluetooth” ], “description”: “Upgrade your TV’s audio with this sleek and
powerful soundbar.”, “price”: 199.99 } { “name”: “CineView OLED TV”, “category”:
“Televisions and Home Theater Systems”, “brand”: “CineView”, “model_number”: “CVOLED55”, “warranty”: “2 years”, “rating”: 4.7, “features”: [ “55-inch display”,
“4K resolution”, “HDR”, “Smart TV” ], “description”: “Experience true blacks and
vibrant colors with this OLED TV.”, “price”: 1499.99 }”””
q_a_pair = f”””
顾客的信息: “`{customer_message}“`
产品信息: “`{product_information}“`
代理的回复: “`{final_response_to_customer}“`
回复是否正确使用了检索的信息？
回复是否充分地回答了问题？
输出 Y 或 N
“””
#判断相关性
messages = [
{‘role’: ‘system’, ‘content’: system_message},
{‘role’: ‘user’, ‘content’: q_a_pair}
]
response = get_completion_from_messages(messages, max_tokens=1)
print(response)

Y

在上一个示例中，我们给了一个正例，LLM 很好地做出了正确的检查。而在下一个示例中，我们将提供一个负例，LLM 同样能够正确判断。

another_response = “生活就像一盒巧克力”
q_a_pair = f”””
顾客的信息: “`{customer_message}“`
产品信息: “`{product_information}“`
代理的回复: “`{another_response}“`
回复是否正确使用了检索的信息？
回复是否充分地回答了问题？
输出 Y 或 N
“””
messages = [
{‘role’: ‘system’, ‘content’: system_message},
{‘role’: ‘user’, ‘content’: q_a_pair}
]
response = get_completion_from_messages(messages)
print(response)

N

因此，你可以看到，模型具有提供生成输出质量反馈的能力。你可以使用这种反馈来决定是否将输出展示给用户，或是生成新的回应。你甚至可以尝试为每个用户查询生成多个模型回应，然后从中挑选出最佳的回应呈现给用户。所以，你有多种可能的尝试方式。

总的来说，借助审查 API 来检查输出是一个可取的策略。但在我看来，这在大多数情况下可能是不必要的，特别是当你使用更先进的模型，比如 GPT-4 。实际上，在真实生产环境中，我们并未看到很多人采取这种方式。这种做法也会增加系统的延迟和成本，因为你需要等待额外的 API 调用，并且需要额外的token 。如果你的应用或产品的错误率仅为0.0000001%，那么你可能可以尝试这种策略。但总的来说，我们并不建议在实际应用中使用这种方式。在接下来的章节中，我们将把我们在评估输入、处理输出以及审查生成内容所学到的知识整合起来，构建一个端到端的系统。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-检查是否符合产品信息”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！