使用LangChain和DeepInfra构建客户支持聊天机器人的操作指南

译者 | 布加迪

审校 | 重楼

您可能在日常的网上互动中遇到过聊天机器人，但有没有考虑过底层为这些数字助手提供支持的技术？聊天机器人（尤其在客户支持领域）已经成为现代企业的一个主力工具，在提高效率的同时改进了客户服务。今天，我们将深入研究LangChAIn和DeepInfra如何使这种聊天机器人变得响应更迅即、更高效。

聊天机器人的基本组成部分

不妨先了解基础知识——聊天机器人的核心组件有哪些？在开发一个响应迅即又高效的聊天机器人时，三个要素必不可少：模型、提示模板（Prompt Template）和记忆。

模型代表了聊天机器人背后的AI大脑，它负责理解和响应用户输入。提示模板引导聊天机器人的响应，确保它们的回复紧扣对话主题。最后，记忆保持交互的状态，使聊天机器人能够记住过去的对话，并利用它们来理解当前对话的上下文。

操作指南

现在开始动手吧。我们将逐步介绍使用LangChain和DeepInfra构建客户支持聊天机器人的过程。我们假设这个聊天机器人在一家在线服装店“工作”，可以帮助顾客为他们挑选衣服。

• 获取DeepInfra API密钥

DeepInfra拥有其简单的API和可扩展的生产级基础设施，使您可以轻松运行主流的AI模型。首先，您需要使用该链接获取DeepInfra API密钥，以便与其服务进行交互。一旦有了密钥，您就可以在环境中设置API令牌，如下所示：

from getpass import getpass
import os
# Set the DeepInfra API token
DEEPINFRA_API_TOKEN = getpass()
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

• 建立LangChain和DeepInfra环境

接下来，您需要创建LangChain和DeepInfra环境。导入必要的组件，并为DeepInfra模型创建实例。比如说，您可以使用像“databricks/dolly-v2-12b”这样的模型：

from langchain import ConversationChain, LLMChain, PromptTemplate
from langchain.memory import ConversationBufferWindowMemory
from langchain.llms import DeepInfra
# Create the DeepInfra instance
llm = DeepInfra(model_id="databricks/dolly-v2-12b")
llm.model_kwargs = {'temperature': 0.7, 'repetition_penalty': 1.2, 'max_new_tokens': 250, 'top_p': 0.9}

• 注意：为聊天机器人选择和部署合适的模型

您可以为LLM使用许多不同的模型。这个例子展示了如何使用databricks/dolly-v2-12b模型，但在DeepInfra上还有许多其他模型可供使用。由于选择众多，您可能希望使用像AIModels这样的工具，希望找到可与LangChain结合使用的合适的LLM。您可以随意搜索、过滤和筛选AI模型，以便找到最适合您项目的模型。查看DeepInfra页面，即可找到可供选择的模型。

• 创建提示模板以指导聊天机器人的响应

现在，是时候定义提示模板来指导聊天机器人的响应了。这将确保聊天机器人的响应与上下文和用户的输入保持一致。我尝试了几个不同的模板，要得到一个完美的模板并非易事。设计正确提示的过程名为提示工程。最终，我能够重复使用我在Pinecone网站上找到的一个模板。

template = """Given the following user prompt and conversation log, formulate a question that would be the most relevant to provide the user with an answer from a knowledge base.
 You should follow the following rules when generating and answer:
 - Always prioritize the user prompt over the conversation log.
 - Ignore any conversation log that is not directly related to the user prompt.
 - Only attempt to answer if a question was posed.
 - The question should be a single sentence.
 - You should remove any punctuation from the question.
 - You should remove any words that are not relevant to the question.
 - If you are unable to formulate a question, respond with the same USER PROMPT you got.

Conversation log: {history}
USER PROMPT: {human_input}
Your response:
"""

prompt = PromptTemplate(
 input_variables=["history", "human_input"], 
 template=template
)

• 初始化聊天机器人，并设置记忆

准备好模型和提示模板后，下一步是初始化聊天机器人，并设置记忆，以保持交互的状态。

# Now using DeepInfra with the LLMChain
llm_chain = LLMChain(
llm=llm,
prompt=prompt,
verbose=True,
memory=ConversationBufferWindowMemory(k=2),
)

• 运行聊天机器人并与之交互

最后，您现在可以与聊天机器人进行交互了。不妨看一个例子：

output = llm_chain.predict(human_input="Hello! What clothes do you recommend I buy to rebuild my summer wardrobe")
print(output)

因而生成的响应推荐一些衣服：

In the context of summer wardrobe recommendations, you should buy your clothes from the following list:
- V-neck T-shirts
- Tank Tops
- Solid Color Swim Shorts
- Swim Shorts
- Skirts
- Cardigans
- Sandals

聊天机器人中的记忆概念

记忆在聊天机器人中起着至关重要的作用。它有助于维持聊天机器人交互中的上下文和历史记录，从而使聊天机器人能够回忆过去的对话，并理解当前对话的上下文。这种能力对于创造更人性化的交互从而改善用户体验至关重要。记忆方面的话题有很多文章值得深入研究，建议您看看这篇指南，以了解更多的信息。

更多参考资料和示例

为了进一步理解，我建议查看Langchain网站上的ChatGPT Clone笔记本、Conversation Memory笔记本和Conversation Agent笔记本等资源。这些资源更深入地介绍了记忆概念，记忆关键概念和记忆示例提供了实用指导。

您还应该查看AIModels.fyi上的其他Langchain指南。

DeepInfra还为其平台提供了完备的文档，甚至还有一个博客，您可以获取详细的帖子、指南和文章。

结论

使用LangChain和DeepInfra构建面向客户支持的聊天机器人最初可能看起来很复杂，但一旦您了解了基本组件和步骤，整个过程就会变得简单得多。利用这些技术可以显著改进客户服务，提高业务效率，并提高总体客户满意度。将来，这些技术会变得真正大有潜力，预计它们会继续发展，并影响客户服务领域。

原文标题：Building a Customer Support Chatbot with LangChain and DeepInfra: A Step-by-Step Guide，作者：Mike Young