使用 Embeddings 将自建知识库接入 OpenAI

2023-05-22 闪念基因

加入收藏

什么是嵌入

嵌入（embeddings）捕捉文本、图像、视频或其他信息类型的“相关性”。这种相关性最常用于以下方面：

搜索：搜索词与文本主体的相似程度有多高？
推荐：两个产品有多相似？
分类：如何对文本进行分类？
聚类：如何识别趋势？

让我们来看一下文本嵌入的一个例子。假设我们有三个短语：

“The cat chases the mouse”（猫追逐老鼠）
“The kitten hunts rodents”（小猫捕猎啮齿动物）
“I like ham sandwiches”（我喜欢火腿三明治）

你的工作是将具有相似含义的短语分组。对于人类来说，这很容易完成分组。短语 1 和 2 的含义几乎完全相同，而短语 3 的意思完全不同。

尽管短语 1 和 2 含义相似，但它们没有共同的词汇（除了“the”）。但是，我们如何让计算机明白它们的含义是相似的呢？

人类语言

人类使用单词和符号来传达语言。但是孤立的单词大多没有意义，我们需要从共同的知识和经验中汲取理解它们的含义。例如，“你应该谷歌一下” 这个短语只有在你知道谷歌是一个搜索引擎，并且人们一直在用它作为动词时才有意义。

同样地，我们需要训练神经网络模型来理解人类语言。一个有效的模型应该在数百万不同的例子上进行训练，以了解每个单词、短语、句子或段落在不同的语境中可能意味着什么。

那么这与嵌入有什么关系呢？

嵌入如何工作

嵌入将离散信息（单词和符号）压缩成分布式连续值数据（向量）。如果我们拿之前的短语并在图表上标记它们，可能会看起来像这样：

短语 1 和 2 将被绘制的位置比较接近，因为它们的含义相似。而短语 3 所在的位置与其他短语的距离较远，因为它与其它短语没有关联。如果我们有第四个短语 “Sally ate Swiss cheese”（莎莉吃了瑞士奶酪），它可能会位于于短语 3（奶酪可以放在三明治上）和短语 1（老鼠喜欢瑞士奶酪）之间的某个位置。

在这个例子中，我们只有两个维度：X 轴和 Y 轴。实际上，我们需要更多维度来有效地捕捉人类语言的复杂性。

AI target=_blank class=infotextkey>OpenAI 的嵌入

OpenAI 提供了一个 API，可以使用其语言模型为文本字符串生成嵌入。您提供任何文本信息（博客文章、文档、公司的知识库），它将输出代表该文本“含义”的浮点数向量。与上面的 2 维示例相比，他们最新的嵌入模型 text-embedding-ada-002 会输出 1536 个维度。

为什么要使用嵌入呢？OpenAI 的 text-davinci-003 模型面临的最大挑战之一是 4000 个 token 大小的限制，必须要将提示和结果完成都放在 4000 个 token 内。如果您想提示 GPT-3 回答关于自己的自定义知识库的问题，要避免在每个提示都携带这些内容。如果自定义知识库内容较多，提示可能会超过大小限制；而且每次都携带这些内容，也会造成浪费。

首先，我们要借助 OpenAI 将自定义知识库生成嵌入并保存到数据库，然后将提示分为两个阶段来帮助解决这个问题：

查询您的嵌入数据库，寻找与问题相关的最相关文档。
将这些文档作为上下文注入到 GPT-3 中，让它在回答中引用。

这样处理之后，OpenAI 不仅会返回现有的文档，它还能将各种信息融合为一个连贯的答案。整个问题的处理流程可能如下所示：

预处理知识库，并为每个知识库文档页面生成嵌入
存储嵌入以备以后使用（更多信息）
构建一个搜索页面来提示用户输入
获取用户输入，生成一次性嵌入，然后对已预处理的嵌入执行相似性搜索。
将嵌入和搜索的问题提交给 ChatGPT，并将最终内容返回给用户。

实际应用中的嵌入

开源数据处理服务平台 Supabase 的文档提供了 AI 搜索功能，有兴趣可以去 https://supabase.com/docs 体验一下。

，时长00:56

然后，有一个开源项目 nextjs-openai-doc-search 可以快速搭建出一套 AI 文档系统，它里面所有用到的东西都是开源的，只需点击一下文档中的 “Deploy” 就可以部署出一套来，感兴趣可以试用一下。

整个项目基于 Markdown 文档，每次部署的时候将 Markdown 处理，每次查询的时候都要进行相似性搜索，它的实现细节如下：

[ 构建] 对知识库（您在页面文件夹中的 .mdx 文件）进行预处理，生成嵌入。
[ 构建] 使用 pgvector 将嵌入存储在 Postgres 中。
[ 运行] 执行向量相似性搜索以找到与问题相关的内容。
[ 运行] 将内容注入到 OpenAI GPT-3 文本完成提示中，并将响应流式传输给客户端。

步骤 1 和 2 在构建时发生，例如当 Vercel 构建您的 Next.js 应用程序时。在此期间，将执行 generate-embeddings 脚本，该脚本执行以下任务：

步骤 3 和 4 在运行时发生，即用户提交问题时。当发生这种情况时，将执行以下任务：

上面的这个项目是在每次部署的时候将文档处理成嵌入，另外一个项目
deno-fresh-openai-doc-search 在 CI/CD 过程中将文档处理成嵌入。

总结

在自建知识库中应用，通过将文本转化为嵌入向量的形式，利用嵌入 OpenAI 可以对自建知识库中的文本进行自动分类和标签生成，从而更好地组织文件和资源；搭配 OpenAI 的问答系统可以根据用户的提问，从自建知识库中智能查找相关信息并给出回答。帮助我们更好地管理和发挥自建知识库的价值，提高知识的可用性和利用效率。