<返回更多

使用 Embeddings 将自建知识库接入 OpenAI

2023-05-22  闪念基因  
加入收藏

什么是嵌入

嵌入(embeddings)捕捉文本、图像、视频或其他信息类型的“相关性”。这种相关性最常用于以下方面:

让我们来看一下文本嵌入的一个例子。假设我们有三个短语:

  1. “The cat chases the mouse”(猫追逐老鼠)
  2. “The kitten hunts rodents”(小猫捕猎啮齿动物)
  3. “I like ham sandwiches”(我喜欢火腿三明治)

你的工作是将具有相似含义的短语分组。对于人类来说,这很容易完成分组。短语 1 和 2 的含义几乎完全相同,而短语 3 的意思完全不同。

尽管短语 1 和 2 含义相似,但它们没有共同的词汇(除了“the”)。但是,我们如何让计算机明白它们的含义是相似的呢?

人类语言

人类使用单词和符号来传达语言。但是孤立的单词大多没有意义,我们需要从共同的知识和经验中汲取理解它们的含义。例如,“你应该谷歌一下” 这个短语只有在你知道谷歌是一个搜索引擎,并且人们一直在用它作为动词时才有意义。

同样地,我们需要训练神经网络模型来理解人类语言。一个有效的模型应该在数百万不同的例子上进行训练,以了解每个单词、短语、句子或段落在不同的语境中可能意味着什么。

那么这与嵌入有什么关系呢?

嵌入如何工作

嵌入将离散信息(单词和符号)压缩成分布式连续值数据(向量)。如果我们拿之前的短语并在图表上标记它们,可能会看起来像这样:

 

短语 1 和 2 将被绘制的位置比较接近,因为它们的含义相似。而短语 3 所在的位置与其他短语的距离较远,因为它与其它短语没有关联。如果我们有第四个短语 “Sally ate Swiss cheese”(莎莉吃了瑞士奶酪),它可能会位于于短语 3(奶酪可以放在三明治上)和短语 1(老鼠喜欢瑞士奶酪)之间的某个位置。

在这个例子中,我们只有两个维度:X 轴和 Y 轴。实际上,我们需要更多维度来有效地捕捉人类语言的复杂性。

AI target=_blank class=infotextkey>OpenAI 的嵌入

OpenAI 提供了一个 API,可以使用其语言模型为文本字符串生成嵌入。您提供任何文本信息(博客文章、文档、公司的知识库),它将输出代表该文本“含义”的浮点数向量。与上面的 2 维示例相比,他们最新的嵌入模型 text-embedding-ada-002 会输出 1536 个维度。

为什么要使用嵌入呢?OpenAI 的 text-davinci-003 模型面临的最大挑战之一是 4000 个 token 大小的限制,必须要将提示和结果完成都放在 4000 个 token 内。如果您想提示 GPT-3 回答关于自己的自定义知识库的问题,要避免在每个提示都携带这些内容。如果自定义知识库内容较多,提示可能会超过大小限制;而且每次都携带这些内容,也会造成浪费。

首先,我们要借助 OpenAI 将自定义知识库生成嵌入并保存到数据库,然后将提示分为两个阶段来帮助解决这个问题:

这样处理之后,OpenAI 不仅会返回现有的文档,它还能将各种信息融合为一个连贯的答案。整个问题的处理流程可能如下所示:

实际应用中的嵌入

开源数据处理服务平台 Supabase 的文档提供了 AI 搜索功能,有兴趣可以去 https://supabase.com/docs 体验一下。

,时长00:56

然后,有一个开源项目 nextjs-openai-doc-search 可以快速搭建出一套 AI 文档系统,它里面所有用到的东西都是开源的,只需点击一下文档中的 “Deploy” 就可以部署出一套来,感兴趣可以试用一下。

整个项目基于 Markdown 文档,每次部署的时候将 Markdown 处理,每次查询的时候都要进行相似性搜索,它的实现细节如下:

[ 构建] 对知识库(您在页面文件夹中的 .mdx 文件)进行预处理,生成嵌入。
[ 构建] 使用 pgvector 将嵌入存储在 Postgres 中。
[ 运行] 执行向量相似性搜索以找到与问题相关的内容。
[ 运行] 将内容注入到 OpenAI GPT-3 文本完成提示中,并将响应流式传输给客户端。

步骤 1 和 2 在构建时发生,例如当 Vercel 构建您的 Next.js 应用程序时。在此期间,将执行 generate-embeddings 脚本,该脚本执行以下任务:

 

步骤 3 和 4 在运行时发生,即用户提交问题时。当发生这种情况时,将执行以下任务:

 

上面的这个项目是在每次部署的时候将文档处理成嵌入,另外一个项目
deno-fresh-openai-doc-search 在 CI/CD 过程中将文档处理成嵌入。

总结

在自建知识库中应用,通过将文本转化为嵌入向量的形式,利用嵌入 OpenAI 可以对自建知识库中的文本进行自动分类和标签生成,从而更好地组织文件和资源;搭配 OpenAI 的问答系统可以根据用户的提问,从自建知识库中智能查找相关信息并给出回答。帮助我们更好地管理和发挥自建知识库的价值,提高知识的可用性和利用效率。

相关文档

作者:hhhhhh

来源:微信公众号:KooFE前端团队

出处
:https://mp.weixin.qq.com/s/-PQyCv4Q_Al1fUorpp6CMA

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>