PHP前端开发

使用 LlamaIndex 构建简单的 RAG 代理

百变鹏仔 4天前 #Python
文章标签 简单

llamaindex 是一个利用法学硕士构建情境增强生成式 ai 应用程序的框架。

什么是上下文增强?

上下文增强是指向 llm 模型提供附加相关信息或上下文的技术,从而提高其对给定查询的理解和响应。这种增强通常涉及检索、集成外部数据源(例如文档、嵌入)或将其附加到模型的输入。目标是通过为模型提供必要的上下文来帮助模型提供更好、更准确和细致的答案,从而使模型更加明智。检索增强生成(rag)是上下文增强最流行的示例。

什么是代理?

代理是由法学硕士提供支持的自动推理和决策引擎,它们使用工具来执行研究、数据提取、网络搜索和更多任务。它们可用于简单的用例,例如基于数据回答问题,以便能够决定并采取行动来完成任务。

在这篇文章中,我们将使用 llamaindex 构建一个简单的 rag 代理。

构建 rag 代理

安装依赖项

我们将使用 python 使用 llamaindex 构建简单的 rag 代理。让我们首先安装所需的依赖项,如下所示:

pip install llama-index python-dotenv

设置llm并加载文档

我们将使用 openai 的 gpt-4o-mini 作为法学硕士。您需要将 api 密钥放入环境变量文件中。您可以在此处阅读有关使用 llamaindex 设置本地法学硕士的更多信息。

from llama_index.core import simpledirectoryreader, vectorstoreindex, settingsfrom llama_index.llms.openai import openaifrom dotenv import load_dotenv# load environment variables (e.g., openai_api_key)load_dotenv()# configure openai modelsettings.llm = openai(model="gpt-4o-mini")# load documents from the local directorydocuments = simpledirectoryreader("./data").load_data()# create an index from documents for queryingindex = vectorstoreindex.from_documents(documents)query_engine = index.as_query_engine()

为代理创建自定义函数

现在,让我们定义代理可以用来执行任务的一些基本函数。

def multiply(a: float, b: float) -> float:    """multiply two numbers and returns the product"""    return a * bdef add(a: float, b: float) -> float:    """add two numbers and returns the sum"""    return a + b

为代理创建工具

接下来,我们将根据之前定义的函数和查询引擎创建工具,代理将使用这些工具来执行任务。这些工具充当代理在处理不同类型的查询时可以利用的实用程序。

from llama_index.core.tools import functiontool, queryenginetool# wrap functions as toolsadd_tool = functiontool.from_defaults(fn=add)multiply_tool = functiontool.from_defaults(fn=multiply)# create a query engine tool for document retrievalspace_facts_tool = queryenginetool.from_defaults(    query_engine,    name="space_facts_tool",    description="a rag engine with information about fun space facts.")

创建代理

我们现在将使用 reactagent 创建代理。代理将负责决定何时使用这些工具以及如何响应查询。

from llama_index.core.agent import reactagent# create the agent with the toolsagent = reactagent.from_tools(    [multiply_tool, add_tool, space_facts_tool], verbose=true)

该代理使用 react 框架,该框架允许模型通过按逻辑顺序利用给定工具来推理并采取行动。代理使用我们创建的工具进行初始化,并且 verbose=true 标志将输出有关代理如何推理和执行任务的详细信息。

运行代理

最后,让我们在交互式循环中运行代理,它会处理用户查询,直到我们退出。

while True:    query = input("Query: ")    if query == "/bye":        exit()    response = agent.chat(query)    print(response)    print("-" * 10)

rag 代理如何工作?