PHP前端开发

ChatsAPI — 世界上最快的人工智能代理框架

百变鹏仔 5天前 #Python
文章标签 世界上
github: https://github.com/chatsapi/chatsapi图书馆: https://pypi.org/project/chatsapi/

人工智能已经改变了各行各业,但有效部署人工智能仍然是一项艰巨的挑战。复杂的框架、缓慢的响应时间和陡峭的学习曲线给企业和开发人员带来了障碍。 chatsapi 是一个突破性的高性能 ai 代理框架,旨在提供无与伦比的速度、灵活性和简单性。

在本文中,我们将揭示 chatsapi 的独特之处、为什么它能够改变游戏规则,以及它如何帮助开发人员以无与伦比的轻松性和效率构建智能系统。

chatsapi 有何独特之处?

chatsapi 不仅仅是另一个人工智能框架;这是人工智能驱动交互的一场革命。原因如下:

速度:chatsapi 的响应时间为亚毫秒级,是世界上最快的人工智能代理框架。其 hnswlib 支持的搜索可确保快速检索路线和知识,即使对于大型数据集也是如此。

效率:sbert 和 bm25 的混合方法将语义理解与传统排名系统结合起来,保证速度和准确性。

使用 @trigger 等装饰器轻松注册路线。

使用 @extract 进行参数提取来简化输入处理,无论您的用例有多复杂。

chatsapi的优点

高性能查询处理
传统的人工智能系统要么在速度上要么在准确性上苦苦挣扎,而 chatsapi 却同时满足了这两点。无论是在庞大的知识库中寻找最佳匹配,还是处理大量查询,chatsapi 都表现出色。

灵活的框架
chatsapi 适应任何用例,无论您正在构建:

为开发者打造

由开发者设计,为开发者服务,chatsapi 提供:

chatsapi 如何工作?

chatsapi 的核心是通过三个步骤进行操作:

  1. 注册路由:使用@trigger装饰器定义路由并将它们与您的函数关联。
  2. 搜索和匹配:chatsapi 使用 sbert 嵌入和 bm25 混合搜索将用户输入与正确的路线动态匹配。
  3. 提取参数:通过@extract装饰器,chatsapi自动提取并验证参数,更容易处理复杂的输入。

结果呢?一个快速、准确且易于使用的系统。

使用案例

为什么你应该关心?

其他框架承诺灵活性或性能 - 但没有一个框架能够像 chatsapi 一样同时提供这两者。我们创建了一个框架:

chatsapi 使开发人员能够释放人工智能的全部潜力,而无需担心复杂性或性能缓慢的问题。

如何开始

chatsapi 入门很简单:

pip install chatsapi
from chatsapi import chatsapi  chat = chatsapi()  @chat.trigger("hello")  async def greet(input_text):      return "hi there!"
from chatsapi import chatsapi  chat = chatsapi()  @chat.trigger("need help with account settings.")@chat.extract([    ("account_number", "account number (a nine digit number)", int, none),    ("holder_name", "account holder's name (a person name)", str, none)])async def account_help(chat_message: str, extracted: dict):    return {"message": chat_message, "extracted": extracted}run your message (with no llm)@app.post("/chat")async def message(request: requestmodel, response: response):    reply = await chat.run(request.message)    return {"message": reply}
import osfrom dotenv import load_dotenvfrom fastapi import fastapi, request, responsefrom pydantic import basemodelfrom chatsapi.chatsapi import chatsapi# load environment variables from .env fileload_dotenv()app = fastapi()                 # instantiate fastapi or your web frameworkchat = chatsapi(                # instantiate chatsapi    llm_type="gemini",    llm_model="models/gemini-pro",    llm_api_key=os.getenv("google_api_key"),)# chat trigger - 1@chat.trigger("want to cancel a credit card.")@chat.extract([("card_number", "credit card number (a 12 digit number)", str, none)])async def cancel_credit_card(chat_message: str, extracted: dict):    return {"message": chat_message, "extracted": extracted}# chat trigger - 2@chat.trigger("need help with account settings.")@chat.extract([    ("account_number", "account number (a nine digit number)", int, none),    ("holder_name", "account holder's name (a person name)", str, none)])async def account_help(chat_message: str, extracted: dict):    return {"message": chat_message, "extracted": extracted}# request modelclass requestmodel(basemodel):    message: str# chat conversation@app.post("/chat")async def message(request: requestmodel, response: response, http_request: request):    session_id = http_request.cookies.get("session_id")    reply = await chat.conversation(request.message, session_id)    return {"message": f"{reply}"}# set chat session@app.post("/set-session")def set_session(response: response):    session_id = chat.set_session()    response.set_cookie(key="session_id", value=session_id)    return {"message": "session set"}# end chat session@app.post("/end-session")def end_session(response: response, http_request: request):    session_id = http_request.cookies.get("session_id")    chat.end_session(session_id)    response.delete_cookie("session_id")    return {"message": "session ended"}
await chat.query(request.message)

基准测试

基于传统 llm (api) 的方法通常每个请求需要大约四秒的时间。相比之下,chatsapi 可以在一秒内处理请求,通常在几毫秒内,无需进行任何 llm api 调用。

472ms内执行聊天路由任务(无缓存)

21ms内执行聊天路由任务(缓存后)

862ms内执行聊天路由 数据提取任务(无缓存)

使用 whatsapp cloud api 展示其对话能力

chatsapi — 功能层次结构

chatsapi 不仅仅是一个框架;这是我们构建人工智能系统并与之交互的方式的范式转变。通过结合速度、准确性和易用性,chatsapi 为 ai 代理框架树立了新的基准。

立即加入这场革命,了解 chatsapi 为何正在改变 ai 格局。

准备好潜水了吗?立即开始使用 chatsapi,体验 ai 开发的未来。