自适应分类器：通过智能查询路由降低 LLM 成本（已证明可以节省成本）

大家好！我们很高兴向大家介绍一个新的开源库，它能有效降低LLM部署成本。这个自适应分类器库能够学习如何在不同模型之间路由查询，并根据复杂度进行智能选择，从而在实际应用中不断优化成本。

我们在arena-hard-auto数据集上进行了测试，该数据集包含高成本和低成本模型（成本差异2倍）。测试结果非常令人满意：

此库非常适合同时运行多个LLama模型（例如Llama-3.1-70B和Llama-3.1-8B）并希望在不影响性能的前提下优化成本的用户。该库易于与任何基于Transformer的模型集成，并具有内置的状态持久性功能。

欢迎访问我们的代码库了解更多实施细节和基准测试结果。如果您尝试使用该库，我们非常期待听到您的使用体验！

代码库 - https://www.php.cn/link/18dabb99ce171ea5a317521425d5c206