PHP前端开发

只需几步即可将拥抱脸部模型部署到 AWS Lambda

百变鹏仔 3天前 #Python
文章标签 只需

是否曾经想将 hugging face 模型部署到 aws lambda,但却被容器构建、冷启动和模型缓存所困扰?以下是如何使用 scaffoldly 在 5 分钟内完成此操作。

长话短说

  1. 在 aws 中创建名为 .cache 的 efs 文件系统:

  2. 从 python-huggingface 分支创建您的应用程序:

     npx scaffoldly create app --template python-huggingface
  3. 部署它:

     cd my-app && npx scaffoldly deploy

就是这样!您将获得在 lambda 上运行的 hugging face 模型(以 openai-community/gpt2 为例),并配有适当的缓存和容器部署。

专业提示:对于 efs 设置,您可以将其自定义为突发模式下的单个 az,以进一步节省成本。 scaffoldly 会将 lambda 函数与 efs 的 vpc、子网和安全组进行匹配。

✨ 查看现场演示和示例代码!

问题

将机器学习模型部署到 aws lambda 传统上涉及:

当您只想为模型提供服务时,需要进行大量基础设施工作!

解决方案

scaffoldly 通过一个简单的配置文件来处理所有这些复杂性。这是一个提供 hugging face 模型的完整应用程序(以 openai-community/gpt2 为例):

# app.pyfrom flask import flaskfrom transformers import pipelineapp = flask(__name__)generator = pipeline('text-generation', model='openai-community/gpt2')@app.route("/")def hello_world():    output = generator("hello, world,")    return output[0]['generated_text']
// requirements.txtflask ~= 3.0gunicorn ~= 23.0torch ~= 2.5numpy ~= 2.1transformers ~= 4.46huggingface_hub[cli] ~= 0.26
// scaffoldly.json{  "name": "python-huggingface",  "runtime": "python:3.12",  "handler": "localhost:8000",  "files": ["app.py"],  "packages": ["pip:requirements.txt"],  "resources": ["arn::elasticfilesystem:::file-system/.cache"],  "schedules": {    "@immediately": "huggingface-cli download openai-community/gpt2"  },  "scripts": {    "start": "gunicorn app:app"  },  "memorysize": 1024}

它是如何运作的

scaffoldly 在幕后做了一些聪明的事情:

  1. 智能集装箱建筑

  2. 高效的模型处理:

  3. lambda 就绪设置:

部署是什么样的

这是我在此示例中运行的 npx 脚手架部署命令的输出:

现实世界的性能和成本

成本:aws lambda、ecr 和 efs 约 0.20 美元/天

冷启动:第一次请求约 20 秒(模型加载)

热烈请求:5-20秒(基于cpu的推理)

虽然此设置使用 cpu 推理(比 gpu 慢),但这是一种试验 ml 模型或服务低流量端点的极其经济高效的方法。

其他型号定制

想要使用不同的模型吗?只需更新两个文件:

  1. 更改app.py中的模型:
generator = pipeline('text-generation', model='your-model-here')
  1. 更新scaffoldly.json中的下载:
"schedules": {  "@immediately": "huggingface-cli download your-model-here"}

使用私有或门控模型

scaffoldly 通过 hf_token 环境变量支持私有和门控模型。您可以通过多种方式添加 hugging face 令牌:

  export hf_token="hf_rh...a"
  # in your repository settings -> secrets and variables -> actions  hf_token: hf_rh...a

令牌将自动用于下载和访问您的私人或门控模型。

ci/cd 奖金

scaffoldly 甚至生成用于自动部署的 github action:

name: scaffoldly deployjobs:  deploy:    runs-on: ubuntu-latest    steps:      - uses: actions/checkout@v4      - uses: scaffoldly/scaffoldly@v1        with:          secrets: ${{ tojson(secrets) }}

自己尝试一下

完整的示例可以在 github 上找到:
脚手架/脚手架示例#python-huggingface

您可以通过运行以下命令创建您自己的示例副本:

npx scaffoldly create app --template python-huggingface

您可以看到它正在实时运行(尽管由于 cpu 推断,响应可能会很慢):
现场演示

接下来是什么?

许可证

scaffoldly 是开源的,欢迎社区贡献。

您还想在 aws lambda 中运行哪些其他模型?请在评论中告诉我!