只需几步即可将拥抱脸部模型部署到 AWS Lambda
是否曾经想将 hugging face 模型部署到 aws lambda,但却被容器构建、冷启动和模型缓存所困扰?以下是如何使用 scaffoldly 在 5 分钟内完成此操作。
长话短说
在 aws 中创建名为 .cache 的 efs 文件系统:
从 python-huggingface 分支创建您的应用程序:
npx scaffoldly create app --template python-huggingface
部署它:
cd my-app && npx scaffoldly deploy
就是这样!您将获得在 lambda 上运行的 hugging face 模型(以 openai-community/gpt2 为例),并配有适当的缓存和容器部署。
专业提示:对于 efs 设置,您可以将其自定义为突发模式下的单个 az,以进一步节省成本。 scaffoldly 会将 lambda 函数与 efs 的 vpc、子网和安全组进行匹配。✨ 查看现场演示和示例代码!
问题
将机器学习模型部署到 aws lambda 传统上涉及:
当您只想为模型提供服务时,需要进行大量基础设施工作!
解决方案
scaffoldly 通过一个简单的配置文件来处理所有这些复杂性。这是一个提供 hugging face 模型的完整应用程序(以 openai-community/gpt2 为例):
# app.pyfrom flask import flaskfrom transformers import pipelineapp = flask(__name__)generator = pipeline('text-generation', model='openai-community/gpt2')@app.route("/")def hello_world(): output = generator("hello, world,") return output[0]['generated_text']
// requirements.txtflask ~= 3.0gunicorn ~= 23.0torch ~= 2.5numpy ~= 2.1transformers ~= 4.46huggingface_hub[cli] ~= 0.26
// scaffoldly.json{ "name": "python-huggingface", "runtime": "python:3.12", "handler": "localhost:8000", "files": ["app.py"], "packages": ["pip:requirements.txt"], "resources": ["arn::elasticfilesystem:::file-system/.cache"], "schedules": { "@immediately": "huggingface-cli download openai-community/gpt2" }, "scripts": { "start": "gunicorn app:app" }, "memorysize": 1024}
它是如何运作的
scaffoldly 在幕后做了一些聪明的事情:
智能集装箱建筑:
高效的模型处理:
lambda 就绪设置:
部署是什么样的
这是我在此示例中运行的 npx 脚手架部署命令的输出:
现实世界的性能和成本
✅ 成本:aws lambda、ecr 和 efs 约 0.20 美元/天
✅ 冷启动:第一次请求约 20 秒(模型加载)
✅ 热烈请求:5-20秒(基于cpu的推理)
虽然此设置使用 cpu 推理(比 gpu 慢),但这是一种试验 ml 模型或服务低流量端点的极其经济高效的方法。
其他型号定制
想要使用不同的模型吗?只需更新两个文件:
- 更改app.py中的模型:
generator = pipeline('text-generation', model='your-model-here')
- 更新scaffoldly.json中的下载:
"schedules": { "@immediately": "huggingface-cli download your-model-here"}
使用私有或门控模型
scaffoldly 通过 hf_token 环境变量支持私有和门控模型。您可以通过多种方式添加 hugging face 令牌:
export hf_token="hf_rh...a"
# in your repository settings -> secrets and variables -> actions hf_token: hf_rh...a
令牌将自动用于下载和访问您的私人或门控模型。
ci/cd 奖金
scaffoldly 甚至生成用于自动部署的 github action:
name: scaffoldly deployjobs: deploy: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - uses: scaffoldly/scaffoldly@v1 with: secrets: ${{ tojson(secrets) }}
自己尝试一下
完整的示例可以在 github 上找到:
脚手架/脚手架示例#python-huggingface
您可以通过运行以下命令创建您自己的示例副本:
npx scaffoldly create app --template python-huggingface
您可以看到它正在实时运行(尽管由于 cpu 推断,响应可能会很慢):
现场演示
接下来是什么?
许可证
scaffoldly 是开源的,欢迎社区贡献。
您还想在 aws lambda 中运行哪些其他模型?请在评论中告诉我!