超越 GUI 和 CLI 限制自动执行 MongoDB Atlas 触发器日志下载

百变鹏仔 4天前 #Python

文章标签触发器

我最近遇到一个场景，需要从本地 mongodb atlas triggers 下载大量日志。目前从atlas下载日志的方式有3种：

使用 gui
使用 cli
使用应用服务管理 api

但是，gui 和 cli 选项对于可下载的日志量有限制，特别是 10,000 条日志的上限。

gui 和 cli 对日志下载的限制

使用 gui

通过 gui，用户可以按日期、类型、用户 id 或请求 id 过滤日志，但下载时的限制设置为 10,000 个日志。

使用 cli

使用 cli，我们可以运行如下命令：

appservices logs list --project 5e208aa2d5ec1375ecd5*** --app triggers_realmapp-**** --type=trigger --start="2024-10-15t00:00:00.000+0000" -o log.logs

但是，这也有相同的下载限制，即 10,000 个日志。

解决方案：带分页的应用服务管理 api

为了克服这些下载限制，应用服务管理 api 提供了一种通过分页访问日志的方法。通过实施分页，用户可以获取超出默认 10k 限制的日志。

有关通过 api 使用分页的详细说明可以在 mongodb 文档中找到：获取分页日志。

建议的解决方案：用于大型日志下载的自动化脚本

为了简化这一过程，我开发了一个使用分页自动获取日志的脚本。该脚本可在此处的公共存储库中找到：atlas app logs aggregator。

脚本的主要特点

该脚本仅使用 get 端点并将日志聚合到文件中，而不修改任何数据。

如何使用

要求

安装

创建虚拟环境

python3 -m venv venvsource venv/bin/activate  # on windows use `venvscriptsctivate`

安装依赖项

pip install -r requirements.txt

用法

命令行参数

例子

python main.py <project_id> <app_id> <public_api_key> <private_api_key> --start_date 2024-10-05t14:30:00.000z --end_date 2024-10-06t14:30:00.000z --type trigger_failure,schema_generation

带有可选参数

python main.py <project_id> <app_id> <public_api_key> <private_api_key> --start_date 2024-10-05t14:30:00.000z --type trigger_failure,schema_generation --user_id 671d2e2010733ecbaa2bab8f --filter event_subscription_name=getunpausedclustersmetrics

如果未提供 start_date 和 end_date，脚本将默认 start_date 为距离当前时间最近 24 小时。

过滤日志

--filter 选项允许您按键值对过滤日志。此选项接受多个以空格分隔的键值对。每个键值对的格式应为 key=value。

键值对必须是端点返回的值。这样它将使用它们来过滤并仅保留那些匹配的。例如，对于“type”：“scheduled_trigger”，响应键值将类似于：

{  "_id": "671d2e2010733ecbaa2bab8f",  "co_id": "671d2e2010733ecbaa2bab8d",  "type": "scheduled_trigger",  "domain_id": "65b0fc719629ac8e4d8e8774",  "app_id": "65b0fc719629ac8e4d8e8773",  "group_id": "658d46ca7605526eb45222a4",  "request_url": "",  "request_method": "",  "started": "2024-10-26t18:00:00.041z",  "completed": "2024-10-26t18:00:04.124z",  "function_id": "65f31f9f3bfc77348cb1e2e7",  "function_name": "getorgclustersprojects",  "error": "functionerror: cannot access member 'db' of undefined",  "event_subscription_id": "65f335c53d26a2b1ba5d7ba2",  "event_subscription_name": "getunpausedclustersmetrics",  "messages": [      "reading projects for page: 1",      "hay mu00e1s pu00e1ginas",      "reading projects for page: 2",      "fin"  ],  "mem_time_usage": 4081000000}

我们可以在 --filter 选项中使用其中任何一个（例如，--filter event_subscription_name=getunpausedclustersmetrics）

记录

该脚本支持记录到控制台和日志文件。默认情况下，日志文件存储在logs文件夹中。日志文件名包含时间戳，以确保每次运行的唯一性。

--verbose：使用此标志时，日志级别设置为 debug，提供详细的日志记录信息。如果没有此标志，日志级别将设置为 info。

日志文件位置

日志文件存储在logs文件夹中。每个日志文件都以时间戳命名，以确保来自不同运行的日志不会相互覆盖。

日志文件名示例

logs/app_20241005_143000.log

好处

免责声明

请注意：此存储库“按原样”发布，不提供任何形式的保证，包括但不限于其安装、使用或性能。我们不承担任何及所有明示或暗示的保证，包括但不限于对非侵权、适销性和/或特定用途适用性的任何保证。我们不保证该技术能够满足您的要求，不保证其运行不会中断或没有错误，也不保证任何错误都会得到纠正。

使用这些脚本和工具的任何风险均由您自行承担。无法保证它们已在类似环境中经过彻底测试，并且我们对其使用过程中发生的任何损坏或数据丢失不承担任何责任。

您有责任在任何非测试环境中使用之前彻底检查和测试您运行的任何脚本。

文章推荐