超越 GUI 和 CLI 限制自动执行 MongoDB Atlas 触发器日志下载（触发器.超越.执行.下载.日志...）

wufei1232024-10-31python25

超越 gui 和 cli 限制自动执行 mongodb atlas 触发器日志下载

我最近遇到一个场景，需要从本地 mongodb atlas triggers 下载大量日志。目前从atlas下载日志的方式有3种：

使用 gui
使用 cli
使用应用服务管理 api

但是，gui 和 cli 选项对于可下载的日志量有限制，特别是 10,000 条日志的上限。

gui 和 cli 对日志下载的限制

使用 gui

通过 gui，用户可以按日期、类型、用户 id 或请求 id 过滤日志，但下载时的限制设置为 10,000 个日志。

使用 cli

使用 cli，我们可以运行如下命令：

appservices logs list --project 5e208aa2d5ec1375ecd5*** --app triggers_realmapp-**** --type=trigger --start="2024-10-15t00:00:00.000+0000" -o log.logs

但是，这也有相同的下载限制，即 10,000 个日志。

解决方案：带分页的应用服务管理 api

为了克服这些下载限制，应用服务管理 api 提供了一种通过分页访问日志的方法。通过实施分页，用户可以获取超出默认 10k 限制的日志。

有关通过 api 使用分页的详细说明可以在 mongodb 文档中找到：获取分页日志。

建议的解决方案：用于大型日志下载的自动化脚本

为了简化这一过程，我开发了一个使用分页自动获取日志的脚本。该脚本可在此处的公共存储库中找到：atlas app logs aggregator。

脚本的主要特点

自动日志获取：从 mongodb atlas 应用服务获取日志，并通过分页支持大型日志集。
灵活的日期范围过滤：允许使用 start_date 和 end_date 参数进行可选的日期过滤。
iso 8601 验证：验证日期以确保它们遵循 iso 8601 格式。
安全身份验证：支持使用 mongodb atlas 公共和私有 api 密钥进行身份验证。
可选的user_id，用于用户id过滤日志。
可选的co_id，用于相关id过滤日志。
使用errors_only选项仅获取错误日志。
使用 --filter 选项按键值对过滤日志。

该脚本仅使用 get 端点并将日志聚合到文件中，而不修改任何数据。

如何使用要求

python 3.6 或更高版本。
requirements.txt 库依赖项。

安装创建虚拟环境

python3 -m venv venv
source venv/bin/activate  # on windows use `venv\scripts\activate`

安装依赖项

pip install -r requirements.txt

用法命令行参数

project_id (必填)：atlas 项目 id（十六进制字符串）。 app_id (必填)：应用程序 id（字符串）。
public_api_key（必需）：atlas 公共 api 密钥（字符串）。
private_api_key（必需）：atlas 私有 api 密钥（带连字符的字符串）。
--start_date（可选）：iso 8601 格式的开始日期 (yyyy-mm-ddthh:mm:ss.mmmz)。
--end_date（可选）：iso 8601 格式的结束日期 (yyyy-mm-ddthh:mm:ss.mmmz)。
--type（可选）：支持的日志类型的逗号分隔列表。目前，可用的类型有：trigger_failure、trigger_error_handler、db_trigger、auth_trigger、scheduled_trigger、function、service_function、stream_function、service_stream_function、auth、webhook、endpoint、push、api、api_key、sync_connection_start、 sync_connection_end、sync_session_start、sync_session_end、sync_client_write、sync_error 、sync_other、schema_additive_change、schema_generation、schema_validation、log_forwarder
--user_id（可选）：仅返回与给定 user_id 关联的日志消息。
--co_id（可选）：仅返回与给定请求相关 id 关联的日志消息。
--filter（可选）：按键值对过滤日志（例如，--filter event_subscription_name=,function_name=）。
--errors_only（可选）：仅返回错误日志消息。
--verbose （可选）：启用详细日志信息。

例子

python main.py <project_id><app_id><public_api_key><private_api_key> --start_date 2024-10-05t14:30:00.000z --end_date 2024-10-06t14:30:00.000z --type trigger_failure,schema_generation
</private_api_key></public_api_key></app_id></project_id>

带有可选参数

python main.py <project_id><app_id><public_api_key><private_api_key> --start_date 2024-10-05t14:30:00.000z --type trigger_failure,schema_generation --user_id 671d2e2010733ecbaa2bab8f --filter event_subscription_name=getunpausedclustersmetrics
</private_api_key></public_api_key></app_id></project_id>

如果未提供 start_date 和 end_date，脚本将默认 start_date 为距离当前时间最近 24 小时。

过滤日志

--filter 选项允许您按键值对过滤日志。此选项接受多个以空格分隔的键值对。每个键值对的格式应为 key=value。

键值对必须是端点返回的值。这样它将使用它们来过滤并仅保留那些匹配的。例如，对于“type”：“scheduled_trigger”，响应键值将类似于：

{
  "_id": "671d2e2010733ecbaa2bab8f",
  "co_id": "671d2e2010733ecbaa2bab8d",
  "type": "scheduled_trigger",
  "domain_id": "65b0fc719629ac8e4d8e8774",
  "app_id": "65b0fc719629ac8e4d8e8773",
  "group_id": "658d46ca7605526eb45222a4",
  "request_url": "",
  "request_method": "",
  "started": "2024-10-26t18:00:00.041z",
  "completed": "2024-10-26t18:00:04.124z",
  "function_id": "65f31f9f3bfc77348cb1e2e7",
  "function_name": "getorgclustersprojects",
  "error": "functionerror: cannot access member 'db' of undefined",
  "event_subscription_id": "65f335c53d26a2b1ba5d7ba2",
  "event_subscription_name": "getunpausedclustersmetrics",
  "messages": [
      "reading projects for page: 1",
      "hay m\u00e1s p\u00e1ginas",
      "reading projects for page: 2",
      "fin"
  ],
  "mem_time_usage": 4081000000
}

我们可以在 --filter 选项中使用其中任何一个（例如，--filter event_subscription_name=getunpausedclustersmetrics）

记录

该脚本支持记录到控制台和日志文件。默认情况下，日志文件存储在logs文件夹中。日志文件名包含时间戳，以确保每次运行的唯一性。

--verbose：使用此标志时，日志级别设置为 debug，提供详细的日志记录信息。如果没有此标志，日志级别将设置为 info。

日志文件位置

日志文件存储在logs文件夹中。每个日志文件都以时间戳命名，以确保来自不同运行的日志不会相互覆盖。

日志文件名示例