Skip to content

Cria dag de extração de CSVs do Matomo

Nitai B. Silva requested to merge feat/create-matomo-extractor-dag into main

Esse MR cria uma nova DAG que realiza o download de estatísticas (datapoints) do Matomo sobre acessos ao BrasilParty. Para cada endpoint/método listado para extração é criada uma task no airflow que realiza o download em CSV e envia para o MinIO.

TODO:

  • Incluir mais endpoints/métodos para extração - Apresentar para os usuários desses dados proporem outros dados para serem extraídos do Matomo.

Para testar essa dag é preciso antes executar os seguintes passo:

  1. Criar uma conexão no Airflow chamada minio_connection_id com os seguintes valores:
  • host: http://minio:9000
  • schema: matomo-daily-csv
  • login: lappis
  • password: lappisrocks
  1. Criar uma conexão no Airflow chamada matomo_connection_id com os seguintes valores:
  1. Abrir o MinIO at http://minio:9001 e criar um bucket chamado matomo-daily-csv
Edited by Nitai B. Silva

Merge request reports