Cria dag de extração de CSVs do Matomo
Esse MR cria uma nova DAG que realiza o download de estatísticas (datapoints) do Matomo sobre acessos ao BrasilParty. Para cada endpoint/método listado para extração é criada uma task no airflow que realiza o download em CSV e envia para o MinIO.
TODO:
- Incluir mais endpoints/métodos para extração - Apresentar para os usuários desses dados proporem outros dados para serem extraídos do Matomo.
Para testar essa dag é preciso antes executar os seguintes passo:
- Criar uma conexão no Airflow chamada
minio_connection_id
com os seguintes valores:
- host: http://minio:9000
- schema: matomo-daily-csv
- login: lappis
- password: lappisrocks
- Criar uma conexão no Airflow chamada
matomo_connection_id
com os seguintes valores:
- host: https://ew.dataprev.gov.br/
- login: 18
- password: [token de acesso produção (pedir a Nitai)]
- Abrir o MinIO at http://minio:9001 e criar um bucket chamado
matomo-daily-csv
Edited by Nitai B. Silva