feat(dag_matomo_segmentation)
Matomo dos Componentes
Dag para que insere os dados do matomo dos componentes do espaço Processos Participativos e Assembleias
Tasks
- start: Empty operator para indicar o ínicio
- create_schema: SQLExecuterQueryOperator: Operador para criar o schema "raw" caso não exista
- S3CreateBucketOperator: Operador para criar o bucket caso não exista
- get_segment_matomo: task para pegar todos os segmentos do matomo
- save_minio_*: task que filtra os segmentos do espaço em questão, realiza a requisição e salva no minio
- save_postgres*: task que coleta o dado salvo no minio e salva no postgres
- end: EmptyOperator que para indicar o fim
Groups
É criado o taskgroup para cada espaço que deseja coletar os espaços, caso seja necessário coletar de outro espaço, basta alterar no código SPACES = ["assemblies", "processes"]
- processes
- assemblies
Configuração
é necessário criar matomo_pool
para limitar as requisições simultâneas