Skip to content

feat(dag_matomo_segmentation)

João Pedro Amoêdo requested to merge feat/matomo-segment-ingest into development

Matomo dos Componentes

Dag para que insere os dados do matomo dos componentes do espaço Processos Participativos e Assembleias

image

Tasks

  • start: Empty operator para indicar o ínicio
  • create_schema: SQLExecuterQueryOperator: Operador para criar o schema "raw" caso não exista
  • S3CreateBucketOperator: Operador para criar o bucket caso não exista
  • get_segment_matomo: task para pegar todos os segmentos do matomo
  • save_minio_*: task que filtra os segmentos do espaço em questão, realiza a requisição e salva no minio
  • save_postgres*: task que coleta o dado salvo no minio e salva no postgres
  • end: EmptyOperator que para indicar o fim

Groups

É criado o taskgroup para cada espaço que deseja coletar os espaços, caso seja necessário coletar de outro espaço, basta alterar no código SPACES = ["assemblies", "processes"]

  • processes
  • assemblies

Configuração

é necessário criar matomo_pool para limitar as requisições simultâneas

Merge request reports