Skip to content

Unificação de DAGs de extração e carga e correção de inserção de dados vazios no banco

João Pedro Amoêdo requested to merge fix/decidim-data-extraction into development

Merge request para

  1. Correção da falha de inserção de dados vazios no banco
  2. Mesclagem das dags fetch_process_and_clean_proposals e ingest_proposals_proccesses para criar a dag etl_proposals
  3. Criar checagem de bucket do minio e tabela do postgres
  4. criação do pytest dag

Tabela

  • Chave primária: proposal_id

Screenshot_2024-04-03_080112

Configuração

Deve-se criar a conexão amazon web services com o nome de minio_conn_id conn_id

Edited by João Pedro Amoêdo

Merge request reports