DAG - Ingestão do Minio para o Postgres (Assembleias)
Descrição da Task
Criar dag que pegue o arquivo da conferencia da juventude que foi salva no MinIO pela outra dag e salvar no postgres
Possivel Solução
Critérios de Aceitação
-
Criar uma forma da dag ser executada quando a dag que salva no minio terminar -
Coletar os dados do minio -
Realizar um tratamento nos dados para ficarem em formato de tabela -
Fazer o script de create table usando o schema raw
-
criar task para verificar se a tabela e o schema existem, se não existirem, criar -
Salvar os dados alterados no postgres
Edited by João Pedro Amoêdo