Import: Monitoring des Imports
Reprise de #49 (closed), de façon plus concrète. Dans l’ensemble, dépend de #305 (closed).
-
Mieux gérer l’analyse de source distante et permettre le téléchargement de fichiers distants - Faire un job asynchrone pendant le téléchargement
- Garder le résultat de l’analyse en base
-
Tableau de bord des imports dans une Map - Interface de création et d’édition des
Import::*configuration
d’uneMap
- Nouvelle section Imports (ou Sources?) rassemblé au niveau de la Map, plutôt que layer par layer. Il n’y a en général qu’une configuration, mais on peut en faire plusieurs. Au même endroit, on peut déclencher un nouvel import. Au même endroit, on voit la liste des
Import::Operation
passées, en cours et futures. - Démarrer un nouvel Import revient à choisir une source, choisir une config, cliquer Go.
- Interface de création et d’édition des
-
Performances du job d’import - stocker les durées dans ImportOperation
- batch ?
- minimiser les broadcast turbo (#196)
- éviter de récupérer la géométrie de l’ancienne feature au réimport (dans
create_or_update_row
). Si la géométrie est un peu complexe, on va lui faire-faire un aller retour en base pour rien. - créer des index partiels sur les clés json. A priori c’est possible pour PG (on peut créer un index uniquement sur les rows d’un layer, et on peut créer un index sur un sous-attribut json), mais ça implique peut-être de le faire comprendre à Rails pour ne pas mettre le bazar dans le schéma.
-
Permettre de planifier des imports - Un plan est une
Import::Configuration
et une horaire. - On a besoin d’un
Import::Schedule
en base, sauf si good_job suffit. - UI de gestion des plans
- Un plan est une
Edited by Nicolas Bouilleaud