Analýza/návrh monitoringu zpracování modulů (datových sad)
Jako vývojář chci udělat analýzu nebo návrh toho, jak bychom mohli monitorovat průběh zpracování datových sad, protože teď nemáme přehled o tom, jestli se všechny moduly zpracovávají správně
Navrhnout něco ve smyslu batch_id
(momentálně nepoužívané auditní pole v db), které bude probublávat celým flow o začátku do konce zpracování dat.
cron-tasks/input-gateway -> integration-engine -> postgresql/redis
Každý z kroků bude evidován někde v DB.
Akceptační kritéria
- Vznikne návrh a zadání implementace ukládání metadat (batch_id) pro monitoring zpracování dat
- Návrh směřovat k tomu, aby bylo možné nad uloženými metadaty vytvořit přehledový dashboard (co,kdy,jak)
- Návrh směřovat k tomu, aby bylo možné nad uloženými metadaty vytvořit alerting
- Bude se vycházet z analýzy Monitoring zpracování dat - analýza/prototyp po... (#79 - closed)
- Vhodné použít implementaci: balíček/core posílá metadata do rabbitmq, consumer bere metadata a ukládá do DB
Implementační poznámky
- batch_id vygeneruje první v řadě, pak probublává skrze frontu třeba v hlavičce zprávy
- je to něco podobnýho jako Jeager, který je teď nad OG
- konzultovat s @benaktom
- akceptuje @nodejschapter
Edited by Tomáš Benák