|
|
Si on arrive à pérenniser Open Mobility Indicators, il faudra se tenir au courant des évolutions très rapides ces temps-ci dans les environnements data sur le cloud (pas seulement pour les applications pointues de type "big data" et IA).
|
|
|
Cette page initie une veille sur le sujet, qui intéresser les "contributeurs techniques".
|
|
|
|
|
|
Plusieurs évolutions nous semblent aller dans le sens de la solution technique d'OMI :
|
|
|
- côté services publics, [Onyxia](https://onyxia.lab.sspcloud.fr/catalog/inseefrlab-helm-charts-datascience) l'initiative du lab de l'Insee de mettre à disposition des services de l'état (pas seulement Insee) un environnement web pour accéder à des ressources de calcul sur le cloud (notebooks etc.) ;
|
|
|
- si l'utilisation des notebooks continue à se développer, des solutions sans serveur fonctionnant dans le navigateur, comme [basthon](https://basthon.fr/), semblent aussi à regarder de plus près ;
|
|
|
- côté environnement "data science" open source en python, on peut relever des produits/entreprises comme [ploomber](https://ploomber.io/) (plutôt orienté IA/ML) et [kedro](https://kedro.readthedocs.io/en/stable/) (peut être plus généraliste et plus proche des besoins OMI). Il n'est pas impossible que ce soit pertinent dans le futur de migrer OMI de gitlab CI/CD vers un outil de ce type, dédié data.
|
|
|
- il est intéressant de voir aussi que Carto (startup de Barcelone qui vient de lever 60M$) inclut dans sa plateforme [cartoframes](https://github.com/CartoDB/cartoframes), une librairie python d'analyse de données pour notebook, open source mais conçue pour fonctionner avec sa plateforme donc pas fait pour être utilisé en dehors de leur solution sans doute, et qui reprend des fonctionnalités générales d'un SIG ou d'un outil de traitement de données en général : authentification, accès à un catalogue de données, géocodage ou autres fonctionnalités géographiques, et visualisation (production de cartes). |
|
|
\ No newline at end of file |
|
|
Les notebooks sont très utilisés par les data scientists et data analysts, et un écosystème d'outils est en train de se développer.
|
|
|
A noter parmi eux
|
|
|
- [kedro](https://kedro.readthedocs.io/en/stable/01_introduction/01_introduction.html) est un framework opensource en python pour la "data science", qui s'appuie notamment sur les notebooks ; si OMI est maintenu, la question pourrait se poser de migrer OMI de gitlab CI/CD vers un outil de ce type, dédié data.
|
|
|
- [ploomber](https://github.com/ploomber/ploomber),
|
|
|
intéressant également par [son blog](https://ploomber.io/posts/) qui propose des [bonnes pratiques pour travailler proprement avec des notebooks](https://ploomber.io/posts/clean-nbs/).
|
|
|
- il est intéressant de voir aussi que Carto (startup de Barcelone qui vient de lever 60M$) inclut dans sa plateforme [cartoframes](https://github.com/CartoDB/cartoframes), une librairie python d'analyse de données pour notebook, open source mais conçue pour fonctionner avec sa plateforme donc pas fait pour être utilisé en dehors de leur solution sans doute, et qui reprend des fonctionnalités générales d'un SIG ou d'un outil de traitement de données en général : authentification, accès à un catalogue de données, géocodage ou autres fonctionnalités géographiques, et visualisation (production de cartes).
|
|
|
- si l'utilisation des notebooks continue à se développer, des solutions sans serveur fonctionnant dans le navigateur, comme [basthon](https://basthon.fr/), semblent aussi à regarder de plus près ;
|
|
|
- dans la sphère publique en France, [Onyxia](https://onyxia.lab.sspcloud.fr/home) un outil open source donnant accès à un environnement cloud pour le traitement des données pour développé par l'Insee, qui fournit également le service hébergé pour les agents de l'Insee et plus largement de l'état.
|
|
|
|
|
|
|
|
|
|