README-PROD-Windows.md 12.6 KB
Newer Older
Mathieu Ambrosy's avatar
v 0.18    
Mathieu Ambrosy committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
# Installation de l'application "Le Bon Tag" sur Windows (MODE PROD)

## Pré-requis

L'application nécessite entre autres PostgreSQL avec PostGIS, Python 3, node.js, npm et osm2pgrouting.  
Ce document décrit l'installation complète de l'application et de ses dépendances pour une utilisation en mode production (version compilée) sous Windows.

Les droits d'administration seront nécessaires.

## Application

- Décompresser le fichier "le-bon-tag_x.y.z.tgz" contenant l'application avec un logiciel comme 7zip :

  ![7zip](./img/README-PROD-Windows_01.png)

  Un fichier "le-bon-tag_x.y.z.tar" est généré.

- Décompresser ce fichier à son tour, mais cette fois-ci en spécifiant un sous-répertoire de destination :

  ![7zip](./img/README-PROD-Windows_02.png)

- Les messages d'avertissement de type "Can not create symbolic link" peuvent être ignorés en cliquant sur le bouton "Fermer" :

  ![7zip](./img/README-PROD-Windows_03.png)

- Déplacer le répertoire généré sur le serveur, en évitant les chemins avec des espaces ou des caractères spéciaux, par exemple à la racine de C:\, et le renommer `le-bon-tag` :

  ![Dossier](./img/README-PROD-Windows_04.png)

## Dépendances

### Installation de node.js et de npm

La version **12** de node.js doit être installée : [Lien de téléchargement](https://nodejs.org/download/release/v12.22.5/node-v12.22.5-x64.msi)

Utiliser les paramètres d'installation par défaut.

### Installation de Python et de ses modules requis

La version **3** de Python doit être installée : [Lien de téléchargement](https://www.python.org/ftp/python/3.9.7/python-3.9.7-amd64.exe)

- Cocher "Add Python 3.X to PATH" et cliquer sur "Customize installation" :

  ![Python](./img/README-PROD-Windows_05.png)

- Cliquer sur Next, cocher "Install for all users" et cliquer sur "Install" :

  ![Python](./img/README-PROD-Windows_06.png)
  
- A la fin de l'installation, cliquer sur "Disable path length limit" si l'option est proposée, puis sur "Close" :

  ![Python](./img/README-PROD-Windows_08.png)

- Ouvrir une invite de commandes en tant qu'administrateur et exécuter (mise à jour de "pip") :

  ```
  "C:\Program Files\Python39\python.exe" -m pip install --upgrade pip
  ```

- Toujours avec l'invite de commandes, exécuter (installation des modules requis) :

  ```
  "C:\Program Files\Python39\python.exe" -m pip install requests psycopg2 pyyaml lxml numpy
  ```
  
> Note : pour mettre à jour les modules déjà installés :  
  `"C:\Program Files\Python39\python.exe" -m pip upgrade requests psycopg2 pyyaml lxml numpy`

## Base de données

L'application nécessite une base de données PostgreSQL, avec des extensions comme PostGIS.  
Attention, PostGIS >= 2.5 est requis (utilisation de ST_Intersects avec des collections).  

La base de données peut être sur un autre serveur (recommandé) ou sur le même serveur que l'application.

### Installation

[Lien de téléchargement](https://sbp.enterprisedb.com/getfile.jsp?fileid=1257789)

- Utiliser les paramètres d'installation par défaut, spécifier un mot de passe pour le "super utilisateur" de la base de données et préciser la locale "C" :

  ![PostgreSQL](./img/README-PROD-Windows_09.png)

- A la fin de l'installation, accepter l'exécution de "Stack Builder" afin d'installer l'extension Postgis (ou refuser et exécuter directement "postgis_3_1_pg13.exe" si déjà téléchargé) :

  ![PostGIS](./img/README-PROD-Windows_07.png)

- Répondre "Oui" aux différentes questions posées à la fin de l'installation de PostGIS.

> Fichier de configuration : `C:\Program Files\PostgreSQL\XX\data\postgresql.conf`  (vérifier le port et `listen_addresses = '*'` pour ouvrir l'accès vers l'extérieur si besoin)  
> Fichier de gestion des droits d'accès : `C:\Program Files\PostgreSQL\XX\data\pg_hba.conf`  
> Fichiers journaux : `C:\Program Files\PostgreSQL\XX\data\log`  
> Où XX est la version de PostgreSQL.

### Création

Les scripts SQL de l'application sont chargés en base depuis l'invite de commandes :

- Crée le rôle "osm", la base "osm" avec les extensions requises et les schémas :

```
SET PGCLIENTENCODING=utf-8 && chcp 65001
"C:\Program Files\PostgreSQL\13\bin\psql" --host=localhost --port=5432 --username=postgres -f C:\le-bon-tag\sql\01_lbt_database_and_schemas.sql
```

- Crée les  tables dans le schéma "lebontag" de la base "osm" :

```
SET PGCLIENTENCODING=utf-8 && chcp 65001
"C:\Program Files\PostgreSQL\13\bin\psql" --host=localhost --port=5432 --username=postgres -d osm -f C:\le-bon-tag\sql\02_lbt_tables.sql
```

- Insère les données dans le schéma "lebontag" :

```
SET PGCLIENTENCODING=utf-8 && chcp 65001
"C:\Program Files\PostgreSQL\13\bin\psql" --host=localhost --port=5432 --username=postgres -d osm -f C:\le-bon-tag\sql\03_lbt_data.sql
```

## Données OSM de référence

### Téléchargement des données

Les données OSM de référence **doivent** contenir certaines métadonnées (contributeur, date, changeset, etc.) et se téléchargent après connexion avec un compte OSM sur `https://osm-internal.download.geofabrik.de/index.html` ("OpenStreetMap internal server").

Une fois le compte OSM lié au site "geofabrik.de", il est possible de télécharger les données de la région de son choix, par exemple :
`https://osm-internal.download.geofabrik.de/europe/france/languedoc-roussillon-latest-internal.osm.pbf`

Placer le fichier téléchargé sur le serveur, par exemple dans "C:\le-bon-tag\osm\source".

> **Attention : ne jamais supprimer ce fichier, il sera utilisé par l'application pour connaître la date des données de référence, charger les données puis mettre à jour les données pgRouting.**

## Fichiers de configuration

### Fichier C:\le-bon-tag\.env

Copier le fichier `C:\le-bon-tag\.env.sample` vers `C:\le-bon-tag\.env` :  
`copy C:\le-bon-tag\.env.sample C:\le-bon-tag\.env`

Et éditer les paramètres si nécessaire (connexion à la base de données) :

```
POSTGRES_HOST=localhost
POSTGRES_PORT=5432
POSTGRES_DB=osm
POSTGRES_SCHEMA=lebontag
POSTGRES_USER=osm
POSTGRES_PASSWORD=osm
JWT_SECRET=b4e9cb1d8e532b7d2dae5be291dffab9
LOGGING=true
EPSG_OSM=4326
EPSG_LOCAL=4326
```

* POSTGRES_HOST : Adresse du serveur de base de données  
* POSTGRES_PORT : Port du serveur de base de données
* POSTGRES_DB : Nom de la base de données
* POSTGRES_SCHEMA : Schéma de la base de données
* POSTGRES_USER : Rôle PostgreSQL
* POSTGRES_PASSWORD : Mot de passe du rôle PostgreSQL
* JWT_SECRET : Clé de hachage à générer aléatoirement (pour le jeton de connexion)
* EPSG_OSM : Code EPSG du système de coordonnées des données OSM
* EPSG_LOCAL : Code EPSG du système de coordonnées local. **Attention, sous Windows, "4326" est obligatoire.**

### Fichier /opt/le-bon-tag/api/config.json

Copier le fichier `C:\le-bon-tag\api\config.json.sample` vers `C:\le-bon-tag\api\config.json` et éditer les paramètres si nécessaire (port d'écoute du serveur Web) :

```

{
        "port": 80,
        "bodyLimit": "50mb"
}
```

* port : port d'écoute du service node.js
* bodyLimit : taille maximale des fichiers à traiter

### Fichier /opt/le-bon-tag/config.yaml

Copier le fichier `C:\le-bon-tag\config.yaml.sample` vers `C:\le-bon-tag\config.yaml` et éditer les paramètres si nécessaire (connexion à la base de données) :

```
database:
    host: localhost
    port: 5432
    dbname: osm
    schema: lebontag
    username: osm
    password: osm
    srid: 4326
```

* host : Adresse du serveur de base de données  
* port : Port du serveur de base de données
* dbname : Nom de la base de données
* schema : Schéma de la base de données pour l'application
* username : Rôle PostgreSQL
* password : Mot de passe du rôle PostgreSQL
* srid : Système de coordonnées des données adiff

## Exécution de l'application (en mode interactif)

A ce stade, l'application devrait être fonctionnelle. Pour tester la bonne installation de l'application, exécuter en ligne de commandes : 

`cd C:\le-bon-tag && npm start`

Ouvrir un navigateur et entrer l'adresse du serveur (ou `http://127.0.0.1` en local). La page de connexion de l'application devrait apparaître.

Taper `CTRL + C` en ligne de commandes pour arrêter l'application.

## Exécution de l'application (en mode service)

"pm2" est un gestionnaire de processus permettant de gérer les applications. De plus, pour créer un service Windows, le programme `pm2-installer` doit être utilisé.

A exécuter dans une invite de commandes en tant qu'administrateur :

```
cd C:\le-bon-tag\tools\pm2-installer-main
npm run configure
npm run configure-policy
npm run setup
cd C:\le-bon-tag && npm install -g pm2@latest --unsafe-perm
pm2 start api/index.js -n LeBonTag && pm2 save
```

## Configuration de l'application

 * Ouvrir l'application via un navigateur.
 * Se connecter avec l'utilisateur "**admin**" et le mot de passe "**lbtOSM34a**" puis cliquer sur "Administration" et "Réglages".  
Cette page permet de spécifier les paramètres de l'application, dont certains sont décrits ci-dessous.

### Données OSM de référence

Cette rubrique spécifie les paramètres des données OSM de référence chargées lors de la mise en service de l'application puis mises à jour par l'application.  
Spécifier les bons chemins des fichiers (**avec des `/` et non des `\`**), en particulier le chemin vers le fichier PBF des données de référence téléchargé précédemment.

Par exemple :

```
C:/le-bon-tag/osm/source/languedoc-roussillon-latest-internal.osm.pbf

C:/le-bon-tag/osm/poly/MMM_4326_20190701.poly

C:/le-bon-tag/osm/style/MMM_20190701.style
```

**Attention, pour le paramètre "Système de coordonnées des données de référence après chargement (SRID)", la valeur "4326" est obligatoire sous Windows.**

### Données OSM d'itinéraire

Cette rubrique spécifie les paramètres des données OSM pgRouting chargées lors de la mise en service de l'application puis mises à jour par l'application.  
Spécifier le bon chemin du fichier (**avec des `/` et non des `\`**), par exemple :

```
C:/le-bon-tag/osm/mapconfig/mapconfig_MMM_20191107.xml
```

### Données OSM à valider

Cette rubrique spécifie les paramètres gérant la validation des données OSM.  
La tolérance de géométrie précise la tolérance en mètres au-delà de laquelle la géométrie d'un objet est considérée comme modifiée par rapport à son ancienne version.

### Carte

Cette rubrique spécifie l'emprise géographique de la zone de travail et son apparence sur la carte.

L'emprise (au format GeoJSON, EPSG:4326) est très importante car elle limite les données chargées par l'application à cette zone. Par défaut, l'emprise de Montpellier Méditerranée Métropole est spécifiée.  
Sous PostGIS, la fonction "ST_AsGeoJSON" peut être utilisée pour récupérer la géométrie d'un objet en GeoJSON, par exemple :

```
SELECT ST_AsGeoJSON(ST_Transform(way,4326),9,4) FROM osm2pgsql.osm_polygon WHERE name = 'Montpellier Méditerranée Métropole';
```

### Rétention des fichiers

Cette rubrique spécifie l'âge maximal de certains fichiers générés par l'application.

### Serveur LDAP

Cette rubrique permet de définir la connexion à un serveur OpenLDAP pour la gestion des utilisateurs.  

### Enregistrement

Cliquer sur "Enregistrer" pour sauvegarder les modifications.

## Chargement des données OSM de référence et d'itinéraire

Lors de la mise en service de l'application, les données OSM de référence et d'itinéraire doivent être chargées en base.  
Le script "lbt-load-data.bat" automatise ce chargement :

```
cd "C:\le-bon-tag\scripts"
lbt-load-data.bat
```

Ces données seront alors mises à jour avec les données validées dans l'application.  
> **Attention, la durée de chargement peut être élevée.**

## Planification des scripts Python

Plusieurs scripts Python sont à exécuter régulièrement, par exemple une fois par jour, pour maintenir les données à jour :

* "lbt-get-adiff-xxx" télécharge les fichiers adiff depuis l'API Overpass et les charge en base de données.
* "lbt-update-db-by-osc" met à jour la base de données de référence et la base d'itinéraire avec les objets validés depuis l'interface.
* "lbt-cleaning" nettoie les fichiers OSM et journaux générés par l'application.

Pour exécuter ces scripts Python tous les jours sous Windows, il faut créer des tâches planifiées à l'aide du planificateur de tâches.  
Les planfications à mettre en place sont :

```
Fichier c:\le-bon-tag\cron\lbt-cleaning.bat : tous les jours à 00H00
Fichier c:\le-bon-tag\cron\lbt-update-db-by-osc.bat : tous les jours à 01H00
Fichier c:\le-bon-tag\cron\lbt-get-adiff.bat : tous les jours à 03H00
```

Pour charger les premières données adiff, on peut exécuter le script immédiatement manuellement :

```
cd c:\le-bon-tag\cron\
lbt-get-adiff.bat
```