Fiabilité des modèles : prévision contre réalité
Chaque matin, on reprend ce que chaque modèle annonçait pour la veille, commune par commune, et on le compare à ce que les stations Météo-France ont réellement mesuré : températures minimale et maximale, pluie du jour, rafale la plus forte. Le classement dit quel modèle s'est le moins trompé ces derniers jours dans les Pyrénées-Orientales.
Comparaisons du 14 septembre au 27 octobre, 22 stations.
Classement des modèles (30 derniers jours, prévision faite la veille)
🏆 AROME s'est le moins trompé sur l'ensemble des quatre mesures.
| Modèle | Temp. max | Temp. min | Pluie | Rafales |
|---|---|---|---|---|
1AROME Météo-France, 1,3 km | ± 1,5°C trop froid de 1,3°C | ± 1,4°C trop chaud de 0,8°C | 94% de jours bien annoncés 89% de la pluie vue, 8 fausses alertes | ± 7 km/h pas assez venteux de 3 km/h |
2HARMONIE DMI Danemark, 2 km | ± 2,0°C trop froid de 1,8°C | ± 1,4°C trop chaud de 0,5°C | 95% de jours bien annoncés 89% de la pluie vue, 6 fausses alertes | ± 8 km/h sans tendance nette |
3HARMONIE KNMI Pays-Bas, 5,5 km | ± 1,9°C trop froid de 1,7°C | ± 1,6°C trop chaud de 0,5°C | 96% de jours bien annoncés 89% de la pluie vue, 4 fausses alertes | ± 9 km/h sans tendance nette |
4ECMWF CEP, 25 km | ± 1,6°C trop froid de 1,4°C | ± 1,5°C trop chaud de 0,5°C | 92% de jours bien annoncés 96% de la pluie vue, 15 fausses alertes | ± 11 km/h pas assez venteux de 2 km/h |
5GFS NOAA, 25 km | ± 1,8°C trop froid de 1,6°C | ± 1,7°C trop chaud de 0,9°C | 88% de jours bien annoncés 100% de la pluie vue, 27 fausses alertes | ± 18 km/h pas assez venteux de 15 km/h |
± = erreur moyenne. En vert, le meilleur de chaque colonne. Cas comparés à armes égales : max 200, min 200, pluie 223, rafales 121 (station × jour).
Station par station
| Jour | Mesuré | AROME | HARMONIE KNMI | HARMONIE DMI | ECMWF | GFS |
|---|---|---|---|---|---|---|
| mar. 27/10 | 20,6°C | 19,9°C | 20,8°C | 18,7°C | – | – |
| lun. 26/10 | 25,3°C | 22,4°C | 21,8°C | 22,0°C | – | – |
| dim. 25/10 | 24,9°C | – | 23,8°C | 23,3°C | – | – |
| sam. 24/10 | 19,4°C | 18,7°C | 18,8°C | 18,6°C | 18,6°C | 19,0°C |
| ven. 23/10 | 19,9°C | 19,9°C | 18,8°C | 18,9°C | 18,1°C | 17,5°C |
| jeu. 22/10 | 19,9°C | 19,1°C | 18,8°C | 18,6°C | 17,5°C | 18,2°C |
| mer. 21/10 | 19,5°C | 18,2°C | 17,8°C | 18,2°C | 17,6°C | 16,9°C |
En rouge, un écart d'au moins 2,0°C avec la mesure.
Comment ces comparaisons sont-elles faites ?
- Quelle prévision ? Celle que le site affichait pour la commune de la station la veille au soir (« la veille »), deux ou trois jours avant. AROME et HARMONIE ne vont pas assez loin pour être comparés à trois jours.
- L'erreur moyenne est l'écart moyen, sans signe, entre prévu et mesuré : 1,2°C veut dire qu'en moyenne le modèle se trompe de 1,2°C, dans un sens ou dans l'autre. La tendance dit s'il se trompe toujours du même côté (trop chaud, trop sec…).
- La pluie est jugée sur la question qui compte : pleut-il ou non (au moins 1 mm dans la journée) ? « Jours bien annoncés » compte les jours où le modèle avait raison, « pluie vue » la part des jours de pluie qu'il avait prévus.
- À armes égales : un modèle n'est classé que sur les jours et les stations où tous les modèles avaient une prévision, pour qu'aucun ne soit avantagé par une période plus facile. ECMWF n'est suivi que depuis le 12 octobre, les deux HARMONIE depuis le 2 octobre : quand un modèle n'a pas assez de jours en commun avec les autres, ses chiffres restent affichés en gris, hors classement.
- Depuis quand ? La pluie est comparée depuis le 14 septembre. Les températures depuis le 10 octobre seulement : avant, nos prévisions des communes de montagne étaient lues sur un point de grille parfois perché sur une crête, sans correction d'altitude ; les comparer aurait jugé notre ancien réglage, pas le modèle. Les rafales depuis le 10 octobre aussi : avant, il manquait des heures dans les relevés.
- Limites : la température prévue est ramenée à l'altitude de la station (6,5°C par km), mais une station en fond de vallée ou au bord de la mer peut rester loin du point de grille du modèle. Les modèles à mailles de 25 km (ECMWF, GFS) lissent les orages : sur un épisode localisé, ils étalent la pluie. GFS et ECMWF ne donnent qu'une valeur toutes les 3 heures, ce qui peut leur faire manquer le pic de chaleur ou de froid.
- Pour la prévision du jour, voir l'indice de confiance (les modèles sont-ils d'accord ?) et l'état des modèles (sont-ils à jour ?).
Sources : prévisions AROME (Météo-France), HARMONIE (KNMI et DMI), ECMWF (CEP) et GFS (NOAA), telles qu'Alertes-Météo les publiait pour chaque commune ; observations des stations Météo-France (paquets horaires, températures extrêmes contrôlées de la veille).