Prévisions de l'enquête SPF vs IPCH

Combiner les prévisions pour mieux prédire l'inflation ?

2020-01-05

1. Introduction à l'enquête SPF ECB

Le contrôle de l'inflation est l'un des objectifs principals de la Banque Centrale Européenne [1]. Sa prévision est donc capitale pour la conduite de la politique monétaire. À ce titre, la Banque Centrale Européenne (BCE) publie chaque trimestre une enquête appelée Survey of Professionnals Forecasts [2], qui rassemble les prévisions d'environ 80 prévisionnistes professionnelles : experts employés par des institutions financières (banques, assurances) ou non financières (telles que des instituts de recherche économique). Les variables de l'enquête sont le taux d'inflation, la croissance, le niveau de chômage. Les prévisions sont données pour des horizons variés : année en cours, année prochaine, etc.

Dans ce court article, nous nous intéresserons à la prévision à 1 an de l'inflation (considérée en taux de variation annuelle) sur la période allant de décembre 1999 à octobre 2020. Plus précisement, il s'agit de l'indice des prix à la consommation harmonisé (dorénavant IPCH) publié par Eurostat [3].

En particulier, il s'agira d'étudier les performances des prévisionnistes du panel et de déterminer comment combiner ces différentes prévisions. A titre d'exemple, le graphique suivant présente les prévisions de ces prévisionnistes :

Prévisions vs IPCH
Figure 1 : Prévisions de l'enquête SPF (couleurs) vs IPCH (en noir)

Enfin, dans la mesure où les prévisionnistes peuvent entrer et sortir du panel à tout moment, l'étude ne porte que sur les prévisionnistes ayant répondu au moins la moitié du temps.

2. Des différences de performances entre prévisionnistes et entre périodes

2.1. Erreur moyenne par prévisionniste

C'est un truisme mais une bonne prévision est proche de la vraie valeur. Ce principe est formalisé par la fonction de perte qui a pour propriété d'augmenter lorsque l'écart entre la prévision et la vraie valeur augmente. Inversement, plus la fonction de perte est faible, meilleure est la prévision. Par ailleurs la fonction de perte n'indique pas si il y a sous-estimation ou sur-estimation de la vrai valeur, mais quantifie seulement l'écart entre la prévision et la vraie valeur.

La fonction de perte considérée ici est l'erreur absolue moyenne (MAE), définie comme la moyenne des écarts en valeur absolue entre la prévision et la vraie valeur. La figure suivant présente l'erreur absolue moyenne (calculée sur l'ensemble de la période) par prévisionniste.

Erreur moyenne par prévisionniste
Figure 2 : MAE par prévisionniste

Certains prévisionnistes font mieux que la moyenne, d'autres moins bien. Par exemple, les prévisionnistes 7 et 98 sont particulièrement mauvais, tandis que le prévisionniste 36 est bien meilleure que la moyenne. Relativisons toutefois, les erreurs absolues moyennes des prévisionnistes restent proches les unes des autres (80% sont comprises entre 0.6 et 0.8).

2.2. Des différences entre les périodes

Même si certains prévisionnistes semblent être plus précis que d'autres, il existe des différences de performances entre les périodes. Aussi, afin de pouvoir comparer les pertes entre les périodes, il est possible de considérer l'erreur dans son écart à l'erreur moyenne de la période. Le graphique réprésente ci-après l'écart entre la fonction de perte d'un prévisionniste donné pour une période donnée et la fonction de perte moyenne de la période.

Si cet écart est positif pour un prévisionniste, cela signifie qu'il fait mieux que ses confrères pour cette période. Les carreaux sont grisés lorsque la valeur est manquante (le prévisionniste n'a pas répondu à l'enquête pour cette période).

Erreurs de prévisions (en écart à l'erreur moyenne de la période) pour différents prévisionnistes et périodes
Figure 4 : Erreurs de prévisions (en écart à l'erreur moyenne de la période) pour différents prévisionnistes et périodes

Il apparaît qu'il n'existe pas de prévisionniste qui fasse systématiquement mieux que les autres quel que soit la période. Aussi certains prévisionnistes, par exemple le numéro 94, peuvent être très bon à certaines périodes (2009-09-01) et très mauvais à d'autres (2013 à 2016).

3. Obtenir la meilleure prévision

Afin d'obtenir la meilleure prévision possible, il serait tentant de ne considérer que les prévisions du prévisionniste ayant l'erreur moyenne la plus faible, cependant :

  • Certains prévisionnistes sortent du panel de l'étude de sorte qu'il est risqué de retenir qu'un seul prévisionniste.
  • Certains prévisionnistes sont bons à certaines périodes, moins bons à d'autres. Il serait dommage de ne pas en profiter de cette propriété.

Une manière alternative consiste à combiner les différentes prévisions. Comment procéder alors ?

3.1. Prévision moyenne et sagesse des foules

La notion de sagesse des foules (Wisdom of the crowd) décrite à l'origine par Sir Galton et popularisée par James Surowieck [4] avance que l'agrégation d'opinions multiples conduit à une estimation proche de la réalité, et souvent plus juste que l'opinion d'un petit nombre d'experts. Pour aggréger ces opinions divers, il est courant d'utiliser la moyenne.

Ce principe ne semble pas être vérifié pour notre panel de prévisionnistes, comme le montre la figure ci-dessous :

IPCH vs prévision moyenne
Figure 5: HICP, prévision moyenne, meilleure prévision (par période)

En effet, la meilleure prévision (en rouge foncée) est bien plus précise que la prévision moyenne des prévisionnistes (en bleu navy). C'est résultat semble aussi être observé pour l'enquête SPF de la FED de Philadelphie [5]. Par ailleurs, la meilleure prévision n'est pas systématiquement issue du même prévisionniste (cf section 2.2.), comme le montre la figure ci-dessous.

Meilleur prévisionniste
Figure 6: Identifiant du prévisionniste réalisant la meilleure prévision

3.2. Combinaison dynamique des prévisions et machine learning

Une autre possibilité est de réaliser une combinaison plus fine des prévisions, en fonction des erreurs commises par les passé. En machine learning, l'objectif des modèles est d'ajuster les pondérations de sorte à minimiser l'erreur de prévision. Le modèle retenue ici est un modèle d'online learning[6] appelée Exponentially Weighted Average Forecaster[7] (dorénavant EWA). A chaque période, le modèle ajuste les pondérations assignés à chaque prévisionniste en fonction de l'erreur de prévision du celui-ci. Ainsi, une grande erreur de prévision va conduire à une forte baisse de la pondération assigné à un prévisionniste. Mathématiquement, pour un prévisionniste donné, la pondération à la période t vaut : $$w_{t} = \frac{w_{t-1}}{\exp(|f_{t-1} - y_{t-1}|)}$$

La prévision globale du modèle est alors définie comme la moyenne pondérée des prévisions individuelles des prévisionnistes. Le graphique ci-dessous présente la prévision de ce modèle

Comparaison des prévisions du modèle EWA avec la prévision moyenne
Figure 7: Comparaison des prévisions du modèle EWA avec la prévision moyenne

La prévision du modèle EWA est très proche de la prévision moyenne. Autrement dit, la réduction de l'erreur offerte par le modèle est relativement faible : l'erreur moyenne en valeur absolue passe de 0.69 à 0.66, soit une diminution de l'erreur d'environ 4%. Dans ce cas, il convient de suivre le principe du rasoir d'Occam [8] et d'utiliser la moyenne dans la mesure où le modèle EWA, plus complexe, ne semble pas apporter de gain significatif en terme de performance.

C'est une illustration du "combination forecast puzzle", à savoir que dans les applications empiriques, la combinaisons des avis par moyenne simple bat souvent des schémas plus complexes [9]. Ce résultat peu sembler surprenant car la figure X montre qu'il existe des prévisionnistes qui semblent bien plus précis que d'autres.






Réferences

1. Missions de la BCE, BCE.

2. Survey of Professional Forecasters, BCE.

3. Indice des prix à la consommation harmonisé, Eurostat.

4. Surowiecki, J. (2005). The wisdom of crowds. Anchor.

5. Reia, S. M., & Fontanari, J. F. (2020). Wisdom of crowds: much ado about nothing. arXiv preprint arXiv:2008.01485. URL : https://arxiv.org/pdf/2008.01485.pdf.

6. Online Machine Learning, Wikipedia.

7. Cesa-Bianchi, N., & Lugosi, G. (2006). Prediction, learning, and games. Cambridge university press.

8. Définition du rasoir d'occam, Dictionnaire Britannica.

9. Stock, J. H., & Watson, M. W. (2004). Combination forecasts of output growth in a seven‐country data set. Journal of forecasting, 23(6), 405-430. URL : https://www.princeton.edu/~mwatson/papers/Stock_Watson_JoForc_2004.pdf.