Quelles sont les qualités requises pour devenir un bon prévisionniste ? « Superforecasting » – revue de livre.

J’ai passé une bonne partie du week-end à dévorer un très bon livre : « Superforecasting », l’Art et la Science de la Prévision. Dans ce livre, Philip Tetlock et Dan Gardner racontent l’histoire des expérimentations menées par le premier cité visant à exploiter la capacité des masses à prédire les événements géopolitiques et économiques. Tetlock, spécialiste reconnu des sciences sociales, et son groupe mondial de prévisionnistes bénévoles, ont participé à un concours organisé par une agence américaine de renseignement (IARPA) sur une durée de quatre ans. Son équipe a tellement bien réussi que les quatre autres équipes universitaires participant au concours ont été « remerciées » par IARPA après seulement deux ans…

Le concours a débuté en 2011. Il imposait aux équipes de répondre indépendamment à des centaines de questions semblables à celles que les analystes du renseignement évaluent chaque jour. Par exemple : prévoir la probabilité d’événements tels que la sortie de la Grèce de la zone euro, l’éclatement d’une guerre dans la péninsule coréenne, ou bien l’attaque par Israël d’une installation nucléaire en Iran.

Les seuls prérequis pour rejoindre l’équipe de Tetlock (baptisée le « Good Judgment Project » (GJP) ou « Projet du Jugement Solide ») étaient de disposer d’une connexion internet, d’un peu de temps libre, et faire preuve d’intérêt pour les questions d’actualité. Les volontaires formaient un ensemble éclectique de personnes ne partageant apparemment que peu de choses en commun. À la fin de la première année, le GJP regroupait près de 3 000 bénévoles dont le jugement collectif a été utilisé pour générer les réponses de l’équipe dans le cadre du concours. À mesure que le temps passait et que le nombre de prévisions augmentait, les chercheurs ont été en mesure de faire varier les conditions expérimentales (afin de déterminer quels facteurs amélioraient la précision des prédictions), et d’identifier les volontaires particulièrement clairvoyants.

A chaque prévision était attribué un score de Brier. Ce score évalue, une fois le résultat connu, la précision et le degré de confiance de la prévision associée. Le score cumulé de chaque prévisionniste faisait alors l’objet d’un suivi. Une personne qui anticipait systématiquement le bon résultat avec 100 % de confiance se voyait attribuer un score parfait de zéro. Un score de 0,5 représentait une série de prévisions aléatoires ou des paris couverts de type 50-50. Le plus mauvais score de 2 (prévision la plus éloignée du résultat) était attribué aux personnes qui anticipaient régulièrement le mauvais résultat avec un degré de confiance de 100 %.

Après la première année, sur l’ensemble des 2 800 volontaires, seuls 60 prévisionnistes ont été identifiés comme les plus doués. Leur score collectif de Brier atteignait 0,25 (contre une moyenne de 0,37 pour les autres membres du groupe). Ces personnes ont reçu le titre de « superforecasters » (« superprévisionnistes »). À la fin de la quatrième année, l’écart s’était considérablement creusé, les « superforecasters » surperformant le reste de l’équipe de plus de 60 %, et la propre équipe professionnelle de l’IARPA (équipe de contrôle) de plus de 40 %.

Alors, qu’est-ce qui a permis aux « superforcasters » de battre des analystes professionnels du renseignement, alors même qu’ils ne disposaient que de très peu de connaissance préalable sur le sujet (voire aucune), et qu’ils n’avaient pas accès à des informations classées secrètes ? Au cours de la lecture, j’ai pris des notes sur les caractéristiques que Tetlock considèrent comme essentielles pour faire un « superforecaster ». Voici ma liste (en aucun cas exhaustive) :

• Une capacité à rassembler des informations provenant de sources multiples
• Un peu d’intelligence et un certain goût pour les chiffres
• Etre curieux et avoir un intérêt pour l’information
• L’ouverture d’esprit
• Une bonne dose de cynisme
• Mettre à jour régulièrement ses prévisions
• Ne pas craindre de changer d’avis
• L’humilité

En haut de la liste de Tetlock, on trouve toutefois ce que l’auteur appelle un « état d’esprit de développement » : les « superforecasters » sont davantage intéressés à comprendre pourquoi leurs prévisions étaient correctes ou erronées, que de savoir si elles étaient exactes. Ils se considèrent responsables de leurs échecs et erreurs, et sont toujours à la recherche de moyens permettant d’améliorer leurs performances.

Pour moi, l’idée que la prévision est une compétence qui peut être développée, et plus important encore, être améliorée, a été une grande révélation. Les auteurs soulignent que « même de modestes améliorations en matière de prospective, si elles sont maintenues au fil du temps, permettent de faire la différence », un message à méditer par les investisseurs et les gérants de fonds… Je pense que ce livre est fabuleux. Il contient de nombreuses idées et aborde des sujets tels que la façon de combiner et de gérer les équipes de prévisionnistes. Je vous le recommande chaudement.

Si vous souhaitez savoir si vous avez les qualités requises pour devenir un « superforecaster », ou si vous êtes simplement intéressé par ce que le projet tente de prédire en ce moment, je vous invite à jeter un œil ici.