Was macht einen guten Prognostiker aus? Superforecasting – eine Buchbesprechung.

Ich habe mich für einen großen Teil des Wochenendes in ein großartiges Buch vertieft: Superforecasting: the Art and Science of Prediction. In ihm erzählen Philip Tetlock und Dan Gardner die Geschichte von Tetlocks Experimenten zur Nutzbarmachung der „Weisheit von Vielen“, um die Richtung geopolitischer und ökonomischer Ereignisse zu prognostizieren. Tetlock, ein renommierter Sozialwissenschaftler, und seine globale Schar an freiwilligen Prognostikern, nahmen an einem Projekt der American Intelligence Agency (IARPA) teil, das sich über vier Jahre erstreckte. Sein Team erzielte solch hervorragende Ergebnisse, dass die anderen vier Akademikerteams nach nur zwei Jahren von der IARPA aus dem Rennen genommen wurden.

Der Wettbewerb begann im Jahr 2011. Die Teams sollten unabhängig voneinander Hunderte von Fragen beantworten ähnlich zu solchen, mit denen sich Intelligence-Analytiker tagtäglich beschäftigen. Es geht dabei um die Wahrscheinlichkeit von Ereignissen wie beispielsweise ein Austritt Griechenlands aus der Eurozone, ein Krieg auf der koreanischen Halbinsel oder ein Angriff Israels auf eine Nuklearanlage im Iran.

Die einzige Qualifikation für Tetlocks Team im „Good Judgement Project“ (GJP) war eine Internetverbindung, etwas freie Zeit und ein Interesse am Zeitgeschehen. Die Freiwilligen waren ein eklektischer Haufen und hatten anscheinend nichts miteinander gemeinsam. Am Ende des ersten Jahres hatte GJP fast 3000 Freiwillige, deren kollektive Beurteilungen als Antworten in den Wettbewerb eingebracht wurden. Im Laufe der Zeit stieg die Anzahl der Prognosen und die Researcher waren in der Lage, die experimentellen Bedingungen zu verändern (um zu bestimmen, welche Faktoren die Genauigkeit von Prognosen verbesserten) und solche Freiwilligen zu identifizieren, die sich als besonders vorausschauend erwiesen hatten.

Jeder Prognose wurde ein Brie-Score zugeordnet, welcher die Genauigkeit und das Selbstbewusstsein bei der Urteilsfällung erfasste. Sobald das Ergebnis eines Ereignisses bekannt war, wurde der kumulative Score eines jeden individuellen Prognostikers kumuliert. Eine Person, die konsistent mit 100% Zuversicht die korrekte Prognose traf, erhielt einen perfekten Score von null. Ein Score von 0,5 repräsentierte eine Reihe zufälliger Vermutungen oder abgesicherte Wetten im 50/50-Stil. Der schlechteste Score war 2 (so weit daneben liegend wie nur möglich) und war jenen Personen vorbehalten, die mit 100% Zuversicht konsistent die falschen Aussagen machten.

Nach dem ersten Jahr wurden aus 2800 Freiwilligen die 60 talentiertesten Prognostiker ausgewählt. Sie hatten einen kollektiven Brier-Score von 0,25 – gegenüber einem Gruppendurchschnitt von 0,37 für die verbliebenen Teilnehmer – und erhielten den Titel „Superforecaster“. Gegen Ende des vierten Jahres hatte sich dieser Abstand deutlich vergrößert. Die Superforecasters waren nun um mehr als 60% besser als der Rest des Teams und um über 40% besser als das IARPA-(Kontroll)Team selbst.

Was war es also, das es den Superforecasters ermöglichte, ohne spezielle Vorkenntnisse oder Zugang zu geheimen Informationen besser als professionelle Intelligence-Analysten abzuschneiden? Während meiner Lektüre des Buches habe ich einige Notizen zu den Charakteristiken gemacht, die Superforecasters laut Tetlock haben. Hier ist meine (ohne Anspruch auf Vollständigkeit) Liste:

• Die Fähigkeit, Informationen aus unterschiedlichen Quellen zusammenzufassen
• Moderat intelligent und rechenkundig
• Neugierig mit einem Appetit auf Informationen
• Aufgeschlossenheit
• Ein gesundes Maß an Zynismus
• Bereitschaft, Prognosen regelmäßig zu aktualisieren
• Keine Angst, die eigene Meinung zu ändern
• Bescheidenheit

An oberster Stelle der Liste stand jedoch, was Tetlock eine wachstumsorientierte Geisteshaltung („Growth Mindset“) nennt. Superforecasters sind mehr daran interessiert, warum ihre Prognosen richtig oder falsch sind und weniger daran, ob ihre Prognosen korrekt sind. Sie stehen zu ihrem Versagen und ihren Fehlern und sind ständig bemüht, sich zu verbessern.

Eine für mich persönlich wichtige Erkenntnis aus der Lektüre war, dass Voraussicht eine Fähigkeit ist, die sich entwickeln und vor allem verbessern lässt. Wie die Autoren sagen, ist „selbst eine bescheidene, doch langfristige Verbesserung der prognostischen Fähigkeiten positiv“ – eine überaus relevante Botschaft für Anleger und Fondsmanager. Ich denke, es ist ein fantastisches Buch. Es enthält viele zusätzliche Einblicke und diskutiert Ideen wie beispielsweise die Frage, wie sich Teams von Prognostikern kombinieren und managen lassen. Ich kann das Buch nur empfehlen.

Falls Sie herausfinden möchten, ob Sie das Zeug zum Superforecaster haben oder einfach nur daran interessiert sind, was das Projekt im Augenblick zu prognostizieren versucht, dann schauen Sie doch einmal hier nach.