Sällan har så många, så kunniga, haft så fel, samtidigt. Tiden efter att ryska styrkor gick till bred attack mot Ukraina följde en kavalkad av experter – på tv, på Twitter, i tidningar – som mer eller mindre öppet ångrade att de med bestämdhet förutspått att mycket kunde hända, men att det som nu hänt absolut inte skulle ske.

”Jag hade fel”, som den respekterade amerikanska säkerhetspolitiska experten Kori Schake uttryckte det dagen efter att ryska trupper korsade gränsen. Precis samma ord kom från så vitt skilda håll som FN:s Antonio Guterres, den brittiska politikern Nigel Farage och Tjeckiens president Milos Zeman.

Det är förstås, som det berömda uttrycket lyder, ”svårt att spå, speciellt om framtiden”. Men faktum är att det idag borde vara åtminstone lite lättare än förr. Detta tack vare en massiv forskningsinsats om just ”prediktion”, som är den tekniska termen för det som så många ägnar så mycket tid åt, men som väldigt ofta träffar fel.

Historien om den här forskningen börjar också med ett misslyckande. Efter att USA överraskats av terrorattackerna 2001 följde en hård debatt kring hur landets enorma, kostsamma säkerhetsapparat – med sina underrättelsetjänster som den främsta försvarslinjen mot ”framtiden” – kunde missa vad som var på gång. Under åren efter attackerna investerade USA enorma summor i nya krig och förmågor – underrättelsebudgeten steg under de här åren snabbt, till över 80 miljarder dollar om året – och en del av detta dollarflöde ledde 2006 till att den statliga organisationen IARPA skapades.

”Den här kunskapen är med andra ord farlig för många i underrättelsevärlden.”

IARPA står för Intelligence Advanced Research Projects Activity. Organisationen modellerades efter den mer berömda militära motsvarigheten DARPA (där D:et står för Defense istället för Intelligence), alltså den forskningsorganisation som lagt grunden till militära robothundar, internet och gps.

Men här handlade det om banbrytande underrättelseforskning. Och IARPA gav sig snart på den kanske mest utmanande frågan av alla: Vad är det bästa sättet att förutspå framtiden?

2011 startade IARPA en flerårig tävling. Ett antal universitet bjöds in att organisera olika metoder för att svara på konkreta frågor om framtida, geopolitiska utvecklingar, av typen ”Vad är sannolikheten att King Jong Il fortfarande sitter vid makten som den Högsta ledaren för folkrepubliken Korea klockan 11.59 GMT den 31 december 2011?”.

Det rörde sig alltså om en relativt avgränsad del av framtiden man valde att fokusera på. Svaren på frågorna under turneringens första år låg mellan mind­re än 1 och upp till 13 månader in i framtiden. Frågorna skulle också vara falsifierbara, det vill säga svaret skulle tydligt falla på ett av två eller tre alternativ, vilket gjorde att sannolikhetsbedömningar uttryckta i siffor gick att använda – och pricksäkerheten att utvärdera.

Metoderna som undersöktes ­byggde alla på tanken om ”the wisdom of the crowd”, att det är bättre att ha flera, sammanvägda prediktioner än bara en. Det rörde sig om prediktionsmarknader (där man, likt en börs, satsar och tjänar ”pengar” på rätt prediktion), onlinebaserade opinions­undersökningar, och så det som snabbt visade sig vara det mest effektiva av alla: Good Judgment Project (GJP).

Good Judgment Project leddes av det gifta paret Barbara Mellers och Philip Tetlock, bägge professorer i psykologi vid University of Pennsylvania. IARPA-upplägget gav dem förutsättningar som de allra flesta forskare bara kan drömma om. Projektet samlade ett par tusen ”forecasters” med hjälp av alumni-organisationer, vetenskapsbloggar och uppmärksamhet från medier, som mot en blygsam ersättning (150 dollar om året) ägnade sin fritid åt att svara på ett hundratal frågor kring geopolitik och ekonomi under ett år. Deltagarna delades in i grupper där de fick olika sorters träning, och deras svar vägdes samman och jämfördes med de andra projekten.

Efter två år visade sig GJP så framgångsrikt att IARPA avslutade de övriga projekten. Men turneringen fortsatte och GJP kunde fortsätta slipa på sina metoder, nu i tävling med riktiga underrättelseanalytiker som hade tillgång till hemligstämplad information. GJP vann även mot dem.

Forskningsresultaten från den här turneringen, som avslutades 2014, har tagit många år att publicera. Men idag syns en ganska klar bild av vad som krävs för att göra prediktioner bättre:

Fler förutsägelser är bättre än få – åtminstone upp till en gräns. Tidshorisonten får inte vara för lång – vid frågor som ligger längre än 36 månader in i framtiden är prediktionerna inte bättre än en gissning. Siffror är bra, både för att kommunicera en möjlig händelseutveckling till beslutsfattare och för att kunna utvärdera prediktionsverksamhet bakåt. Träning hjälper, i synnerhet träning i att tänka med hjälp av sannolikheter (GJP:s träning var bara fyra timmar lång, men hade tydliga effekter på resultaten). De som jobbar i grupp gör bättre individuella prediktioner än de som jobbar ensamma. Och de allra bästa prediktionerna kommer när en statistisk algoritm får bearbeta den försiktighet som präglar sammanvägda prediktioner.

Det mest kända resultatet från all den här forskningen nog är det Mellon och Tetlock kallar ”superforecasters”. I praktiken handlar det om de två procent av alla GJP-deltagare som visade sig ha högst pricksäkerhet. Det var de, när de hade samlats i grupper, som uppnådde de allra bästa resultaten, och slog det bästa CIA och de andra underrättelsetjänsterna hade att uppbåda. Här finns mycket att säga – Philip Tetlock har skrivit en hel bok med titeln Superforecasting – men det mest talande är att en ”superforecaster” inte tenderade att vara en ”expert”. Det var rätt vanliga människor utan djup sakkunskap kring frågorna de tog sig an, men med ett öppet sinne och en känsla för det matematiska, sannolikhetsbaserade tänkande som bidrar till att rucka de tankestrukturer som ofta låser vår förmåga att balanserat blicka framåt.

Men samtidigt riskerar uppmärksamheten på ”superforecasters” att dölja all den här underrättelseforskningens troligtvis viktigaste slutsats: att de gamla, etablerade metoderna där man förlitar sig på några få, tränade analytiker behöver kompletteras med andra metoder och då inte minst ”massans visdom”. Vissa är bättre än andra, men det är ändå många tillsammans som är bäst.

Vad har då hänt sedan IARPA:s turnering avslutades? Har den här metoden för att förutspå framtiden införts på bred front i den jättelika amerikanska underrättelseapparaten? Det förvånande svaret på den frågan är nej, åtminstone inte vad vi vet. Vid samma University of Pennsylvania där Barbara Mellon och Philip Tetlock är verksamma publicerade statsvetarprofessorn Michael Horowitz helt nyligen en genomgång av varför användandet av all denna kunskap inte kommit längre. Det handlar, skriver Horowitz, om praktiska utmaningar. Hur får man ihop tillräckligt stora grupper? Ska de vara anställda och ska verksamheten vara hemlig? Eller öppet – men hur motiveras ”vanliga civila” att ägna tid åt något man väntar sig att staten ska ta hand om?

Men det handlar också mycket om byråkratisk motvilja. Att införa ett helt nytt system, som dessutom gör det lätt att utvärdera någons insats, riskerar att utmana existerande hierarkier. Den här kunskapen är med andra ord farlig för många i underrättelsevärlden.

Till detta ska nog läggas något Horowitz och de här forskarna själva inte lyfter fram. De gillar sannolikheter och siffror. Alla gör inte det. Det är ett komplicerat – ibland rent kontraintuitivt – sätt att se på världen, och både att producera sannolikheter och att för beslutsfattare effektivt kunna handskas med vad de betyder, är i sig en stor utmaning.

Betyder det att alla de pengar USA plöjt ned i att forska kring framtiden aldrig kommer att komma till nytta? Nej, trots motståndet från den amerikanska underrättelsevärlden rör det ändå på sig på framtidsfronten. Dels har IARPA-turneringen och GJP:s framgångar skapat ett antal kommersiella projekt som lyckats slå mynt på allt man kommit fram till. I Storbritannien påbörjades nyligen ett stort prediktionsprojekt av den brittiska regeringen som kallas Cosmic Bazaar, och FFI, den norska motsvarigheten till svenska FOI, genomförde precis en egen prediktionsturnering modellerad efter GJP.

Det finns dessutom andra utvecklingsområden för framtidsspaningar som utmanar traditionen att helt förlita sig på experter och analytiker. Det handlar framförallt om maskininlärningsmetoder, där bland annat Uppsala universitet kommit långt i ett projekt att förutspå konflikter med hjälp av databaser och artificiell intelligens.

Inget av detta betyder att någon tror att traditionell underrättelseverksamhet kommer att försvinna. Kunskap kring sakfrågor – från öppna källor, signalspaning och livs levande agenter — är fortfarande nödvändig, inte minst för att kunna ställa rätt frågor framåt. Det idealtillstånd många underrättelseforskare ser är en kombinationsmetod: att anställda analytiker får hjälp från både massan och maskiner, och att det är någonstans där den yttersta möjlighetshorisonten för framtidsspaning ligger.

Om vi slutligen återvänder till Ryssland och Ukraina är det trots allt tydligt att om det var någon som hade rätt, så var det faktiskt de tidigare så utskällda amerikanska underrättelsetjänsterna. Det var, i motsats till 2001, inget underrättelsemisstag. Tvärtom. USA varnade öppet och länge för en rysk invasion,­ och även för att den skulle vara just så stor som den nu visat sig vara. Precis vad de grundade denna förutsägelse på är förstås omöjligt att veta. En möjlig förklaring är helt enkelt att de har så bra källor nära den ryska statsledningen – vare sig det rör sig om människor eller signalspaning – att de verkligen visste vad som skulle ske. Men det är också möjligt att de i hemlighet anammat allt Mellon och Tetlock kommit fram till, och att CIA idag – i motsats till 2001 – är fyllt av ”superforecasters”.