Kunstig Intelligens og Dota 2

De siste årene har kunstig intelligens beseiret verdens beste gamere. I den forbindelse dykker vi ned i dens rolle ved gaming. På engelsk kalles kunstig intelligens for artificial intelligence, og derfor bruker vi AI og kunstig intelligens (KI) synonymt i dette blogginnlegget.

Hva er AI og hvor langt er det egentlig fra digitale assistenter som Siri og Alexa til tidsreisende morderroboter med titanskjeletter?

Hva er AI / kunstig intelligens?

AI betegner at en datamaskin prøver å etterligne hjernens måter å tenke på. Det kan for eksempel være når Spotify anbefaler sanger ut fra hva du ellers lytter til når datamaskinen styrer motstanderne dine i dataspill, eller når en selvkjørende bil skal identifisere gjenstander i den virkelige verdenen.

I grove trekk kan AI deles inn i fire kategorier: Reactive machines, Limited memory, Theory of mind og Self-awareness. Denne inndelingen er i kronologisk rekkefølge, så førstnevnte er altså den originale og enkleste typen AI, og de to siste finnes mer eller mindre bare i teorien.

Reactive machines utvikles til spesifikke formål, som til å spille sjakk. I dette tilfellet er den programmert til å kjenne spillets regler, og den analyserer sine muligheter ut fra hvor brikkene står. Den husker ikke sine forrige spill, så den utvikler ikke seg selv.

Dens etterfølger, Limited memory, er mye mer avansert i den forstand at den lagrer erfaringene sine og handler ut fra tidligere resultater. Stort sett all AI vi benytter oss av i dag hører innunder denne kategorien, selv om det kan være enorm forskjell i potensialet. En selvkjørende bil bruker for eksempel informasjon fra den nærmeste fortiden. Mennesker har (interessant nok ved hjelp av AI) programmert bilens forståelse av hvordan et lyssignal ser ut, at den skal stoppe for rødt lys osv. Men selve bilens AI overvåker bare de siste få sekundene med informasjon, slik at den kan analysere hastigheten og retningen til de andre bilene og unngå kollisjoner. En person som har kjørt bil i årevis har altså en slags erfaring som en selvkjørende bil ikke har.

Hvem utvikler AI?

Tanken om kunstig intelligens – altså å etterligne menneskets tankemønstre på mekanisk vis – kan spores helt tilbake til gresk og egyptisk mytologi, og mange store tenkere har gjennom tidene skrevet om emnet. Blant annet luftet den franske filosofen og matematikeren René Descartes ideen om at dyr bare var komplekse maskiner, og den engelske filosofen Thomas Hobbes anses av noen historikere for en av AI-ens profeter pga. hans banebrytende bok Leviathan fra 1651.

Men nok om det. Vi hopper frem i tiden til noe mer konkret. I 1951 ble de første funksjonelle AI-programmene skrevet på University of Manchester. De kunne spille sjakk og dam. Deretter skjedde det enorme hopp hist og her, og forskningen innen AI har flere ganger tatt store hopp etterfulgt av lange perioder med stillstand.

Vi hopper til 2010, da selskapet DeepMind Technologies ble grunnlagt. Firmaet hadde skapt et såkalt artificial nevrological network som lærte seg selv å spille tradisjonelle spill på PC-en. I 2014 ble selskapet kjøpt opp av Alphabet Inc, som bl.a. eier Google, for 500 millioner amerikanske dollar.

I 2016 fikk en av DeepMinds intelligenser, AlphaGo, mye omtale da det ble lansert en dokumentar der den vant en BO5 (best av 5) over verdensmesteren i Go – et populært kinesisk brettspill. På samme måte har intelligensen AlphaZero vunnet over de sterkeste AIs i Go, sjakk og shogi (japansk sjakk) etter at den øvde mot seg selv i et par dager.

AI og Dota 2

Firmaet OpenAI har imidlertid skapt de største overskriftene innen gaming ettersom de jobber med mye mer kompliserte spill.

Eieren av Tesla og SpaceX, Elon Musk, var en av grunnleggerne som i 2015 til sammen la én milliard amerikanske dollar i potten til OpenAI. Firmaet har skapt en selvlærende kunstig intelligens som raskt lærte å ydmyke profesjonelle Dota 2-spillere. Senere i 2019 investerte Microsoft også én milliard amerikanske dollar.

Dota 2-algoritmen (AI-en) heter OpenAI Five. I denne artikkelen kalles den heretter OA5. OA5 trenes opp med metoden reinforcement learning, som er en av mange metoder som brukes til å trene opp kunstig intelligens. AI-enheten styres av uavhengige nevrale nettverk (kalte agenter), men deler den lagrede erfaringen. Metoden er trial-and-error, dvs. den prøver seg frem, og det er umiddelbart ikke særlig effektivt.

Effektivitet er likevel underordnet når vi tar i betraktning at den øver seg i et tempo som overgår hva virkelighetens verden tillater. Hver dag spiller hver agent nemlig med seg selv i en stund som tilsvarer 180 år. Spiller man mot 5 agenter på en gang, spiller man altså mot et lag som sammenlagt har øvd seg i nesten tusen år om dagen. Til å kjøre alle disse simuleringene bruker OA5 256 GPU-er og 128 000 CPU-er. OpenAIs fremgangsmåte er ikke nyskapende, men selve skaleringen og systematiseringen er banebrytende.

OA5 lærer ikke spillets regler, men dens ingeniører hjelper den på vei ved å belønne den for å gjennomføre bestemte oppgaver. Den vet altså at det endelige målet er å vinne spill, og for å øke sjansene for suksess er delmålet å få kills/assists og vinne spill – og at den forverrer sjansene for suksess når den selv dør.

Men hvordan vinner man over en kunstig intelligens som tolker spillets data på en helt annen måte enn menneskers? En algoritme som konstant beregner sannsynligheter ut fra omtrent 20 000 inndata og hvert øyeblikk tar en av flere tusen mulige beslutninger.

Hvordan beseirer man en digital intelligens som er usammenlignbar i sin utførelse (altså sin hastighet og presisjon)? En algoritme som ikke skal gjette seg til hvor langt borte motstanderen er helt nøyaktig, hvor mye denne har igjen i liv (fremfor å se en health bar og gjette) og hvor mye skade den helt nøyaktig kan gi fordi den umiddelbart regner ut hvor mange prosent motstanderens rustning reduserer skaden med.

Da profesjonelle Dota 2-spillere først møtte OA5 i august 2017, ble de rett og slett utslettet. Formatet var ikke som et ordentlig spill, det var 1 mot 1, og det var mange restriksjoner som menneskene også aksepterte. Dota 2s toppspillere ga seg deretter i kamp mot OA5 gjennom flere tusen spill, og etter en måneds tid ble spilleren Black den første til å vinne en 1 mot 1 over algoritmen – en stor seier for menneskeheten.

OA5 vendte likevel tilbake i 2018 med 8 x regnekraft, og var nå i stand til å spille 5 mot 5-kamper – men fortsatt med begrensninger i spillereglene. Surprise, surprise! Selv de beste spillerne hadde ikke en sjanse ... Helt til de lærte å sette seg inn i algoritmens «tankegang». Team Secret vant i august, og paiN Gaming vant over den i The International 8 (verdensmesterskapene i Dota 2).

Historien gjentok seg likevel, og OpenAI økte atter regnekraften markant – og profesjonelle lag ble igjen fullstendig destruert. I 2019 vant OA5 to ganger på rad mot OG Esports – laget som vant The International samme år og året etter. På slutten av 2019 kunne OpenAI fortelle at de har trent en ny agent som har vunnet over 98 % av spillene sine mot den eldre iterasjonen.

Hvordan beseiret vi OA5?

Selv om OA5 kom sterkt tilbake, kunne vi i en kort periode feire at mennesket var klokere enn maskinen. Hvis vi skal komme dit igjen, må vi se nærmere på hvordan vi lyktes i første omgang.

OA5s kalkulerte spillestil er også akilleshælen. På grunn av spillets natur blir det vanskeligere å gjøre comeback når man ligger etter, ettersom motstanderne har flere ressurser til å gjøre seg selv sterkere. AI-en tenker ikke langt frem, og den har lært (fra seg selv) at den har størst sjanse til å vinne spill som varer i 10–20 minutter. I kamper med ekte mennesker på begge lag varer en kamp som oftest i over 30 minutter, og en lang kamp kan fint vare i over en time.

Så hvis menneskene klarer å komme foran tidlig er de godt på vei, for AI-en gjør rett og slett ikke de risikable trekkene som skal til for å snu slagets gang. Den holder seg til taktikker som rent statistisk viser overveldende suksess i sitt eget arkiv. OA5, slik den er i dag, ville aldri våget å gå for plays som det legendariske 6 million dollar echo slam dunk alle engasjerte Dota 2-spillere kjenner til. Man må imidlertid anta at den vil lære med tiden når den må ta større sjanser.

Apropos akilleshæler så er mennesker vant til å slappe av et øyeblikk når de akkurat har vunnet en skirmish (en liten kamp i den større kampen). Her straffer OpenAI dem gang på gang ved å gjemme seg i nærheten i stedet for å flykte hjem for å få fullt liv og mana.

AI-en er altså unektelig bedre enn de aller beste spillerne når det gjelder utførelse, men vi mennesker kan vinne ved hjelp av strategi. Det er standardprosedyren i MOBA-spill som Dota 2 at man velger ut en spiller til å være carry – navngitt slik fordi denne spilleren skal bære laget til seieren. Denne rollens oppgave er å tjene gull, få levels og unngå å dø. I ekstremt grove trekk handler spillet om hvilket lag som best kan beskytte sin carry og forhindre motstanderlagets carry i å bli sterkere, for når kampen når late game, så er spillet til en viss grad en 1 mot 1 mellom de to carryes.

Hva har OpenAI lært oss?

For mange mennesker høres det dumt å bruke så mange ressurser til å gjøre en datamaskin god til å spille et dataspill, men OpenAIs visjon er faktisk større enn Dota 2. Det har faktisk aldri egentlig handlet om Dota 2. OpenAI har benyttet seg av at spillet er et av de mest kompliserte som finnes – med over 100 forskjellige karakterer å velge mellom, som hver har forskjellige egenskaper, samt et utall av andre variabler som gjør kombinasjonsmulighetene astronomiske.

OpenAI utforsker hvordan en algoritme kan lære å ta øyeblikkelige beslutninger i uforutsigbare omgivelser for å nå målet på best mulig måte. Den bakenforliggende tankegangen er at utviklingen av den kunstige intelligensen med tiden kan overføres til den virkelige verdenen der mulighetene stort sett er uendelige.

Dette er bare begynnelsen.

Her er en kort video fra OpenAI selv. Den er fra 2018, så det har skjedd mye siden da.