I 2022 var der mange forsøg med at skabe billeder ved hjælp af kunstig intelligens, også kendt som Artificial Intelligence eller AI.
I programmer som DALL·E 2 og Midjourney kan du indtaste, hvilket slags billede du ønsker dig, og så genererer den kunstige intelligens et unikt billede ud fra det.
Du kan for eksempel bede programmet skabe et billede af en fisk med solbriller eller en smuk skov.
Nu har japanske forskere anvendt samme type teknologi til at få AI til at genere billeder på basis af forsøgsdeltageres hjerneaktivitet, skriver tidsskriftet Science.
Den kunstige intelligens formåede stort set at genskabe, hvad hver forsøgsperson havde set, baseret på vedkommendes hjerneaktivitet.
Aflæsning af menneskers drømme og dyrs oplevelser?
Hvis denne teknologi bliver videreudviklet, vil det måske i fremtiden blive muligt at se, hvad folk drømmer, eller at undersøge, hvordan dyr opfatter verden, forudsiger forskerne.
Foreløbig er der dog flere begrænsninger. AI’en har brug for meget oplæring, som kræver brug af dyrt udstyr til at afbilde hjernen. Det pointeres i en artikel i New Scientist.
Indtil videre skal AI’en også tilpasses den enkelte person.
Studiet er foretaget af Yu Takagi og Shinji Nishimoto fra Osaka University i Japan.
Det er endnu ikke udgivet i et tidsskrift, men er forhåndspubliceret på sotet bioRxiv. Deres arbejde vil også blive præsenteret på en kommende konference.
Gik på toilettet og kiggede mig i spejlet
AI’en er oplært ud fra et allerede eksisterende datasæt. Fire forsøgspersoner gennemså 10.000 billeder af for eksempel landskaber, personer og objekter. Samtidig blev deres hjerneaktivitet målt med en såkaldt funktionel magnetisk resonans skanning (fMRI).
Denne teknik måler hjerneaktivitet på basis af blodgennemstrømning og iltforbrug i forskellige dele af hjernen.
Tusind af billedmotiverne i datasættet blev ikke vist til AI’en. I stedet blev de anvendt som en test.
I disse tilfælde fik AI’en kun lov til at se resultaterne af hjernemålingerne og skulle så tegne billeder på basis af målingerne.
Her lykkedes det AI’en at gengive billedernes komposition og forskellige elementer på en måde, så de til en vis grad matchede originalbillederne.
Yu Takagi blev selv forbløffet over resultaterne.
»Jeg kunne ikke tro mine egne øjne – jeg gik ud på toilettet og så mig selv i spejlet – og gik så tilbage til mit skrivebord for at kigge igen,« siger han til New Scientist.
Spændende
Morten Goodwin er professor ved Universitetet i Agder og vicedirektør for Centre for Artificial Intelligence Research samme sted.
»Jeg synes, det er en fantastisk spændende artikel. Det var overraskende, at det lykkedes for dem at få aflæst fMRI på den her måde. Men når jeg læser artiklen, så er det indlysende, at det er, hvad de har gjort.«
Goodwin siger, at dette resultat er et skridt hen imod tankelæsning. Men at der foreløbig er flere begrænsninger.
Begrænset til, hvad træningsdatasættet indeholder
Forsøget er kun foretaget på fire personer. Det er ikke sikkert, at det fungerer lige så godt med andre forsøgspersoner. Desuden kan AI’en kun tegne ting, som den har set i træningsdatasættet.
»Den er begrænset til de 10.000 billeder, som var med i forsøget. Det er ikke sådan, at den kan ’læse’ alt, hvad jeg tænker på.«
Goodwin tror imidlertid, at det er en midlertidig begrænsning.
»Vi så det samme med de første kreative algoritmer. De første kunne for eksempel kun tegne katte. Så begyndte de at kunne de tegne fugle og katte, og så videre.«
I dag kan de tegne så godt som alt.
Hvis AI’en fra det nye forsøg bliver trænet med mere og mere materiale, og databaserne med hjernedata bliver udvidet, kan det være, at den til sidst også kan tegne hvad som helst.
Fra abstrakt til genkendeligt
Det var nødvendigt at justere modellen, for at gøre AI’en i stand til skabe genkendelige genstande.
Ved kun at se på hjerneaktiviteten kunne AI’en fremstille billeder, som havde visse træk fra originalbilledet.
Hvis det var et landskab, kunne strukturerne i billedet for eksempel være på plads. Men resultatet var ofte abstrakt.
Hvis AI’en skulle skabe et billede af for eksempel et klokketårn og ikke bare en høj abstrakt figur, havde den brug for mere information.
Koblet til stikord
Forskerne lod også AI’en se på de stikord, som hørte til de originale billeder i datatestsættet.
Testbillederne med stikordet klokketårn resulterede måske i et særligt mønster i hjernemålingerne. Det kunne AI’en lære at genkende og finde i det hjernebillede, den skulle gengive, ifølge artiklen i Science.
Derefter kunne objektet klokketårn tegnes ind, mens kompositionen og linjerne i det nye billede blev bibeholdt.
At koge suppe
Forskerne anvendte en kunstig intelligens ved navn Stable Diffusion, som blev lanceret af selskabet Stability AI i 2022.
Det er en model, der kan generere billeder baseret på tekst, i lighed med for eksempel DALL·E 2.
I det nye forsøg er det imidlertid hjerneskanninger, der bruges som input i stedet for tekst.
Forenklet set fungerer tekst-til-billede-generatorer på den måde, at de får tilført en tekst og reducerer kvaliteten af den så drastisk, at den ikke længere er genkendelig, siger Goodwin:
»Men den er genkendelig for den kunstige intelligens.«
Herefter lærer den kunstige intelligens sig selv, hvordan den skal oversætte den diffuse tekst til et billede.
Goodwin sammenligner det med at lave suppe og koge den ind, indtil der bare er en grødagtig masse tilbage. Derefter kan du tilsætte vand, og så bliver det til en suppe igen.
Hvis teknologien videreudvikles, er mulighederne mange - men..
Goodwin forestiller sig, at denne teknologi kan have mange anvendelsesområder, hvis den kan videreudvikles. For eksempel til at få en bedre forståelse af, hvordan dyr ser verden:
»Det er svært at spørge en ko, hvad den tænker.«
Han nævner også muligheden for at registrere drømme, hjælpe folk, som har mistet taleevnen, og at den måske vil kunne bruges som en slags løgnedetektor.
Indtil videre har teknologien dog et smalt anvendelsesområde.
Modellen skal tilpasses det enkelte individ. Den kan fremstille billeder på baggrund af nogle få testpersoners omfattende hjernemålinger.
»Fordi hjernens form er forskellig fra individ til individ, kan man ikke direkte anvende en model, som er fremstillet til ét individ på et andet,« svarer forskerne på deres FAQ-side.
Der er imidlertid blevet foreslået flere metoder til at kompensere for disse forskelle, fortsætter de.
»Det vil være muligt at bruge sådanne metoder med henblik på at overføre modeller på tværs af individer med en vis grad af nøjagtighed.«
Man har også tidligere foretaget lignende studier, hvor AI genererer billeder ud fra hjernedata.
Den nye tilgang adskiller sig fra de tidligere forsøg ved at være mere effektiv, ikke have behov for yderligere finjustering og ved at anvende en mindre mængde træningsdata, fortæller Takagi til Science.
©Forskning.no. Oversat af Jørn Busch Olsen. Læs den oprindelige artikel her.
