Det lyder mest som et trick fra 1980’ernes TV-serie om den opfindsomme actionhelt MacGyver. Men det er altså ikke et påfund fra den fiktive verden:
Forskere fra Massachusetts Institute of Technology, MIT, har i samarbejde med Microsoft Research og Adobe udviklet en algoritme, de kalder ’Den visuelle mikrofon’. Den gør det muligt at lytte til andres samtaler, udelukkende ved at analysere videomontager af vibrerende objekter.
Projektet, som forskerne kalder ‘The Visual Microphone: Passive Recovery of Sound from Video’ er blevet publiceret i tidsskriftet ACM Transactions on Graphics.
I forsøget, som du kan se i videoen i denne artikel, benyttede forskerne sig blandt andet af vibrationerne fra en chipspose, planteblade og høretelefoner, der lå på et bord, til at afkode lyden fra en person, som sang sangen ’Mary had a little lamb’.
Forskerne optog blandt andet chipsposens vibrationer i en afstand på 15 meter bag et lydisoleret glas, og det med stor succes.
Højhastighedskameraer fanger usynlige vibrationer
Det kan måske være svært at forstå, hvordan man kan rekonstruere lyd ud fra videooptagelser. Forskningsleder og kandidatstuderende Abe Davis fra MIT forklarer:
»Når en lyd rammer et objekt, begynder objektet at vibrere. Denne vibrerende bevægelse skaber et lille subtilt visuelt signal, som normalt er usynligt for det blotte øje. Disse informationer har vi ikke før vidst eksisterede,« udtaler Abe Davis i en pressemeddelelse fra MIT.
Forskerne benyttede sig i de fleste tilfælde af et højshastighedskameraer til at optage vibrationerne fra objekterne. I sådanne kameraer bør antallet af billeder pr. sekund, Frames Per Second (FPS), være højere end frekvensen på lydsignalet.
Kameraene, som forskerne anvendte i forsøget, kunne optage 2.000-6.000 FPS. Til sammenligning optager de fleste smartphones omkring 60 FPS.
Skal forbedre opklaring af forbrydelser
Den nye teknologi skal blandt andet bruges inden for efterforskningsverdenen, hvor optagelsesudstyr og aflytninger allerede benyttes. Men forskningsleder Abe Davis har også andre idéer til, hvad algoritmen kan benyttes til:
»Med den nye teknologi rekonstruerer vi lyden, der rammer objekterne. Men det giver os også en masse informationer om selve objekterne, fordi de forskellige objekter reagerer ikke ens, når lyden rammer dem,« siger han ifølge RT.
Ifølge Abe Davis kan den viden bruges til at gøre forskerne klogere på, hvilken betydning objektets struktur og form har for, hvordan lyden rammer objektet.
