Google-bolaget DeepMind har presenterat en ny AI-teknik som kan generera ljud, musik och till och med dialog automatiskt till videor. Den nya tekniken som går under namnet V2A (video-to-audio) ses som ett essentiellt verktyg inom det växande området för AI-genererade medier.
Medan vi tidigare sett AI-modeller som kan generera video från text finns det ett tomrum när det gäller att lägga till ljud till de genererade videorna. DeepMinds nya V2A-teknik kan ta en beskrivning av ett önskat ljud, till exempel "pulserande manetfiskar under vattnet, marint liv, havsljud", och para ihop den med en video för att skapa ett passande ljudspår med både musik och ljudeffekter. Remarkabelt nog kan tekniken även generera dialog som synkar perfekt med karaktärernas munrörelser och scenens stämning.
Den underliggande AI-modellen som driver V2A är en så kallad diffusionsmodell, tränad på en kombination av ljudklipp, dialogmanus och videosekvenser. Genom att exponeras för både ljud och video lär sig modellen att associera specifika ljudhändelser med visuella scener och synkronisera dessa.
Dock är det oklart exakt vilken typ av data som använts för att träna modellen, och om eventuellt upphovsrättsskyddade verk ingått utan tillstånd. Vi har kontaktat DeepMind för förtydligande men inte fått något svar ännu.
Det finns redan några konkurrerande verktyg på marknaden som kan generera ljud till videor, som Stabilitys ljudgenerator och ElevenLabs verktyg för ljudeffekter, men DeepMind hävdar att deras V2A är unik genom att den kan tolka råa bildpunkter i en video och synkronisera genererat ljud helt automatiskt.
Trots det erkänner DeepMind att deras första version har vissa brister, som sämre ljudkvalitet för videor med artefakter eller distorsion och en generell tendens att producera ganska stereotypiska och oproblematiska ljud. Av den anledningen, och av oro för eventuell olämplig användning, har DeepMind valt att inte släppa V2A publikt ännu utan kommer göra ytterligare testning och säkerhetsutredning först.
Tekniker som V2A ses som potentiellt användbara för arkivering av historiskt material, men riskerar också att kraftigt påverka de kreativa yrkena inom film och TV genom att delvis kunna automatisera ljudproduktion och till och med dialog. Starka arbetsregleringar kan komma att krävas för att skydda dessa branscher från en alltför snabb omvälvning.
DeepMind, ett av Googles AI-forskningsbolag, har skapat en ny teknik som kan lägga till ljud automatiskt till videor. Den här tekniken, som kallas V2A, kan skapa musikspår, ljudeffekter och till och med dialog som synkar perfekt med karaktärernas mun och scenens stämning.
V2A använder en typ av AI som kallas diffusionsmodell, tränad på både ljud- och videomaterial. Genom att exponeras för båda typerna av data lär sig AI-modellen att koppla samman visuella scener med specifika ljud, som att associera scener under vattnet med ljud av pulserande manetfiskar.
Det är en unik teknik som kan tolka rå videoinformation och lägga till ljud helt automatiskt, utan textbeskrivning. Andra liknande verktyg brukar behöva en mer detaljerad textprompt.
Tekniken är dock fortfarande i ett tidigt skede och DeepMind nämner vissa begränsningar, som sämre ljudkvalitet för videor med distorsioner och en tendens att skapa ganska basiska och stereotypa ljud. Av säkerhets- och etikskäl kommer de inte att släppa tekniken publikt ännu.
Om verktyg som V2A blir tillräckligt bra kan de potentiellt användas för att automatisera skapandet av ljudspår och dialog i filmer och TV-serier, vilket skulle kunna ha stor inverkan på de branscher och yrken som jobbar med just detta. Det återstår att se hur utvecklingen ska regleras för att inte påverka för snabbt.
DeepMinds V2A-teknik representerar ett betydande framsteg inom AI-genererat ljud och dialog för videor. Denna innovation öppnar upp för nya möjligheter inom kreativt skapande och innehållsproduktion. Här är några viktiga aspekter att överväga:
Till skillnad från många andra AI-verktyg för ljudgenerering, som ofta kräver detaljerade textbeskrivningar, kan V2A analysera videomaterial direkt och skapa passande ljud och dialog automatiskt. Detta gör processen mer strömlinjeformad och potentiellt mer intuitiv för användare.
Förutom filmproduktion och TV-serier, kan V2A potentiellt revolutionera områden som:
Medan V2A erbjuder spännande möjligheter, väcker det också viktiga frågor om upphovsrätt, autenticitet och potentiell missbruk. DeepMind arbetar aktivt med att adressera dessa frågor innan en eventuell offentlig lansering. Framtida versioner av V2A kan förväntas ha förbättrad ljudkvalitet, mer nyanserade och mindre stereotypiska ljudgenerationer, samt robustare säkerhetsmekanismer för att förhindra missbruk.
Sammantaget representerar DeepMinds V2A ett betydande steg framåt i utvecklingen av AI-genererat ljud och dialog. Dess potential att förändra kreativa branscher är omfattande, men kommer sannolikt att kräva noggrann reglering och etiska riktlinjer för att säkerställa en ansvarsfull implementering.
