Gadgetshowto
Med populariteten af så mange streamingplatforme bliver indholdet ret forskelligt og anderledes. Flere og flere mennesker ser fremmedsprogede shows som "Money Heist" og "Dark", da de er gode shows og er tilgængelige over hele verden. Nogle af os kan dog godt lide at se vores shows på et sprog, som vi forstår. Nogle gange er undertekster ikke nok. Når det er sagt, kan overspilning af udenlandske shows til et andet sprog blive tidskrævende og dyrt for produktionsvirksomheder. Dette er den primære årsag til, at mange shows ikke bliver døbt på fremmedsprog. Nå, Amazon-forskere kan have en løsning på dette problem.
I et papir, der blev offentliggjort på pre-print-serveren Arxiv.org, teoretiserede Amazon-forskere og testede en ny "tale-til-tale" -teknologi. Det bruger AI til at konvertere original tale til en oversat tale og forfine den oversatte tale for at gøre den mere menneskelig. Dette er kun et første skridt i retning af at udvikle en lettere og meget billigere måde at kopiere shows og film på.
Hvordan det virker
Denne "tale-til-tale" -teknologi er meget mere kompliceret, end den lyder. Det er en hektisk opgave at oversætte en original tale til en fremmed tale ved hjælp af computere. Det oversætter ikke et sprog til et andet bare fra lydressourcen, men der er flere trin involveret.
Den automatiserede dubbingsproces inkluderer i det væsentlige 3 trin. For det første skal den originale tale konverteres i et tekstformat. Det andet trin involverer oversættelse af teksten til det ønskede sprog. Endelig genererer den oversatte tekst den nye tale.
Nu er der komplikationer ved at udvikle den nye tale fra den oversatte tekst til tale. Den oversatte tale skal matche hastigheden og følelsen af den originale tale. Det skal også bære baggrundslyde og eliminere efterklang.
For at få denne komplicerede proces til at fungere bekræftede Amazon-forskere det deres tale-til-tale-teknologi er blevet trænet på mere end 150 millioner engelsk-italienske par af sætning for at bestemme hastigheden af et talesegment af den oversatte tale for at matche hastigheden af den originale tale. Dette trin sikrer pauserne og pauserne i den oversatte tale for at matche den originale tale.
En model i tekst-til-tale-fasen har trænet i 47 timers taleoptagelser. Denne model genererer en kontekstsekvens fra teksten, der føres ind i en foruddannet vocoder, der dækker sekvensen til en talebølgeform.
Denne teknologi er også i stand til at udtrække baggrundslyde fra den originale lyd og lægge den i den oversatte lyd for at gøre den mere lig den originale lyd. Endelig anvendes et separat trin kaldet efterklangstrinnet for at tilføje efterklang af den originale lyd til den oversatte.
Vil det være nyttigt?
Processen er helt sikkert en kompliceret, men forskere skrev, at deres fremtidige arbejde vil være dedikeret til forbedringerne af den automatiske dubbing. Det kan eliminere behovet for stemmeaktører til at kopiere et show eller en film til et andet sprog. Det bliver mindre tidskrævende og meget billigere at kopiere indhold til det ønskede sprog. Og ja, det vil gavne produktionshuse at levere flere shows og film til seerne ved at gøre listen meget mere forskelligartet.
