Europejskie konsorcjum Acoustica pokazało Sonus‑1, model AI do klonowania głosu z bezprecedensową głębią emocji. Czy to rewolucja w dubbingu i koniec pracy lektorów?
W skrócie:
- Konsorcjum Acoustica zaprezentowało AI Sonus‑1, które generuje syntetyczne głosy z niespotykaną głębią emocjonalną, idealne do dubbingu filmowego.
- Technologia naśladuje nie tylko barwę głosu, ale też subtelne emocje, jak ironia czy smutek, analizując oryginalną ścieżkę dźwiękową i jej niuanse.
- Branża filmowa widzi w tym rewolucję, ale eksperci ostrzegają przed ryzykiem tworzenia „emocjonalnych deepfake’ów” i nowymi formami manipulacji.
Dotychczasowe generatory mowy miały jeden, dość poważny problem – brzmiały jak roboty. Nawet te najlepsze, które nauczyły się intonacji i akcentu, potykały się o coś, co dla człowieka jest naturalne jak oddychanie: o emocje. Potrafiły powiedzieć „kocham cię” z energią godną odczytu instrukcji obsługi pralki. Wszystko wskazuje na to, że ta epoka właśnie dobiegła końca. Europejskie konsorcjum badawcze Acoustica, zrzeszające naukowców z Niemiec, Francji i Polski, zaprezentowało model Sonus‑1. To system, który nie tylko klonuje głos, ale robi coś znacznie trudniejszego – klonuje uczucia w nim zawarte.
Demonstracja możliwości Sonus‑1 robi piorunujące wrażenie. W jednym z przykładów system wziął na warsztat kultową scenę z filmu, w której aktor z ledwo tłumionym gniewem wypowiada swoją kwestię. Następnie przetłumaczył ją na język japoński i niemiecki, zachowując nie tylko barwę głosu oryginalnego aktora, ale przede wszystkim cały ładunek emocjonalny – drżenie w głosie, cięższy oddech, niemal wyczuwalne napięcie. To już nie jest dubbing. To emocjonalna transplantacja.
Jak Sonus‑1 słyszy emocje, których inne AI nie dostrzegają?
Sekret tkwi w architekturze modelu. Zwykłe systemy typu text-to-speech (TTS) zamieniają tekst na dźwięk. Są jak aktor, który czyta scenariusz bez żadnych wskazówek reżysera. Sonus‑1 działa inaczej, w modelu, który jego twórcy nazywają “voice-to-voice emotional transfer”. Zamiast analizować sam tekst, system dogłębnie studiuje oryginalną ścieżkę audio. Bada prozodię – melodię, rytm i intonację mowy. Analizuje mikropauzy, zmiany tempa i natężenia dźwięku. Uczy się, jak brzmi ludzki smutek, ironia, radość czy gniew na poziomie czystej fali dźwiękowej.
„Nie uczymy go znaczenia słów, ale znaczenia dźwięków” – tłumaczył podczas prezentacji dr Klaus Richter, szef projektu. – „Nasz model rozumie, że westchnienie przed zdaniem może nieść więcej informacji niż samo zdanie. To pozwala na przeniesienie ‘duszy’ występu aktorskiego do dowolnego języka”.
Co więcej, Sonus‑1 potrafi oddzielić cechy samego głosu (barwę, wysokość) od cech emocjonalnych. Dzięki temu może nałożyć emocje jednego aktora na głos drugiego – albo stworzyć zupełnie nowy, syntetyczny głos, który będzie potrafił „zagrać” każdą emocję z biblioteki, której go nauczono. Możliwości wydają się nieograniczone.
Fabryka Snów liczy zyski, a lektorzy mogą pakować walizki?
Hollywood, rzecz jasna, już zaciera ręce. Wyobraźmy sobie globalną premierę filmu, w którym każdy widz na świecie, niezależnie od języka, słyszy kwestie wypowiadane głosem Toma Hanksa czy Margot Robbie, ale z idealnie zachowanymi emocjami oryginalnej roli. To oznacza gigantyczne oszczędności na procesie dubbingu, który jest nie tylko kosztowny, ale i czasochłonny. Przede wszystkim jednak zapewnia spójność artystyczną – koniec z sytuacjami, w których świetna rola aktorska jest „psuta” przez źle dobrany lub płaski głos lektora.
Jednak tam, gdzie jedni widzą rewolucję, inni dostrzegają zagrożenie. Tysiące aktorów głosowych na całym świecie mogą wkrótce stanąć przed widmem bezrobocia. Ich unikalny talent do interpretacji i gry głosem może zostać zastąpiony przez algorytm, który zrobi to taniej, szybciej i – co najgorsze – być może lepiej. Pojawiają się też pytania o prawa autorskie do głosu i jego emocjonalnego wzorca. Czy aktor będzie otrzymywał tantiemy za każde użycie swojego „emocjonalnego profilu”? Branża na razie milczy.
Czy otworzyliśmy puszkę Pandory z „emocjonalnym deepfake’em”?
Technologia, która potrafi tak wiarygodnie symulować ludzkie emocje w głosie, to potężne narzędzie. A jak wiemy, każde potężne narzędzie można wykorzystać w zły sposób. Eksperci ds. etyki AI biją na alarm. Mówimy tu o „emocjonalnych deepfake’ach” – fałszywych nagraniach audio, które będą niemal niemożliwe do odróżnienia od prawdziwych. Wyobraźmy sobie telefon od bliskiej osoby, której głos brzmi na autentycznie przerażony, a która prosi o natychmiastowy przelew. Albo nagranie polityka, który z pełnym przejęciem i łzami w oczach przyznaje się do czegoś, czego nigdy nie zrobił.
„Przekroczyliśmy kolejną granicę. Do tej pory deepfake’i były fałszywe, ale ‘płaskie’. Teraz mogą stać się narzędziem doskonałej manipulacji, grając na najbardziej podstawowych ludzkich uczuciach” – ostrzega prof. Eva Nowak z Instytutu Cyberbezpieczeństwa. Acoustica zapewnia, że pracuje nad systemami znakowania wodnego dla generowanych przez siebie treści, ale czy to wystarczy, by powstrzymać falę dezinformacji? Jedno jest pewne: wchodzimy w erę, w której nawet własnym uszom nie będziemy mogli do końca ufać.