Beim Rohschnitt Anfang November ist mir etwas aufgefallen, das man nicht mehr wegsehen kann, wenn man es einmal gesehen hat: Die Lippen in den Gesangs-Shots passen nicht richtig. Teilweise singt sogar der, der gerade gar nicht dran ist. Also: zweiter Anlauf.
Woran es lag
Der wahrscheinliche Grund ist ziemlich banal. In den Solo-Shots hat das Modell auch die Stimme des anderen Sängers gehört und brav dazu die Lippen bewegt. Die KI weiß ja nicht, wer gemeint ist, sie hört nur „da wird gesungen“.
Deshalb bekommt das Modell jetzt nur noch die reine Gesangsspur. Fremde Stimmen und Echos habe ich in elf Ausschnitten stummgeschaltet. Die Einsätze sind Wort für Wort neu gemessen, und alle 20 Szenenbeschreibungen haben einen eigenen Abschnitt zu den Mundformen bekommen: Lippen zu bei M, B und P, weit offen bei A und O, völlig ruhig in den Pausen. Klingt wie Logopädie für Pixel, ist es auch.
Zwei Rechner, 56 Versuche
Jeder Shot läuft wieder mit vier Versuchen durch. Neu ist, dass zum ersten Mal auf zwei Rechnern gerendert wurde: S07, S10 und S12 auf meinem eigenen PC unter CachyOS mit einer freigeschalteten RTX 3060 Ti, alles ab S15 bei Ascot Media unter Windows 11 mit einer RTX 5070 Ti (16 GB), für die es keine Freischaltung gibt.
Die neue Karte ist trotzdem etwas schneller: im Median rund 7:00 Minuten pro Clip gegenüber 7:44 Minuten auf der 3060 Ti. Der erste Versuch jedes Shots dauert immer am längsten, zwischen 8:47 und 11:20 Minuten, weil dabei erst die Modelle geladen werden. Bei S12 brach ein Durchlauf ab. Unterm Strich: 56 Versuche in gut sieben Stunden Renderzeit.
Abnahme mit Prüfbogen
Damit ich nicht jeden Clip zwanzigmal in Zeitlupe anschauen muss, gibt es pro Shot einen Prüfbogen: das Gesicht alle 0,2 bis 0,3 Sekunden, darüber die gesungenen Wörter und die Gesangsspur. So sieht man auf einen Blick, ob der Mund in den Pausen zu ist und ob der Richtige singt. Ob die Lippen silbengenau sitzen, muss ich trotzdem einmal mit Ton prüfen.
Das Ergebnis ist deutlich besser als im ersten Anlauf. In den Pausen bleibt der Mund fast überall zu, und in den Duetten singt nur noch, wer dran ist. 13 Shots sind abgenommen.
S07, erster gemeinsamer Auftritt (Version 4): Keks bleibt bei Krümmels „Ein Tier“ ruhig und singt danach sauber.
S22, Chorus (Version 4): Der Wechsel Keks, Krümmel, Keks klappt, und wer nicht singt, hält den Mund zu.
Was noch hakt
Drei Schwächen sind geblieben:
- S36: Das lange „vertrauen“ hält keine der vier Versionen durch. Keks schließt den Mund ab etwa 3,2 Sekunden, obwohl der Ton noch klingt. Version 1 hält am längsten.
- S18: Das gehaltene „kalt“ endet in allen Versionen etwas zu früh.
- S19: In der Totale sind die Gesichter zu klein und zu ungenau. Der Shot ist verworfen.
S36 (Version 1): Kopf hebt sich, aber beim langen „vertrauen“ macht der Mund zu früh zu.
S18 und S36 sind für den Moment okay. Endgültig entscheide ich im Schnitt.
Wie es weitergeht
Bei den Solo-Shots hat der zweite Anlauf funktioniert, bei den Duetten hapert es noch an den Gesichtern. Sind Keks und Krümmel klein im Bild, werden ihre Gesichter unscharf und verlieren die Ähnlichkeit. Für alle sechs Shots, in denen beide zu sehen sind (S07, S19, S22, S37, S40, S45), gibt es deshalb neue Szenenbeschreibungen. Zusätzlich zum Startbild bekommt das Modell jetzt die Porträts der beiden Sänger als Referenz, damit es weiß, wie die Gesichter aus der Nähe aussehen.
Die drei offenen Solo-Shots S42, S47 und S48 habe ich nach den Erfahrungen aus der Abnahme nachgeschärft: Bei lang gehaltenen Wörtern soll der Mund offen bleiben, bis der Ton endet, und bei traurigen Zeilen soll niemand lächeln. Klingt selbstverständlich. Ist es für eine Video-KI offenbar nicht.
Noch zu rendern sind S19 (neu), S37, S40 und S45 als Duette sowie S42, S47 und S48 solo. Danach geht es in den Feinschnitt.
Alle Clips, Prüfzeiten und das komplette Tagebuch gibt es wie immer auf der Projektseite.
Diesen Beitrag gibt es auch auf Englisch.