Adobe wagt den Sprung in generative KI-Videos. Das seit Anfang des Jahres angepriesene Firefly-Videomodell des Unternehmens wird heute mit einer Handvoll neuer Tools auf den Markt gebracht, darunter einige direkt in Premiere Pro, mit denen Kreative Filmmaterial erweitern und Videos aus Standbildern und Textansagen erstellen können.
Das erste Tool – Generative Extend – startet in der Betaversion für Premiere Pro. Es kann verwendet werden, um das Ende oder den Anfang von Filmmaterial zu verlängern, das etwas zu kurz ist, oder um Anpassungen während der Aufnahme vorzunehmen, beispielsweise um verschobene Augenlinien oder unerwartete Bewegungen zu korrigieren.
Clips können nur um zwei Sekunden verlängert werden, daher eignet sich Generative Extend eigentlich nur für kleine Optimierungen, aber das könnte die Notwendigkeit ersetzen, Filmmaterial erneut aufzunehmen, um kleine Probleme zu beheben. Erweiterte Clips können entweder mit 720p oder 1080p bei 24 FPS generiert werden. Es kann auch bei Audio verwendet werden, um Bearbeitungen zu erleichtern, allerdings mit Einschränkungen. Es verlängert beispielsweise Soundeffekte und Umgebungs-„Raumtöne“ um bis zu zehn Sekunden, nicht jedoch gesprochene Dialoge oder Musik.
Zwei weitere Tools zur Videogenerierung werden im Internet eingeführt. Die Text-zu-Video- und Bild-zu-Video-Tools von Adobe, die erstmals im September angekündigt wurden, werden jetzt als begrenzte öffentliche Betaversion in der Firefly-Web-App eingeführt.
Text-to-Video funktioniert ähnlich wie andere Videogeneratoren wie Runway und Sora von OpenAI – Benutzer müssen lediglich eine Textbeschreibung für das eingeben, was sie generieren möchten. Es kann eine Vielzahl von Stilen wie normale „echte“ Filme, 3D-Animationen und Stop-Motion emulieren, und die generierten Clips können mithilfe einer Auswahl an „Kamerasteuerungen“, die Dinge wie Kamerawinkel, Bewegung und Aufnahmeentfernung simulieren, weiter verfeinert werden.
Image-to-Video geht noch einen Schritt weiter, indem es Benutzern ermöglicht, neben einer Textaufforderung auch ein Referenzbild hinzuzufügen, um eine bessere Kontrolle über die Ergebnisse zu erhalten. Adobe schlägt vor, damit B-Rolls aus Bildern und Fotos zu erstellen oder Neuaufnahmen durch Hochladen eines Standbilds aus einem vorhandenen Video zu visualisieren. Das Vorher-Nachher-Beispiel unten zeigt jedoch, dass dies nicht wirklich in der Lage ist, Neuaufnahmen direkt zu ersetzen, da in den Ergebnissen mehrere Fehler wie wackelnde Kabel und sich verschiebende Hintergründe sichtbar sind.
Auch Sie werden mit dieser Technologie in absehbarer Zeit keine ganzen Filme drehen können. Die maximale Länge von Text-to-Video- und Image-to-Video-Clips beträgt derzeit fünf Sekunden, die Qualität liegt bei 720p und 24 Bildern pro Sekunde. Im Vergleich dazu sagt OpenAI, dass Sora Videos mit einer Länge von bis zu einer Minute erzeugen kann, „unter Beibehaltung der visuellen Qualität und der Einhaltung der Benutzeranweisungen“ – aber das ist noch nicht für die Öffentlichkeit verfügbar, obwohl es Monate vor den Tools von Adobe angekündigt wurde.
Die Generierung von Text-zu-Video, Bild-zu-Video und Generative Extend dauert jeweils etwa 90 Sekunden, Adobe gibt jedoch an, an einem „Turbo-Modus“ zu arbeiten, um diese Zeit zu verkürzen. Und so eingeschränkt es auch sein mag, sagt Adobe, dass seine Tools, die auf seinem KI-Videomodell basieren, „kommerziell sicher“ sind, weil sie auf Inhalten basieren, die der Kreativsoftware-Riese verwenden durfte. Angesichts der Tatsache, dass Models von anderen Anbietern wie Runway unter die Lupe genommen werden, weil sie angeblich auf Tausenden von gescrapten YouTube-Videos trainiert wurden – oder im Fall von Meta vielleicht sogar auf Ihren persönlichen Videos – könnte die kommerzielle Rentabilität für einige Nutzer ein entscheidender Faktor sein.
Ein weiterer Vorteil besteht darin, dass Videos, die mit dem Firefly-Videomodell von Adobe erstellt oder bearbeitet wurden, mit Inhaltsanmeldeinformationen eingebettet werden können, um bei der Online-Veröffentlichung die KI-Nutzung und Eigentumsrechte offenzulegen. Es ist nicht klar, wann diese Tools die Betaversion verlassen werden, aber zumindest sind sie öffentlich verfügbar – was mehr ist, als wir von OpenAIs Sora, Metas Movie Gen und Googles Veo-Generatoren sagen können.
Die Einführung von KI-Videos wurde heute auf der MAX-Konferenz von Adobe bekannt gegeben, wo das Unternehmen auch eine Reihe weiterer KI-gestützter Funktionen in seinen Kreativ-Apps vorstellt.
