Premiere Pro wird generative Video-KI in seinen Bearbeitungstisch integrieren

Premiere Pro wird generative Video-KI in seinen Bearbeitungstisch integrieren
Descriptive text here
-

Adobe wird Premiere Pro mithilfe seines Firefly-KI-Modells und anderer videogenerativer KI um Bildbearbeitungsfunktionen erweitern.

Derzeit wird keine Beta angeboten, aber diese neuen Funktionen werden später im Jahr in Premiere Pro verfügbar sein. Adobe wird seine generative KI Firefly nutzen, die bereits in der Fotobearbeitung zum Einsatz kommt, um Videosequenzen zu modifizieren. Der Demonstrationsclip zeigt mehrere Beispiele für Situationen, in denen die generative KI einen Fehler im Bild korrigiert oder neue erstellt, ohne dass die Kamera herausgeholt werden muss.

Mit ein paar Klicks und manchmal mit ein paar Aufforderungen, um zu erklären, was Sie wollen, kann Firefly ein Objekt durch ein anderes ersetzen, unnötige oder unansehnliche Elemente im Dekor löschen, einen Bezug zu einem Schauspieler hinzufügen oder eine neue Szenensequenz erstellen: eine Ansicht eines Panorama einer Stadt oder eine Autosequenz. Es kann auch erforderlich sein, eine Aufnahme zu verlängern, die zu kurz ausfällt, beispielsweise eine Nahaufnahme eines Gesichts.

Die in diesem Demo-Clip gezeigten Änderungen sind ziemlich überzeugend … wenn man sich nicht zu lange mit den Details beschäftigt. Das Löschen eines Netzteils und von Rohren an einer Wand hinterlässt Spuren des Radiergummis; das Gesicht, das erzeugt wurde, um eine Nahaufnahme der Schauspielerin zu ermöglichen, verrät eine Computerdarstellung; Die Anzeigen im Armaturenbrett des Autos weisen verzerrte Zahlen und Buchstaben usw. auf.

Bei einer Aufnahme eines Gesichts fehlten ein paar Sekunden, die KI generierte ein paar zusätzliche Bilder, die aber im Vergleich zur gefilmten Aufnahme, mit der Textur der Haut, sichtbar sind.
Um eine Übergangsszene hinzuzufügen, wurde eine Szene in einem Auto erstellt, die Texte im Armaturenbrett sind jedoch unverständlich.

Wir finden die üblichen Fehler dieser KI-Modelle und einige werden zweifellos reduziert. Einige der vorgeschlagenen Beispiele wurden mit Modellen von Drittanbietern wie Pika Labs, Runway und OpenAI durchgeführt, darunter das Sora-Modell, das uns bei der Präsentation vor einigen Wochen überraschte (auch es befindet sich mit all dem noch im Forschungsstadium). impliziert in Bezug auf Fehler und Schwächen).

Sora: Der Videogenerator von OpenAI wird später in diesem Jahr für die breite Öffentlichkeit verfügbar sein

Dies ist der andere Teil dieser Präsentation von Adobe. Premiere Pro wird in erster Linie Firefly, das hauseigene Modell, verwenden, aber der Editor testet die Integration anderer Modelle, um Editoren, die vielleicht lieber dieses oder jenes verwenden möchten, eine größere Auswahl zu bieten KI nach ihren Stärken.

Schließlich wird Adobe mithilfe seines digitalen „Provenienzetiketts“ ein digitales Siegel – Content Credentials – in diese Bilder integrieren, um klarzustellen, dass sie teilweise mit KI erstellt wurden.

Die generative KI von Firefly ist kostenlos in Adobe Express verfügbar

Firefly, die generative KI von Adobe, versteht jetzt Französisch

-

PREV WWDC 2024: Apple verschickt die ersten Einladungen in den Apple Park
NEXT Gears of War 6 könnte diesen Sommer enthüllt werden