Erste Testungen: Adobe Firefly Video Model und Sora

Testphase: Visuelle und animierte Elemente mit KI gestalten

Um herauszufinden, wie präzise und leistungsfähig aktuelle KI-Tools im kreativen Gestaltungsprozess sind, habe ich zwei vielversprechende Anwendungen getestet: das Adobe Firefly Video Model sowie Sora von OpenAI. Beide kamen im Rahmen der Entwicklung eines Plakats für eine Veranstaltungsreihe zum Einsatz – mit dem Ziel, sowohl ein visuell ansprechendes Grundmotiv als auch eine subtile, animierte Variante zu erzeugen.

Ausgangslage
Für das statische Design des Plakats wurde zunächst die generative KI in Adobe Photoshop genutzt. Ziel war es, ein Hintergrundmuster zu erstellen, das sich stilistisch harmonisch in die Serie der bereits bestehenden Plakate einfügt. Dabei war wichtig, dass das visuelle Erscheinungsbild – insbesondere die Farbwelt und grafische Struktur – konsistent bleibt, aber dennoch ein eigenständiges Muster aufweist.

Der verwendete Prompt in Photoshop lautete:
„blaue Farben, feine Linien, Stil ähnlich, aber anderes Muster“

Nach einigen Variationen und Anpassungen wurde ein Ergebnis generiert, das sowohl ästhetisch als auch kontextuell gut zum bestehenden Designkonzept passt.

Im nächsten Schritt ging es darum, das statische Motiv dezent zu animieren, um für Social Media eine lebendige, aber nicht aufdringliche Version zu erzeugen. Der Fokus lag auf einer subtilen Bewegung der Linienstruktur, die dem Plakat eine zusätzliche visuelle Tiefe verleihen sollte, ohne den Charakter der Gestaltung zu verändern.

Zur Umsetzung dieser Animation wurden zwei KI-Video-Tools getestet:

  • Adobe Firefly Video Model
  • Sora von OpenAI

In den folgenden Abschnitten werden die jeweilige Vorgehensweise, die generierten Ergebnisse sowie der direkte Vergleich der Tools erläutert.

Adobe Firefly Video Model:

Hier kam das „Bild-zu-Video“-Tool zum Einsatz. Das Hintergrund Bild wurde als Frame hochgeladen, das Videoformat auch Hochformat 9:16 gestellt. Bei Kamera und Kamerabewegung wurde keine Auswahl getroffen. 

Der Prompt lautete: very slow movement; flowy liquid; lines glow in the dark; move very slow; slimy; flowy, liquid close up

Das erste generierte Ergebnis:

  • An sich tolles Ergebnis
  • Linien bewegen sich relativ schnell aber kontinuierlich
  • Lichtpunkte in den Linien nicht ganz optimal
  •  Fällt zum Schluss in der rechten unteren Ecke sehr ab

Da ich noch nicht zu 100% happy war, generierte ich mit den gleichen Einstellungen und dem identen Prompt eine weitere Version, die schlussendlich die finale Fassung des Plakats wurde:

  • Dynamisches Movement, ohne dass ein Teil „wegfällt“
  • Linien leuchten in sich und nicht nur an gewissen punkten
  • Sehr zufrieden mit dem Ergebnis

An sich war ich an diesem Punkt sehr zufrieden, aber dennoch wäre es aus Sicht der Designer:in gut gewesen, noch eine Version, auch eventuell in einem anderen Stil und anderem Movement auszuprobieren. Doch nach dem zweiten Video war leider die Obergrenze der gratis Videos erreicht. 

Pro:
+ schönes Movement
+ auf Anhieb gute Versionen, die dem Visuellen Anspruch gerecht wurden 
+ sehr einfach Anwendung

Con:
– auf 5 Sekunden limitiert, stellt schon eine große Schwierigkeit in der Verwendung des Videos dar
– die Qualität war nicht zu 100% überzeugend
– leider nach 2 Versionen gratis Versuche aus, keine Möglichkeit außer eines Abo-Abschlusses

Sora by OpenAI

Aufgrund meines ChatGPTs Abos war es mir möglich als zweite Version ein KI-Video von Sora generieren zu lassen. Ebenfalls kam das “Bild-zu-Video”-Tool zum Einsatz. Das Hintergrund Bild wurde als Frame hochgeladen, das Videoformat auf 1:1, 480p, auf 5 Sekunden und auf eine Version gestellt. Hier wäre es an sich möglich, die Dauer des Clips auf 10 Sekunden zu erhöhen, um aber vor allem bei den ersten Versuchen nicht zu viele Credits zu verbrauchen, wählte ich hier ebenfalls die 5 Sekunden. Ebenfalls gibt es in Sora die Möglichkeit ein Storyboard hochzuladen. Generell sind die Möglichkeiten bei diesem Tool großer als bei Adobe Firefly.

Der Prompt lautete gleich wie bei Adobe FireFly: very slow movement; flowy liquid; lines glow in the dark; move very slow; slimy; flowy, liquid close up

Das Ergebnis:

An auch ein sehr großartiges Ergebnis, mit vielen Möglichkeiten, um nachzuschärfen und genau das zu erreichen, das man möchte. Dieses Video „kostete“ 20 Credits.

Pro:
+ länger als 5 Sekunden möglich
+ viele Möglichkeiten der Bearbeitung wie z.B. Remix, Blend oder Loop (siehe Bild)


Con:
– optisch nicht ganz so akkurat wie Adobe Firefly, wirkt so als würde Sora ein eigenes Muster erschaffen und nicht direkt mit dem Bild, das hochgeladen wurde arbeiten (würde sich aber auf jeden Fall durch weiter Prompts und Schleifen ändern und präzisieren lassen)

Fazit:

Sowohl Adobe Firefly als auch Sora von OpenAI haben in meinen Tests visuell beeindruckende Ergebnisse geliefert. Die generierten Inhalte überzeugen durch eine bemerkenswerte Bildqualität, kreative Umsetzung und überraschend hohe Präzision in der Darstellung der Texteingaben.

Wie bereits zuvor erwähnt, bringen beide Tools jeweils ihre individuellen Stärken und Schwächen mit. Insgesamt bieten beide Plattformen spannende Möglichkeiten im Bereich der KI-gestützten Visualisierung. Eine endgültige Bewertung hängt daher stark vom jeweiligen Anwendungsfall und den individuellen Anforderungen ab. In diesem Fall fiel die Wahl auf das Video von Adobe Firefly weil das Ergebnis besser zur Stimmung und Anwendungsfall passt. Dennoch war ich sehr positiv von Sora begeistert und würde für die nächsten KI-Videos definitiv darauf zurückgreifen.

Vergleich verschiedener KI-Video-Tools

Im ersten Schritt meiner Recherche zu KI und KI-gestützten Video-Tools habe ich mir einen umfassenden Überblick über die gängigen Anbieter verschafft und die verschiedenen Tools einem ersten Test unterzogen.

Nachfolgend findest du eine detaillierte Auflistung der wichtigsten Funktionen, Preisstrukturen sowie meiner persönlichen Erfahrungen mit den jeweiligen Tools. Abschließend ziehe ich ein Fazit, welches meine bisherigen Erkenntnisse zusammenfasst und eine erste Einschätzung zu den besten Anwendungen für unterschiedliche Anforderungen gibt.

Adobe Firefly Video Model

Adobe Firefly Video Model richtet sich primär an professionelle Anwender aus der Film- und Medienbranche, die hochwertige KI-generierte Clips benötigen. Die Integration in Adobe Premiere Pro macht es besonders attraktiv für bestehende Adobe-Nutzer. In der Anwendung überzeugt Firefly mit einer hohen Qualität der generierten 5-Sekunden-Clips, jedoch sind die aktuellen Funktionen im Vergleich zu anderen KI-Video-Tools noch recht limitiert.

Hauptfunktionen:

  • Generierung von 5-Sekunden-Clips in 1080p​
  • Integration in Adobe Premiere Pro​
  • Fokus auf Qualität und realistische Darstellung​

Preismodell:

Gratis/in der Creative Cloud enthalten: 1.000 Generative Credits für Bild- und Vektorgrafik-Standardfunktionen wie „Text zu Bild“ und „Generatives Füllen“+ 2 KI-Videos

  • Basis: 11,08€ pro Monat für 20 Clips​ à 5 Sekunden
  • Erweitert: 33,26€ pro Monat für 70 Clips​ à 5 Sekunden
  • Premium: Preis auf Anfrage für Studios und hohe Volumen

Fazit:

+ Funktioniert an sich sehr gut, einfaches und logisches Interface, generierte Videos sehr gut (mehr dazu im 2. Blogpost „erste Anwendung“), 

+ unter Bewegungen hat man eine Auswahl an den gängigsten Kamerabewegungen wie (Zoom in/out, Schwenk links/rechts/oben/unten, statisch oder Handheld)

– leider nur 2 Probevideos möglich, auf 5 Sekunden begrenzt

–> werde für das Projekt eventuell für 1-2 Monate Adobe Firefly Standard kaufen (je nach Intensivität der Nutzung und Länge des Endprodukts vllt sogar die Erweiterte Version)

(Quelle: https://firefly.adobe.com/?media=video )

RunwayML

RunwayML ist eine vielseitige KI-Plattform, die sich auf die Erstellung und Bearbeitung von Videos spezialisiert hat. Mit einer benutzerfreundlichen Oberfläche ermöglicht sie es, Videos aus Texten, Bildern oder Videoclips zu generieren. Besonders hervorzuheben ist die Text-zu-Video-Funktion, die es ermöglicht, aus einfachen Texteingaben realistische Videosequenzen zu erstellen. Zudem bietet RunwayML die Möglichkeit, erstellte Videos direkt zu exportieren, was den Workflow erheblich erleichtert.​

Preismodelle:

  • Basic: Kostenlos, 125 einmalige Credits, bis zu 3 Videoprojekte, 5 GB Speicher.
  • Standard: $15 pro Benutzer/Monat (monatliche Abrechnung), 625 Credits/Monat, unbegrenzte Videoprojekte, 100 GB Speicher.​
  • Pro: $35 pro Benutzer/Monat (monatliche Abrechnung), 2250 Credits/Monat, erweiterte Funktionen, 500 GB Speicher.​
  • Unlimited: $95 pro Benutzer/Monat (monatliche Abrechnung), unbegrenzte Videogenerierungen, alle Funktionen enthalten.​
  • Quelle: https://runwayml.com/pricing

Aber auch die Möglichkeit „Runway for Educators“. Kann man sich anmelden, werde ich definitiv versuchen (man bekommt einmal 5.000 Credits)

Side note: Runway is incorporated into the design and filmmaking curriculums at UCLA, NYU, RISD, Harvard and countless other universities around the world. Request discounted resources to support your students.

Fazit: sieht an sich sehr vielversprechend aus, werde ich defintiv noch genauer testen,

werde eine Anfrage für Runway for Educators stellen

–> ebenfalls eine Überlegung wert ein Abo abzuschließen für den Zeitraum des Projekts, wird aber je nach Anwendung und nach Ergebnissen noch entschieden

(Quelle: https://runwayml.com )

Midjourney

Midjourney ist ein KI-gestützter Bildgenerator, der durch die Eingabe von Textbeschreibungen hochwertige und künstlerische Bilder erzeugt. Die Plattform ist bekannt für ihre Fähigkeit, lebendige und detaillierte Bilder zu erstellen, die den Nutzervorgaben entsprechen. Allerdings liegt der Fokus von Midjourney hauptsächlich auf der Bildgenerierung, und es bietet keine dedizierten Text-zu-Video-Funktionen.​

Preismodelle:

  • Basis: $10 pro Monat, begrenzte Nutzung.​
  • Standard: $30 pro Monat, erweiterte Nutzung.​
  • Pro: $60 pro Monat, unbegrenzte Nutzung.​

Fazit:

Kann allerdings gut mit den anderen beiden KI-Tools kombiniert werden, z.B. Bilderstellung mit Midjourney und „Animation/Bewegung“ in den anderen Programmen

+ an sich ein tolles KI-Tool, vor allem das feature, dass 4 Bilder generiert werden und man sich mit den Verweisen auf die Bilder beziehen kann, liefert tolle Ergebnisse

– an sich „komplizierter“ als andere KI-Tools dadurch, dass eine „gewisse Sprache“ bei den Prompts verwendet werden muss, macht aber sobald man es einmal verstanden hat keine großen Unterschied

(Quelle: https://www.midjourney.com/home https://www.victoriaweber.de/blog/midjourney )

Sora

Sora ist ein von OpenAI entwickeltes KI-Modell, das es ermöglicht, realistische Videos basierend auf Texteingaben zu erstellen.

–  Text-zu-Video-Generierung: Sora kann kurze Videoclips von bis zu 20 Sekunden Länge in verschiedenen Seitenverhältnissen (Querformat, Hochformat, quadratisch) erstellen. Nutzer können durch Texteingaben Szenen beschreiben, die dann von der KI in bewegte Bilder umgesetzt werden. ​OpenAI

–  Remix: Mit dieser Funktion können Elemente in bestehenden Videos ersetzt, entfernt oder neu interpretiert werden, um kreative Anpassungen vorzunehmen. ​

–  Re-Cut: Sora ermöglicht es, Videos neu zu schneiden und zu arrangieren, um alternative Versionen oder verbesserte Sequenzen zu erstellen. ​

Preismodell:

– Plus:
20$/Monat
includes the ability to explore your creativity through video
Up to 50 videos (1.000 credits)
Limited relaxed videos
Up to 720p resolution and 10s duration videos

– Pro
200$/Monat
includes unlimited generations and the highest resolution for high volume workflows
Up to 500 videos (10.000 credits)
Unlimited relaxed videos
Up to 1080p resolution and 20s duration videos

Fazit:

+ tolles Tool, intuitiveres Interface, vor allem sehr attraktiv, da ich bereits ein ChatGPT Plus Abo haben und im Vergleich zu Adobe kein zusätzliches Abo für die Grundfunktionen notwendig ist

+ ebenfalls inspirierend ist die Startseite, auf der viel Inspo und andere Videos zu sehen sind. Keines der anderes Tools war so aufgebaut und förderte so stark und schnell die Kreativität, vor allem sehr gut, da die Prompts immer angeben sind und einen Einblick geben, wie Prompts formuliert werden müssen um gute Ergebnisse zu erhalten

+ ebenfalls sehr gut gelöst, ist die Tutorial Section

(Quelle: https://sora.com/subscription )

GESAMTFAZIT:

Für meinen weiteren Forschungs- und Projektprozess werde ich die verschiedenen KI-gestützten Videotools weiterhin intensiv testen und ausgiebige Experimente durchführen.

Besonders positiv überrascht hat mich bisher Sora, da der Einstieg dank meines ChatGPT Plus-Abos äußerst unkompliziert war. Bei den anderen KI-Tools prüfe ich derzeit noch, welche Anbieter für meine Anforderungen am besten geeignet sind und ob sich ein Abonnement lohnt. Adobe und Runway stehen dabei aktuell ganz oben auf meiner Liste. Besonders bei Runway hoffe ich, ein Educator-Abo erhalten zu können, um das Tool im vollen Umfang nutzen zu können.