Gaussian Splatting
Letzte Woche hatten wir in der DESPRESS-Lehrveranstaltung die Gelegenheit, unsere Themen in der Gruppe vorzustellen. Dabei präsentierten wir jeweils drei Folien, auf denen wir unser Forschungsgebiet, die letzten drei Blogartikel und ein kleines Vision Board darstellten. Während meiner Präsentation erklärte ich u.a., dass ich mich intensiver mit Photogrammetry auseinandersetzen möchte. Daraufhin erhielt ich von Roman P. den Tipp, mich auch mit Gaussian Splatting auseinanderzusetzen – einer neuen Technik, die möglicherweise der Photogrammetrie überlegen sein könnte.
Dieser Hinweis weckte mein Interesse, und ich begann, mich in das Thema einzuarbeiten. Ich sammelte Links, las Artikel und verschaffte mir einen Überblick. Aber was ich heute teilen möchte, sind meine ersten praktischen Erfahrungen mit dieser Methode.
Erste Erfahrungen mit Gaussian Splatting: Ein Testlauf mit Polycam
Nach einigen Recherchen stieß ich auf die Plattform Polycam. Dort können Nutzer Fotos oder Videos hochladen, um daraus im Browser 3D-Modelle zu generieren. Für meinen ersten Testlauf nutzte ich mein in die Jahre gekommenes Sony-Smartphone mit einer eher langsamen und wenig leistungsstarken Kamera. Mein Ziel war es, einen einfachen Kaffeebecher in 3D darzustellen.
Zunächst erstellte ich 20 Fotos des Kaffeebechers – das ist die Mindestanzahl, die die Software für die Verarbeitung benötigt. Zusätzlich nahm ich ein kurzes Video des Bechers auf. Anschließend lud ich beides hoch. Die Software wandelte sowohl die Fotos als auch das Video jeweils in ein 3D-Modell um. Das Ergebnis war direkt im Browser sichtbar, konnte ausprobiert und sogar als Datei heruntergeladen werden.
Die Ergebnisse waren jedoch noch nicht optimal: Das Modell war lückenhaft und löchrig, was auf Verbesserungspotenzial hinweist. Dennoch war ich beeindruckt, wie schnell und unkompliziert die Erstellung ablief, selbst mit einer unzureichenden Kamera und minimaler Vorbereitung.
Dieser erste Test motiviert mich, tiefer in die Materie einzutauchen. Insbesondere möchte ich die Technik mit besserer Hardware testen und herausfinden, wie sich Gaussian Splatting auf die Reproduktion von Objekten anwenden lässt – beispielsweise von Statuen oder anderen Elementen, die man in einer Kirche finden könnte. Ich sehe großes Potenzial darin, diese 3D-Modelle später mit Partikelsystemen zu kombinieren, um interessante visuelle Effekte zu erzeugen.
Mein Fazit: Es gibt noch viel zu lernen und zu optimieren, aber die ersten Ergebnisse sind vielversprechend. Ich freue mich darauf, diesen Weg weiterzugehen und tiefer in die Welt des Gaussian Splatting einzutauchen.
https://poly.cam/tools/gaussian-splatting
Gaussian Splatting: Ein Überblick
Gaussian Splatting ist eine innovative Technik in der Computergrafik und -vision, die eine schnelle und effiziente Darstellung von 3D-Szenen mit hoher Genauigkeit ermöglicht. Im Gegensatz zu traditionellen Neural Radiance Fields (NeRFs), die auf volumetrischen Darstellungen und umfangreichen neuronalen Netzwerkberechnungen basieren, verwendet Gaussian Splatting eine spärliche Wolke von 3D-Gauß-Funktionen zur Modellierung der Szene. Hier ein Überblick über die wichtigsten Aspekte:
Kernprinzip:
- Die Methode beginnt mit der Erzeugung einer 3D-Punktwolke (z.B. durch Structure-from-Motion-Techniken).
- Jeder Punkt wird in eine Gauß-Funktion mit Eigenschaften wie Kovarianz, Farbe und Opazität umgewandelt.
- Das Rendern erfolgt durch “Splatting” dieser Gauß-Funktionen auf einen Bildschirm, wobei sie sich überlappen, um das gewünschte Bild zu erzeugen, ohne für jeden Punkt Abfragen an ein neuronales Netzwerk zu richten.
Vorteile:
- Geschwindigkeit: Reduziert die Rechenkosten durch Fokussierung auf die relevanten Teile einer Szene und Vermeidung leerer Räume.
- Qualität: Erhält oder übertrifft die visuelle Genauigkeit von NeRFs durch direkte Optimierung der Gauß-Eigenschaften mittels stochastischer Gradientenabstieg.
- Flexibilität: Erweitert auf dynamische Szenen (bekannt als 4D Gaussian Splatting) durch Einbeziehung zeitlicher Komponenten zur effizienten Darstellung von Bewegung.
Anwendungen:
- Gaussian Splatting hat großes Potenzial in Bereichen wie Echtzeit-Rendering, Filmproduktion und interaktiven 3D-Medien.
- Seine Fähigkeit, dynamische Szenen effizient zu rendern, macht es ideal für sich entwickelnde Anwendungen wie VR, AR und Echtzeitanimationen.
Diese Methode adressiert viele der rechnerischen Ineffizienzen früherer 3D-Modellierungstechniken und wird voraussichtlich zukünftige Fortschritte im Echtzeit-Grafik-Rendering prägen.
Quelle: (https://en.wikipedia.org/wiki/Gaussian_splatting)
Particle Object change
Experimentieren mit Partikelsystemen in Cinema 4D: Ideen und Herausforderungen
Ein weiterer Bereich, mit dem ich mich in letzter Zeit intensiv beschäftigt habe, ist die Arbeit mit Partikelsystemen in Cinema 4D. Mein Fokus lag dabei darauf, Objekte zu transformieren – genauer gesagt, das Morphen von einem Objekt in ein anderes mithilfe einer Partikelwolke. Die Idee ist, ein Objekt zunächst in Partikel aufzulösen, diese Partikel durch den Raum fliegen zu lassen und sie an einer anderen Stelle zu einem neuen Objekt zusammenzufügen.
So könnten eingescannte oder zuvor erstellte 3D-Objekte dem Mapping eine neue Dynamik verleihen, indem sie mithilfe von Partikelsimulationen und audio-reaktiven Mechanismen ineinander übergehen. Zum Beispiel könnte eine Statue in Partikel zerfallen, sich über eine Fläche bewegen und sich an einer anderen Stelle zu einer völlig neuen Statue zusammensetzen.
Um diese Konzepte zu verfeinern, habe ich weitere Tutorials studiert und erste Experimente durchgeführt. Dabei sind mir einige Herausforderungen begegnet, insbesondere in Bezug auf die Texturierung der Objekte. Damit die ursprünglichen Formen und Details erkennbar bleiben, werden die Texturen mittels Shadern auf die Partikel projiziert. Das funktioniert grundsätzlich gut, jedoch zeigen sich Einschränkungen bei Objekten mit sehr unterschiedlichen Texturen. Ein Beispiel: Das Morphen von einem roten Apfel in eine weiße Statue wirkt visuell weniger harmonisch, da die Unterschiede in Farbe und Struktur zu groß sind. Es scheint sinnvoll, zunächst ähnliche Objekte mit vergleichbaren Texturen zu verwenden, um eine überzeugendere Transformation zu erreichen.
Neben der klassischen Partikelauflösung finde ich die Idee spannend, Objekte in größere Splitter oder sogenannte „Chunks“ aufzulösen. Kombiniert mit Simulationstechniken wie Rigid Body Dynamics oder Voronoi-Zerlegungen könnte man beeindruckende Effekte erzielen. Dadurch würde sich eine weitere Ebene der Animation eröffnen, die nicht nur visuell ansprechend, sondern auch für narrative Zwecke interessant sein könnte.
Ein persönliches Ziel ist es, meine Fähigkeiten in diesem Bereich so weit auszubauen, dass ich ein neues Showreel erstellen kann. Mit diesem könnte ich an Firmen herantreten, deren Arbeit im öffentlichen Raum – beispielsweise in Kirchen und Museen – stattfindet und Einsatzmöglichkeiten für solche Techniken bietet. Es wäre fantastisch, wenn meine Experimente Anklang finden und ich vielleicht sogar langfristig in diesem Bereich Fuß fassen könnte.
Für mich ist klar: Dieses Feld bietet viel Raum für kreative Spielereien und technisches Lernen. Ich bin hochmotiviert, weiter an diesen Ansätzen zu arbeiten und freue mich darauf, die Möglichkeiten von Partikelsystemen in Cinema 4D noch intensiver zu erkunden.
