In meiner neuesten Versuchsreihe experimentiere ich mit der Verbindung von Arduino, Modulino-Sensoren und TouchDesigner. Ein Setup, das analoge Sensorik mit digitaler 3D-Animation verknüpft. Ziel war es, eine intuitive Steuerung für animierte FBX-Avatare zu entwickeln, bei der reale Interaktionen, etwa die Bewegung der Hand unmittelbar Einfluss auf virtuelle Bewegungsparameter nehmen.
Der Prototyp basiert auf einem humanoiden FBX-Avatar aus der Mixamo-Bibliothek. Die Idee: Die Figur “tanzt” schneller oder langsamer, je nachdem, wie nah oder fern die Hand vom Sensor ist. Gleichzeitig wird die Geschwindigkeit eines Videoclips über denselben Wert moduliert. Dadurch entsteht eine doppelte Dynamik: Bewegung in Ton und Bild reagieren gemeinsam auf physische Gesten.
Technisch läuft das Zusammenspiel über den Arduino, der mit einem Modulino-Sensor (ein kompakter, kostengünstiger Touch- bzw. Distanzsensor, etwa 1 € pro Stück) ausgestattet ist. Die Sensordaten werden seriell mit einer stabilen Baudrate von 115200 an TouchDesigner gesendet. Dort werden sie mit einem DAT to CHOP-Knoten eingelesen, gefiltert und über einen Math CHOP sanft geglättet. So wirken die Bewegungen der Figur nicht sprunghaft, sondern organisch. Eine grüne LED auf dem Arduino signalisiert aktiven Datenfluss und ein Timer-Loop von rund 10 Sekunden sorgt für eine stetige, gleichmäßige Dynamik.
Die Kommunikation zwischen Arduino und TouchDesigner erweist sich überraschend performant. FBX-Modelle lassen sich direkt über den Geometry COMP importieren und mit einem Render TOP visualisieren. Selbst komplexere Animationen laufen flüssig, was den Einsatz für Echtzeit-Performances oder interaktive Installationen besonders spannend macht.
Nächste Versuchsreihe: Von Bewegung zu Video
Der nächste Schritt wird darin bestehen, die generierten Bewegungen aufzuzeichnen, also nicht nur live zu visualisieren, sondern auch als Render-Video zu exportieren. Zusätzlich möchte ich verschiedene FBX-Animationen ausprobieren, die über den Sensoreingang oder andere Parameter getriggert werden. Besonders reizvoll ist die Frage, ob sich Partikelanimationen aus Cinema 4D (als FBX oder Alembic-Datei) ähnlich steuern lassen. TouchDesigner bietet bereits gute Frame-Interpolation, was für fließende Übergänge zwischen Animationsphasen entscheidend ist. So könnte eine ganze Palette kinetischer Effekte entstehen, die auf Handbewegungen oder Umwelteinflüsse reagieren.
Ausblick: Erweiterung mit MIDI
Parallel plane ich, das Setup um MIDI-Steuerung zu erweitern. Dabei könnten Regler, Pads oder Drehknöpfe eines MIDI-Controllers die Animationsgeschwindigkeit, Lichtfarbe oder Partikelmenge variieren. TouchDesigner erlaubt die Einbindung von MIDI-Daten über das MIDI In CHOP-Interface, das ähnlich wie die Arduino-Daten weiterverarbeitet werden kann. Auf diese Weise entsteht ein hybrides Interface: halb physisch, halb digital –, das Bewegungen, Musik und Licht miteinander verschmilzt.
Fazit
Das Experiment zeigt, wie vielseitig die Kombination aus Arduino, Modulino und TouchDesigner sein kann. Ein einfacher Sensor genügt, um virtuelle Figuren lebendig wirken zu lassen. Die Grenzen zwischen physischer und digitaler Interaktion beginnen zu verschwimmen und genau dort eröffnet sich ein spannendes Feld für neue audiovisuelle Erlebnisse.
