by Alina Volkova -

IRCAM Forum 2025 – Turning Pixels into Sound: Sonifying The Powder Toy

During our visit to IRCAM Forum 2025, one of the most unexpected and inspiring presentations came from Kieran McAuliffe, who introduced us to a unique way of experiencing a video game — not just visually, but sonically. His project, Sonifying The Powder Toy, brought an old genre of games to life in a way that made both sound designers and game designers lean forward.

If you’ve never heard of it, The Powder Toy is part of a quirky, cult genre called “falling sand games.”

https://powdertoy.co.uk/

These are open-ended, sandbox-style simulations where players interact with hundreds of different particles — fire, water, electricity, explosives, gases, and even fictional materials — all rendered with surprising physical detail. It’s chaotic, visual, and highly addictive. But one thing it never had was sound.

Kieran, with his background as a composer, guitarist, and researcher, decided to change that. His project wasn’t just about adding booms and fizzles. He approached the challenge like a musical instrument designer: how can you play this game with your ears?

The problem was obvious. The game’s physics engine tracks up to 100,000 particles updating 60 times per second — trying to create sounds for every interaction would melt your CPU. So instead, Kieran developed a method of analytic sonification: instead of responding to every pixel, his system tracks the overall distribution of particles and generates sound textures accordingly.

That’s where it gets beautifully nerdy. He uses something called stochastic frequency-modulated granular synthesis. In simpler terms, think of it like matching grains of sand with grains of sound — short, tiny bursts of tones that collectively create textures. Each type of material in The Powder Toy — be it lava, fire, or metal — gets its own “grain stream,” with parameters like pitch, modulation, duration, and spatial position derived from the game’s internal data.

To make all of this work, Kieran built a custom Max/MSP external called LuaGran~. This clever little tool lets him embed Lua scripts directly inside Max, giving him the power to generate and manipulate thousands of grains per second. It allows for both tight control and high performance — a critical balance when your “instrument” is a particle system going haywire in real time.

Some mappings were linear — like more fire equals higher pitch — while others used neural networks or probabilistic logic to shape more complex sonic behaviors. It was a blend of art and science, intuition and math.

During the presentation, I had the chance to join Kieran live by downloading his forked version of The Powder Toy, which sends Open Sound Control (OSC) data to his Max patch. Within minutes, a room full of laptops was sonically simulating plasma storms and chemical reactions. It was fun, chaotic, and surprisingly musical.

One thing that stood out was how Kieran resisted the temptation to make the sound effects too “realistic.” Instead, he embraced abstraction. A massive explosion might not sound like a movie boom — it might produce a textured whoosh or a burst of granular noise. His goal was not to recreate reality, but to enhance the game’s emergent unpredictability with equally surprising sounds.

He described the system more like a musical instrument than a tool, and that’s how he uses it — for laptop ensemble pieces, sound installations, and live improvisation. Still, he hinted at the potential for this to evolve into a standalone app or even a browser-based instrument. The code is open source, and the LuaGran~ tool is already on his GitHub (though it still needs some polish before wider distribution).

https://github.com/trian-gles

As sound designers and creatives, this project reminds us that sound can emerge from the most unexpected places — and that play, chaos, and curiosity are powerful creative engines. The Powder Toy might look like a simple retro game, but under Kieran’s hands, it becomes a dense sonic playground, a platform for experimentation, and a surprisingly poetic meeting of code and composition.

If you’re curious, I encourage you to try it out, explore the sounds it makes, and maybe even mod it yourself. Because as Kieran showed us, sometimes the most interesting instruments are the ones hiding inside games.

Here you can find manual how to instal game and sonification:

https://tinyurl.com/powder-ircam

It’s more fun to do it with friends)

by victoria.bremer -

Where do we go from here? Possible approaches for designing connection

What I’ve discovered is that there’s a strong awareness of loneliness as a problem, especially in the research community. There are countless studies, statistics, and even political measures addressing it, but what’s missing are concrete steps and ideas on how to tackle it.
There are some considerations, such as guidelines for urban planners and architects, that lay the groundwork. But direct, creative, and innovative approaches are harder to find. Most existing solutions focus on open spaces, but few actively invite specific forms of interaction. What’s needed is a deep understanding of both the structural aspects of loneliness and the personal experience of it. This means understanding what people need in order to change their behavior and the way they operate in the world we currently live in. Is it the online world and our phone addiction? The fast paced life style? The way and amount we work? The ways our offices, homes an cities are designed and built?

It might be helpful to focus on specific scenarios where loneliness occurs, as its causes and effects vary depending on the context. Loneliness looks different for an older person in a retirement home than it does for a young person who just moved to a new city. Patients in hospitals or reha centers face different challenges than single parents with little time for social interaction. Immigrants who have been separated from their families and cultures experience isolation differently than someone struggling with mental health issues. People who have been removed from or disconnected from their communities also face unique forms of loneliness.

So what can design do? There are different angles and scales from which to approach this issue. One possibility is rethinking urban planning to create spaces that naturally foster human interaction. Another is shifting public perception by raising awareness and reducing the stigma around loneliness, making it something we can talk about openly rather than something to be ashamed of. Smaller interventions can also play a role, like simple design elements that spark interaction and connection, allowing relationships to develop organically.

The next step is to explore possible directions. Should this take the form of a framework or set of guidelines for urban design? A workshop that actively engages communities? A game or interactive tool that initiates connection? A digital platform that helps people meet in meaningful ways? Maybe physical installations or experimental spaces designed to encourage spontaneous interactions. Or maybe artistic works that highlight and address loneliness could invite reflection and conversation.

To move forward, more research is needed and the questions that came up during research need to be answered. Interviews, testing, and case studies could provide valuable insights into what actually works. Understanding the real experiences of people struggling with loneliness and setting a direction for a project are key to designing solutions that go beyond theory and make a real impact.

by jessica.karkheck -

„Kingdom Come: Deliverance“ als Maßstab für realitätsnahe historische Kämpfe bei Videospielen

Ein besonders herausstechendes Beispiel für realistische Kampfdarstellungen in Videospielen ist das Rollenspiel Kingdom Come: Deliverance. Das Spiel, das im spätmittelalterlichen Böhmen des 15. Jahrhunderts spielt, legt großen Wert auf historische Genauigkeit, von der Gestaltung der Welt und den darin vorkommenden Charakteren, bis hin zum Kampfsystem, welches wiederum ein überraschend beeindruckender Versuch, historisch belegte Fechttechniken in ein Videospiel zu übertragen. Der Entwickler Warhorse Studios orientierte sich dabei an den zu der Epoche entsprungenen Quellen und Fechtbüchern, die die europäische Kriegs- und Kampfkunst des 15. Jahrhunderts dokumentieren. Diese detailverliebte Herangehensweise macht das Kampfsystem einzigartig, stellt jedoch auch aufgrund seiner Komplexität große Herausforderungen in der Spielmechanik dar.

Fechtbücher: Die historischen Grundlagen des Kampfsystems

Im Spätmittelalter und der Renaissance wurden Kampftechniken in Fechtbüchern systematisch festgehalten, welche wiederum als Lehrwerke für den Adel, Soldaten und andere Kampfkünstler dienten. Sie dokumentierten Techniken detailliert für Waffen wie beispielsweise Langschwert, Langes Messer, Rapier, Stangenwaffen wie Speere, Spieße, Hellebarden und auch den unbewaffneten Nahkampf.
Einige der wichtigsten Quellen, auf die sich auch Kingdom Come: Deliverance stützt, sind:

  • Johannes Liechtenauer (15. Jahrhundert): Liechtenauers Fechtlehre war eine der einflussreichsten Kampfsysteme in Europa. Sein Lehrsystem, welches in späteren Handschriften wie der Nürnberger Handschrift GNM 3227a von seinen Schülern dokumentiert wurde, beschreibt den Kampf mit dem Langschwert und setzt auf Prinzipien wie „Indes“ (das Timing in Gefechten) und „Fühlen“ (Kontaktwahrnehmung in der Bindung zweier Waffen), was auch in Kingdom Come: Deliverance zum Einsatz kommt.
  • Hans Talhoffer (15. Jahrhundert): Talhoffers Fechtbücher sind berühmt für ihre grafischen und detaillierten Darstellungen von Langschwerttechniken, Dolchkämpfen und Duellvorbereitungen. Viele der Kampfanimationen basieren direkt auf den in seinen Werken beschriebenen Techniken.
  • Fiore dei Liberi (14. Jahrhundert): Als einer der bedeutendsten italienischen Fechtmeister beschrieb Fiore Techniken für Langschwert, Speer und unbewaffneten Kampf in seinem Werk „Fior di Battaglia“.
  • I.33 („Walpurgis-Fechtbuch“): Dieses Werk aus dem 13. Jahrhundert ist das älteste bekannte Fechtbuch und beschäftigt sich vor allem mit dem Kampf mit Schwert und Schild bzw. Buckler.

Diese Quellen geben nicht nur Einblick in die Techniken, sondern auch in die zugrunde liegenden Philosophien und Taktiken der mittelalterlichen Kampfkunst.

Angriffsrichtungen und Schläge

Das System basiert auf einem sechsdirektionalen Angriffs- und Verteidigungsansatz. Spieler können Angriffe aus fünf verschiedenen Richtungen (oben, links, rechts, diagonal links, diagonal rechts) ausführen, was den Bewegungen aus historischen Fechtbüchern entspricht.

“Meyerkreuz” aus dem Buch “Gründtliche Beschreibung der… Kunst des Fechtens” 1

Dies ermöglicht die Anwendung von taktischen Angriffen unter dem Einsatz spezieller Techniken wie Meisterhäue, zu denen beispielsweise der der Zornhau, ein starker diagonaler Hau zählt, der die Deckung des Gegners brechen soll. Ein weiterer umsetzbarer Meisterhau ist der Twerhau, ein oft waagrechter Schlag mit dem Langschwert, der über dem Kopf des Angreifers geschieht. Aber auch Finten, Techniken, bei denen der Gegner durch einen scheinbaren Angriff in eine Richtung getäuscht wird, um dann an einer anderen Stelle zu treffen, sind umsetzbar.

Eine andere Technik, die beispielsweise in Talhoffers Skripten und im Codex Wallerstein2 beschrieben wird, ist das Halbschwert. Dabei greift der Kämpfer das Schwert direkt an der Klinge, um präzisere Stöße gegen gepanzerte Gegner auszuführen. Diese Technik wird im Spiel implementiert, um den Realismus im Kampf gegen stark gerüstete Feinde im Harnisch zu erhöhen.

Das Spiel unterscheidet zusätzlich zwischen verschiedenen Angriffsarten, darunter:

Schneidtechniken: Zum gezielten Schwächen eines Gegners über Zeit.
Hiebe: Ideal gegen ungerüstete Gegner, da sie maximale Schnittwirkung entfalten.
Stiche: Besonders effektiv gegen schmale Lücken in Plattenpanzern.

Sowohl der gespielte Charakter als auch die im Spiel vorkommenden Gegner nehmen bei den Gefechten passend zur Waffengattung und historisch belegte Huten bzw. Leger3 ein, deren Angriff- sowie Paradefunktionen auch im Spiel Anwendung finden.

Illustration des "Verkehrers" aus dem Werk "Fechtbücher (Sammelhandschrift) - UBA Cod. I.6.2° 2"
Illustration des Stuck im aufstreichen aus Fechtbücher (Sammelhandschrift) – UBA Cod. I.6.2° 24
Kingdom Come: Deliverance II – Gameplay Darstellung eines doppelten Twerhaues nach Johannes Liechtenauer (Kunst des langen Schwertes, ~1389)

Dynamik des Kampfes: Fließende Animationen und Trefferzonen

Ein großer Pluspunkt von Kingdom Come: Deliverance ist die realistische Darstellung der Dynamik eines Kampfes. Durch Motion-Capture-Technologie, die mit erfahrenen HEMA-Kämpfern (Historical European Martial Arts) durchgeführt wurde, wirken die Bewegungen natürlich und überzeugend. Außerdem werden Trefferzonen präzise simuliert:

Gezielte Angriffe: Spieler können spezifische Körperteile ins Visier nehmen, wie den Kopf oder ungeschützte Gliedmaßen, um Schwachstellen der Rüstung auszunutzen.

Konter: Konter basieren auf der genauen Beobachtung des gegnerischen Angriffs und erfordern Timing, wie es in historischen Manuskripten beschrieben wird.

Herausforderungen und Grenzen der Authentizität

Trotz des hohen Anspruchs an Authentizität gibt es Einschränkungen. Einige komplexe Techniken, wie Würfe oder der Kampf am Boden, wurden nicht vollständig umgesetzt, da sie schwer in ein Spielmechanik-System zu integrieren sind. Ebenso müssen Spieler durch Tutorials in die Kampftechniken eingeführt werden, welche oft nicht ausreichen, da die Komplexität für Neulinge oft überwältigend zu sein scheint. Kingdom Come: Deliverance II erscheint Anfang 2025 und soll das Kampfsystem um zusätzliche historisch belegte Techniken erweitern.

Fazit

Das Kampfsystem von Kingdom Come: Deliverance ist eine Hommage an die Fechtkunst des Mittelalters. Durch die detailgetreue Integration historischer Techniken aus Fechtbüchern setzt das Spiel einen neuen Standard für Realismus in Videospielen. Es zwingt Spieler dazu, strategisch zu denken, präzise zu handeln und die Herausforderungen realer mittelalterlicher Kämpfe zu meistern – ein Erlebnis, das sowohl unterhält als auch lehrreich ist, jedoch auf keinen Fall für die breite Masse bestimmt ist.

  1. Joachim Meyers “Meier Kreuz”
    https://www.wiktenauer.com/wiki/Joachim_Meyer ↩︎
  2. Codex Wallerstein
    https://www.thearma.org/Manuals/CodexW.htm
    ↩︎
  3. Erklärung zu Huten bzw. Leger
    https://www.schwertkampf-tutorials.de/die-vier-huten/
    ↩︎
  4. Fechtbücher (Sammelhandschrift) – UBA Cod. I.6.2° 2
    http://digital.bib-bvb.de/view/bvb_mets/viewer.0.6.5.jsp?folder_id=0&dvs=1731975134328~230&pid=1963622&locale=de&usePid1=true&usePid2=true ↩︎