A custom Python script was developed to record ECG and GSR data streamed from the Arduino via the serial interface. The Arduino transmits raw sensor values as comma-separated integers (ECG, GSR) at a fixed baud rate. On the computer side, the Python script establishes a serial connection, continuously reads incoming data, and stores it in a structured CSV file together with precise timing information.
Serial connection and configuration
PORT = “/dev/tty.usbmodem1101”
BAUD = 115200
ser = serial.Serial(PORT, BAUD)
This section defines the serial port and baud rate used by the Arduino. The baud rate must match the value specified in the Arduino sketch to ensure correct data transmission.
Each recording session generates a new CSV file whose name includes a timestamp. This prevents accidental overwriting and allows recordings to be clearly associated with specific experimental sessions.
The CSV file contains both an absolute timestamp and a relative time counter in milliseconds. This dual timing system supports synchronization with experimental events while also enabling precise signal processing.
Parsing and writing incoming data
line = ser.readline().decode(errors=”ignore”).strip()
ecg_str, gsr_str = line.split(“,”)
ecg = int(ecg_str)
gsr = int(gsr_str)
Each line received from the serial port is expected to contain two comma-separated values. Basic validation ensures that malformed or incomplete lines are ignored.
For each valid sample, the script writes one row containing the current timestamp, elapsed time since the start of recording, and raw ECG and GSR values. Data is flushed to disk continuously to prevent loss during longer sessions.
After completing the hardware setup, the next step was to verify whether the system was capable of producing usable physiological signals. For this purpose, a minimal Arduino sketch was written to read raw analog values from the ECG and GSR sensors and stream them via the serial interface. The goal at this stage was not data recording or analysis, but a basic functional test of the signal paths. The code continuously reads the ECG signal from analog input A1 and the GSR signal from analog input A2, printing both values as comma-separated numbers to the Serial Monitor. A short delay was introduced to limit the sampling rate and ensure stable serial transmission.
const int ecgPin = A1;
const int gsrPin = A2;
void setup() {
Serial.begin(115200);
}
void loop() {
int ecgValue = analogRead(ecgPin);
int gsrValue = analogRead(gsrPin);
// print CSV row: ecg,gsr
Serial.print(ecgValue);
Serial.print(“,”);
Serial.println(gsrValue);
delay(5);
}
Once the code was running, the next critical step was the physical placement of the ECG electrodes. This proved to be one of the most challenging parts of the initial testing phase. Online sources provide a wide range of DIY electrode placement schemes, many of which are inconsistent or oversimplified. In particular, a previously referenced HRV-related Arduino project suggested placing electrodes on the arms. This configuration was tested first, but the resulting signal made it difficult to identify clear R-peaks in the serial plotter, which are essential for ECG interpretation and HRV analysis.
Example of ECG electrode placement as proposed in the “Arduino and HRV Analysis” project and author’s implementation. https://emersonkeenan.net/arduino-hrv/
The official documentation of the ECG sensor instead recommended chest-based electrode placement. However, this approach also required careful positioning to achieve a clean signal.
ECG electrode placement on the chest as recommended in the official sensor documentation.
The most reliable guidance was found in a tutorial video presented by a medical professional, which explained proper ECG electrode placement in practical terms. The key insight was that electrodes should not be placed directly on bone. Instead, they must be positioned on soft tissue—below the shoulder and above the rib cage.
The ECG cables were clearly labeled by the manufacturer:
L (left) electrode placed on the left side of the chest
R (right) electrode placed symmetrically on the right side
F (foot/reference) electrode placed on the lower left abdomen, below the rib cage
Additionally, skin preparation proved to be essential. Degreasing the skin before attaching the electrodes significantly improved signal quality. After applying these corrections and restarting the Arduino sketch, distinct ECG peaks became clearly visible in the serial output.
Raw ECG signal displayed in the Serial Plotter, showing clearly identifiable R-peaks during initial signal testing.
In contrast, the GSR sensor required far less preparation. It was simply attached to the fingers, and a signal was immediately observable. However, even during these initial tests it became evident that the GSR signal was highly noisy and would require filtering and post-processing in later stages of the project.
GSR sensor placement on the fingers during data acquisition.
Several practical limitations of the Arduino IDE became apparent during this testing phase. One major drawback was the inability to adjust the grid or scaling in the Serial Plotter, which made live signal inspection inconvenient. Furthermore, the current version of the Arduino IDE no longer allows direct export of serial data to CSV format from the monitor. This limitation necessitated additional tooling and custom scripts in later stages to enable proper data logging and analysis.
RECAP: Embodied Resonance investigates how the body of a person with lived experience of war responds to auditory triggers that recall traumatic events, and how these responses can be expressed through sound. The heart is central to this project, as cardiac activity – particularly heart rate variability (HRV)—provides detailed insight into stress regulation and autonomic nervous system dynamics associated with post-traumatic stress disorder (PTSD).
The conceptual direction of the work is shaped by my personal experience of the war in Ukraine and an interest in trauma physiology. I was drawn to the idea that trauma leaves measurable traces in the body—signals that often remain inaccessible through language but can be explored scientifically and translated into sonic form. This approach was influenced by The Body Keeps the Score by Bessel van der Kolk, which emphasizes embodied memory and non-verbal manifestations of trauma.
In the previous semester, the project focused on exploratory work with existing physiological datasets. A large open-access dataset on stress-induced myocardial ischemia was used to study cardiac behavior under rest, stress, and recovery conditions. Although not designed specifically for PTSD research, the dataset includes participants with PTSD, anxiety-related disorders, and cardiovascular conditions, offering a diverse basis for analysis.
During this phase, Python tools based on the NeuroKit2 library were developed to compute time- and frequency-domain HRV metrics from ECG recordings. Additional scripts transformed these parameters into MIDI patterns and continuous controller (CC) data for sound synthesis and composition. Initial experiments with real-time HRV streaming were also conducted, but they revealed significant limitations: many HRV metrics require long analysis windows and are computationally demanding, making them unsuitable for stable real-time sonification.
In the current semester, corresponding to the Product phase, the project transitions from simulation-based exploration to work with my own body. During earlier presentations, concerns were raised regarding the ethical implications of experiments that could potentially lead to re-traumatization, particularly when involving other participants with war-related trauma. In response, I decided not to extrapolate the experiment to other Ukrainians at this stage and to limit the investigation to my own physiological responses.
Furthermore, instead of exposing myself to recorded sirens at arbitrary times, I chose to record my ECG during the weekly civil defense siren tests that take place every Saturday in Graz. This context offers a meaningful contrast: for most residents of Austria, the siren test is a routine element of everyday life, largely stripped of emotional urgency. For someone with lived experience of war, however, the same sound carries associations of immediate danger. By situating the recordings within this real, socially normalized setting, the project examines how a familiar public signal can produce profoundly different embodied responses depending on personal history.
Before starting the experimental recordings, it was necessary to select and acquire appropriate sensors and a microcontroller. Prior to purchase, a short survey of available biosensing hardware was conducted, with particular attention paid to signal quality, availability of documentation, and the existence of example projects demonstrating practical use. An additional criterion was whether the sensors had been previously employed in projects related to heart rate variability (HRV) analysis.
For ECG acquisition, the DFRobot Gravity Heart Rate Monitor Sensor was selected. This sensor offered a favorable balance between cost and functionality, providing all required cables as well as disposable electrodes. Importantly, it had been used in a well-documented HRV-focused project, which served as a valuable technical reference during development and troubleshooting. In addition to ECG, a galvanic skin response (GSR) sensor from Seeed Studio was included to explore changes in skin conductance as an additional physiological marker of stress. While GSR was not part of the previous semester’s research, it was included experimentally to assess whether this modality could provide complementary information. At this stage, the structure and usefulness of GSR data were not yet fully predictable and were treated as exploratory. As a microcontroller, the Arduino MKR WiFi 1010 was chosen.
The full list of acquired components is as follows:
Arduino MKR WiFi 1010
DFRobot Gravity Heart Rate Monitor Sensor (ECG)
DFRobot Disposable ECG Electrodes
Seeed Studio GSR Sensor
Seeed Studio 4-pin Male Jumper to Grove Conversion Cable
Breadboard (400 holes)
Male-to-male jumper wires
Male-to-female jumper wires
Potentiometers (100 kΩ)
LiPo Battery 1S 3.7 V 500 mAh (not used in final setup)
The total cost of the hardware provides amounted to approximately 80 EUR. The initial motivation for this choice was the possibility of wireless data transmission via WiFi or Bluetooth. In practice, however, wireless communication was not required. Due to the high motion sensitivity of both ECG and GSR sensors, recordings had to be performed in a largely static position, making a wired USB connection to the computer sufficient. For this reason, a battery intended for mobile operation was ultimately not used.
For software configuration, the Arduino IDE was installed. Although I had prior experience working with Arduino hardware several years ago, the interface had changed significantly. To support the Arduino MKR WiFi 1010, the SAMD Boards package was additionally installed via the Boards Manager. After software setup, all components were connected according to a simple wiring scheme that required no additional electronic elements.
Figure 1. Wiring diagram of the experimental setup with Arduino MKR WiFi 1010, ECG sensor, and GSR sensor.
The Arduino ground (GND) was connected to the ground rail of the breadboard, and the 5 V output was connected to the power rail.
The ECG sensor was connected as follows:
GND (black wire) → ground rail on the breadboard
VCC (red wire) → 5 V power rail
Signal output (blue wire) → analog input A1 on the Arduino
The GSR sensor was connected as follows:
GND (black wire) → ground rail on the breadboard
VCC (red wire) → 3.3 V output on the Arduino
Signal output (yellow wire) → analog input A2 on the Arduino
Figure 2 illustrates the complete wiring configuration of the system, including the Arduino MKR WiFi 1010, ECG sensor, GSR sensor, and breadboard power distribution.
Figure 2. Physical hardware configuration used for ECG and GSR data recording.
The book Practical Augmented Reality: A Guide to the Technologies, Applications, and Human Factors for AR and VR, I expected to be a technical overview. Instead, it turned into a kind of design manual for my master’s thesis on leveraging AR and IoT to improve the shopping experience with context aware AR glasses. The book helped me connect big technological concepts to very concrete design decisions for my own project.
Seeing AR as “aligned, contextual and intelligent”
Early in the book, Aukstakalnis defines augmented reality as not just overlaying random graphics on the real world, but aligning information with the environment in a spatially contextual and intelligent way. This sounds simple, but it actually shifted how I thought about my shopping glasses. It is not enough to place floating labels next to products. The system needs to understand where I am, what shelf I am looking at, and which task I am trying to complete, then lock information to those objects. This definition pushed me to think more seriously about IoT integration and precise tracking so that a price, rating, or nutrition label is always attached to the right item in space.
Designing from the human senses outward
The structure of the book also influenced how I plan my thesis. Aukstakalnis starts with the mechanics of sight, hearing and touch, and only then moves on to displays, audio systems, haptics and sensors. That “inside out” perspective reminded me that my AR glasses concept should begin from human perception, not from whatever hardware is trendy. Reading about depth cues, eye convergence and accommodation, and how easily they can be disturbed by poorly designed displays, made me much more careful about how much information I want to show and at what distances.
For my thesis this means keeping overlays light, avoiding clutter in the central field of view, and respecting comfortable reading distances. It also supports my idea of using short, glanceable cards in the periphery instead of stacking lots of text in front of the user’s eyes.
Translating cross domain case studies into retail
The applications section of the book covers fields like architecture, education, medicine, aerospace and telerobotics. None of them are about grocery shopping, but a common pattern appears: AR and VR are most powerful when they help people understand complex spatial information, rehearse tasks safely, or make better decisions with contextual data. I realised that retail has the same ingredients. Shelves, wayfinding and product comparisons are all spatial problems with hidden data behind them.
This insight strengthened the core vision of my thesis. My AR and IoT concept is not just about showing coupons in the air. It is about turning the store into an understandable information space, where digital layers explain what is currently invisible: where a product is, how fresh it is, how it fits personal constraints like allergies or budget, and how it compares to alternatives.
Impact on my thesis work
Overall, Practical Augmented Reality gave me three concrete things for my master’s project. First, a precise vocabulary and mental model for AR systems, which helped me write a clearer research question and background section. Second, a checklist of human factor issues that I now plan to address through prototype constraints and user testing. Third, a library of real world examples that prove similar technologies already deliver value in other domains, which I can reference when I argue why AR glasses for shopping are realistic in the near future.
Reading the book was less about copying solutions and more about understanding the hidden structure behind successful AR systems. That structure now guides how I want to combine AR, AI and IoT in an everyday retail scenario without forgetting the humans wearing the glasses.
AI Disclaimer This blog post was polished with the assistance of AI.
Im nächsten Schritt habe ich mein bisher eher offenes Ideen-Setup in ein konkretes Exposé überführt. Ziel war es, meine Gedanken nicht nur visuell (wie im Figma Jam), sondern auch inhaltlich zu schärfen: Was ist eigentlich das Problem, das ich bearbeiten will? Wo setze ich an, und was soll am Ende wirklich entstehen? Hier kommt eine kurze Zusammenfassung, was ich in meinem Exposé festgelegt habe.
Ausgangspunkt meiner Masterarbeit ist die historische Unsichtbarkeit von Frauen, die maßgeblich zu Wissenschaft, Kunst, Politik oder Kultur beigetragen haben. Ein zentraler Bezugspunkt ist dabei das Buch Beklaute Frauen von Leonie Schöler, das sehr deutlich zeigt, wie systematisch weibliche Leistungen über Jahrhunderte hinweg vergessen, marginalisiert oder Männern zugeschrieben wurden. Das ist kein Zufall und auch kein reines Dokumentationsproblem, sondern ein strukturelles: Geschichtsschreibung ist immer von Machtverhältnissen geprägt – und diese waren (und sind) patriarchal.
Was mich dabei besonders interessiert, ist nicht nur das Was (also welche Geschichten fehlen), sondern das Wie: Wie werden diese Geschichten erzählt – und warum erreichen klassische, textlastige Formate viele Menschen heute nur noch begrenzt? Gerade für ein jüngeres, visuell geprägtes Publikum fehlt oft der emotionale Zugang. Genau hier setzt meine Arbeit an.
Meine zentrale Fragestellung lautet daher:
Wie kann Creative Coding als künstlerisch-technische Methode genutzt werden, um vergessene Frauen der Geschichte in einem hybriden Ausstellungsformat visuell erfahrbar zu machen?
Die Idee ist, Erinnerung nicht nur zu vermitteln, sondern erlebbar zu machen. Statt passivem Lesen soll es um Interaktion gehen – um Eingriffe, um Sichtbarmachen, um das Überwinden von Störungen. Daraus ergibt sich auch meine zentrale Annahme: Dass generative, algorithmische Visualisierungen (z. B. Fragmentierung, Rauschen, Überlagerung, Emergenz) starke Metaphern für Auslöschung und Wiederaneignung sein können. Wenn Besucher:innen selbst eingreifen müssen, um Inhalte freizulegen oder zusammenzusetzen, wird Erinnerung zu einem körperlichen, bewussten Akt.
Konkret plane ich, 4–8 interaktive, generative Poster zu entwickeln. Jedes davon widmet sich entweder einer Frau oder einem thematischen Kapitel aus Beklaute Frauen. Diese Poster funktionieren hybrid:
Es gibt ein minimalistisch gestaltetes, gedrucktes Plakat (A1/A2), das im Ausstellungsraum hängt, und darauf eine projektionbasierte Animation, die mittels Creative Coding generiert wird. Die gedruckte Fläche dient dabei bewusst als physischer Anker und Projektionsfläche – nicht als bloßer Träger, sondern als Teil des Konzepts.
Die Animationen reagieren auf Interaktion, voraussichtlich über ein Touch-Interface oder einfache Sensorik. Besucher:innen können Inhalte freilegen, Störungen „wegwischen“, Ebenen verschieben oder neue Zustände auslösen. Wichtig ist mir dabei, dass die Technik nicht Selbstzweck wird, sondern die historischen Inhalte unterstützt und nicht überlagert.
Methodisch arbeite ich nach dem Ansatz Research through Design. Das heißt: Gestalten und Programmieren sind nicht nur Umsetzung, sondern selbst Erkenntnisinstrumente. Neben einer theoretischen Auseinandersetzung mit feministischer Geschichtsschreibung, Memory Studies und Ausstellungsdesign entwickle ich iterativ visuelle und technische Prototypen. Parallel teste ich Materialität, Projektion, Interaktion und Lesbarkeit im Raum.
Die Evaluation erfolgt qualitativ: durch Beobachtungen und Gespräche mit Designer:innen sowie mit einem allgemeinen Publikum. Mich interessieren dabei weniger harte Messwerte, sondern Fragen wie: Wird das Thema verstanden? Entsteht emotionale Nähe? Funktioniert die Metapher?
Am Ende soll kein abgeschlossenes „Museumskonzept“ stehen, sondern ein gestalterischer Ansatz, der zeigt, wie Creative Coding zur feministischen Erinnerungsarbeit beitragen kann. Die Ausstellung möchte ich nach Abgabe meiner Masterarbeit aber tatsächlich, wenn ich einen Raum dafür finde, realisieren.
Feedback zu von Final Crit
Feedback von den zwei profis:
Horst Hörtner is expert in human computer interaction and managing director of the Ars Electronica Futurelab which is known as one of the most important institutions in your study field on the edges of digital media, design, art, science, industry, society.
Er meinte:
super spannendes thema, er möchte gern mehr dazu wissen
Er findet speziell den Umschwung in den 70ern, als human computers von bestehend weiblich auf ein männliches narrativ geändert wurde sehr spannender zeitpunkt, vielleicht da näher darauf eingehen in meiner research
interaktive ausstellung findet er super, aber mit beamer auf poster projezieren diese technik findet er nicht cool.
Hat mir gezeigt: der neue Samsung “The Frame” Monitor -> wirkt wie ein Gemälde und man muss komplett nahe gehen um das nicht zu checken. Wenn sich FH leisten kann, wär geil solche zu verwenden. Hier meine Vermutung: eventuell kann ich FH überzeugen, einen solcher bildschirme zu kaufen (kosten so 1200€), aber ich möchte eine ausstellung mit 4-8 solcher poster machen. Das wird sich nicht spielen. Kann man solche bildschirme ausleihen bei samsung? wahrscheinlich nicht.
Für meine weitere Vorstellung der Umsetzung wär mir super wichtig zu wissen, welches Medium ich bedienen werde.
Gespräch Horst Hörtner
Beim Final Crit hatte ich auch ein Gespräch mit Horst Hörtner (HCI-Expertise, Managing Director vom Ars Electronica Futurelab), das für mich vor allem nochmal den größeren Kontext aufgemacht hat. Er meinte direkt, dass er das Thema super spannend findet und gerne mehr darüber wissen würde – was mir gezeigt hat, dass die Richtung nicht nur „nett gestaltet“, sondern auch inhaltlich relevant ist.
Ein konkreter inhaltlicher Hinweis von ihm war, dass ich mir in der Research-Phase ruhig einen bestimmten historischen Kipppunkt genauer ansehen könnte: den Umschwung in den 1970ern, als das Narrativ rund um „human computers“ stärker männlich geprägt wurde, obwohl diese Rolle davor hauptsächlich weiblich besetzt bzw. wahrgenommen war. Er fand diesen Moment als Beispiel für kulturelle Umdeutung extrem spannend – und das passt total zu meinem Grundthema (wer sichtbar ist, wem Leistung zugeschrieben wird, wie Geschichte umgeschrieben wird). Ich nehme das auf jeden Fall als möglichen Fokuspunkt für die theoretische Auseinandersetzung mit.
Zur Umsetzung hat er folgendes gesagt: Die Idee einer interaktiven Ausstellung findet er sehr stark, aber die klassische Lösung „Beamer projiziert auf Poster“ findet er technisch und konzeptuell nicht so überzeugend. Also hier Impuls: weg vom Projection-Setup, hin zu etwas, das im Raum hochwertiger wirkt.
Er hat mir dazu ein sehr konkretes Beispiel gezeigt: den Samsung „The Frame“-Monitor von Samsung. Das Ding wirkt (wenn es gut eingesetzt wird) fast wie ein echtes Bild oder Gemälde – so sehr, dass man ziemlich nah hingehen muss, um überhaupt zu checken, dass es ein Screen ist. Er meinte: Wenn die FH sich sowas leisten kann, wäre das ein extrem gutes Medium für mein Vorhaben, weil es diese „Poster/Art-Objekt“-Ästhetik unterstützt, ohne die typischen Projektion-Probleme.
Gleichzeitig bin ich da direkt in die Realitätsfrage reingelaufen: Ich plane ja eher 4–8 Stationen. Selbst wenn ein Screen „nur“ um die 1200 € kostet, ist das in der Summe unrealistisch. Ich hatte kurz die Idee, ob man sowas eventuell ausleihen könnte (z. B. direkt beim Hersteller), aber ich gehe eher nicht davon aus, dass das easy ist. Trotzdem: Vielleicht kann ich zumindest versuchen, die FH von 1-4 Screens als Prototyp/Leihgerät zu überzeugen? Ich mein wenn der Chef von Ars Electronics so überzeugt von dem Monitor ist, dann könnte man da schon bissl investieren, oder?
Was ich aus dem Gespräch vor allem mitnehme: Für meine nächsten Schritte ist es extrem wichtig, dass ich mich früh auf ein Medium festlege (Screen / Screen + physische Layer / Print + Overlay etc.). Weil davon hängt praktisch alles ab: Gestaltung, Interaktionsidee, Materialität, Setup und auch wie „ausstellungsfähig“ das Ganze am Ende wirkt.
Gespräch Martin Kaltenbrunner
Mein zweites Gespräch war mit Martin Kaltenbrunner (Interface Culture / HCI, Tangible Music Lab, u. a. Reactivision). Er fand die Grundidee – Creative Coding + feministische Erinnerung + interaktive Bild-Formate – direkt spannend und hat ziemlich schnell eine Referenz gedroppt, die thematisch gut passt: den Film „Hidden Figures“. Den kannte ich schon (und mag ihn auch), aber es war trotzdem hilfreich, weil er nochmal bestätigt hat, dass das Thema „Unsichtbarmachung“ und „nachträgliche Sichtbarkeit“ auch außerhalb meiner Buch-Referenz gut ankommt.
Gleichzeitig hat er einen Punkt angesprochen, den ich sowieso schon im Hinterkopf hatte, den ich aber bisher nicht wirklich entschieden habe: Wie stark hängt mein Projekt sichtbar am Buch „Beklaute Frauen“ – und wie gehe ich mit Urheberrecht / Bezugnahme um? Sein Hinweis war ziemlich klar: Entweder ich nehme aktiv Kontakt mit der Autorin (Leonie Schöler) auf, kläre, wie/ob ich Inhalte verwenden darf, oder ich finde einen Weg, das Projekt so zu positionieren, dass das Buch nicht als „so offensichtlicher Ausgangspunkt“ im Vordergrund steht. Also: inspiriert sein ist okay, aber die Arbeit sollte trotzdem als eigenes System funktionieren – mit eigener Auswahl und eigener Narration.
Inhaltlich hat er mir dann noch ein paar Keywords mitgegeben, die ich mir fett notiert habe, weil sie mein Thema gut bündeln:
Interaktivität, dynamisches Bild, politisches Plakat – zeitgenössisch, interaktiv.
Das hat bei mir direkt was ausgelöst, weil es genau diese Richtung verstärkt, die ich eigentlich meine: nicht „nur“ schöne generative Visuals, sondern ein Format, das im öffentlichen Raum oder Ausstellungsraum wie ein Statement funktioniert – nur eben aktualisiert für ein digitales / interaktives Setting.
Auch technisch bzw. vom Setup her kam ein sehr konkreter Vorschlag, den ich super finde: Er meinte, er würde es stärker finden, wenn ich nicht projiziere, sondern mit einem normalen Monitor arbeite, den ich physisch überlagere – zum Beispiel durch Beklebung, Karton, Folien, Schichten oder Material, das das Bild wirklich „verdeckt“. Und dass dann die Interaktion nicht nur „Touch = Effekt“, sondern eher wie ein echtes Freilegen funktioniert: etwas wegrubbeln, abziehen, wegwischen, Schicht für Schicht. Das passt inhaltlich eigentlich gut, weil das „Sichtbarmachen“ dann nicht nur eine Metapher in der Animation ist, sondern wirklich im Material passiert. Wobei ich mir noch nicht sicher bin, ob mir das zu “DIY” wirkt oder ob ich das auch sleek umgesetzt bekomme. Projection Mapping fand er eher weniger professionell und nicht so stark, weil es “nur ein schlechter monitor” ist.
Als letzte Inspiration hat er mich noch aufs Ars Electronica Archiv hingewiesen – als Ort, wo ich Referenzen sammeln kann, die in eine ähnliche Richtung gehen (interaktive Arbeiten, Medienkunst, politische oder gesellschaftliche Themen, die über Interfaces vermittelt werden). Das ist für mich gerade auch deshalb spannend, weil ich dort wahrscheinlich Beispiele finde, die mir helfen, meine eigene Arbeit besser zu verorten: Was ist an meinem Ansatz neu, was ist ähnlich, und wo kann ich bewusst abgrenzen oder weiterdrehen?
Unterm Strich war das Feedback für mich vor allem ein Push in zwei Richtungen: konzeptuell sauberer werden (Buch als Ausgangspunkt vs. eigenes System) und physischer/greifbarer denken (Monitor + Analog statt Projektion).
From Notebook Prototype to Local, Exhibitable Software
This iteration was less about adding new conceptual capabilities and more about solidifying the system as an actual, deployable artifact. The core task was migrating the image extender from its experimental form into a standalone local application. What sounds like a technical refactor turned out to be a decisive shift in how the system is meant to exist, be used, and be encountered.
Until now, the notebook environment functioned as a kind of protected laboratory. It encouraged rapid iteration, verbose configuration, and exploratory branching. Moving out of that space meant confronting a different question: what does this system look like when it stops being a research sketch and starts behaving like software?
The transition from Colab-style execution to a locally running script forced a re-evaluation of assumptions that notebooks quietly hide:
Implicit state becomes explicit
Execution order must be deterministic
Errors can no longer be “scrolled past”
Configuration must be intentional, not convenient
Porting the logic meant flattening the notebook’s narrative structure into a single, readable execution flow. Cells that once assumed context had to be restructured into functions, initialization stages, and clearly defined entry points. This wasn’t just cleanup, it was an architectural clarification.
In the notebook, ambiguity is tolerated. In running software, it accumulates as friction.
Reduction as Design: Cutting Options to Increase Clarity
One of the more deliberate changes during this phase was a reduction in exposed settings. The notebook version allowed extensive tweaking, model switches, resolution variants, prompt behaviors, fallback paths, all useful during development, but overwhelming in a public-facing context.
For the exhibition version, optionality became noise.
Instead of presenting the system as a configurable toolkit, I reframed it as a guided instrument. Core behaviors remain intact, but the number of visible parameters was intentionally constrained. This aligns with a recurring principle in the project: flexibility should live inside the system, not on its surface.
Adapting for Exhibition: Y2K as Interface Language
Alongside the structural changes, the interface was visually adapted to match the exhibition context. The decision to lean into a Y2K-inspired color palette wasn’t purely aesthetic; it functioned as a form of contextual grounding.
The visual layer needed to communicate that this is not a neutral utility, but a situated artifact. The Y2K styling introduced:
High-contrast synthetic colors
Clear visual hierarchy
A subtle nod to early digital optimism and machinic playfulness
Rather than competing with the system’s conceptual weight, the styling makes its artificiality explicit.
Stability Over Novelty
Another quiet but important shift was prioritizing stability over feature expansion. The migration process exposed several edge cases that were easy to ignore in a notebook but unacceptable in a live context: silent failures, unclear loading states, brittle dependencies.
Addressing these didn’t add visible functionality, but they fundamentally changed how trustworthy the system feels. In an exhibition setting, reliability is part of the experience. A system that hesitates or crashes invites interpretation for the wrong reasons.
Here, robustness became a form of authorship.
Reframing the System’s Status
By the end of this iteration, the most significant change wasn’t technical, it was ontological. The system is no longer best described as “a notebook that does something interesting.” It is now a runnable, bounded piece of software, designed to be encountered without explanation.
This transition marks a subtle but important moment in the project’s lifecycle:
From private exploration to public behavior
From configurable experiment to opinionated instrument
From development environment to exhibited system
The constraints introduced in this phase don’t limit future growth, they define a stable core from which growth can happen meaningfully.
If earlier updates were about expanding the system’s conceptual reach, this one was about giving it a body.
Nachdem ich mich im letzten Blogpost bereits mit den grundlegensten Lichttheorien von Altmeister Alton auseinandergesetzt habe, soll es heute um das gehen, was ihn eigentlich so berühmt gemacht hat: Noir. Dazu fasse ich die für mich wichtigen Aspekte aus Kapitel drei von “Painting with Light” zusammen.
Alton beginnt das Kapitel wieder mit einem Satz, der eigentlich sinnbildlich für seine Werke steht, nämlich dem Grundstein für die Vermittlung von Thrill, wie man heute sagen würde: “Where there is no light, one cannot see; and when one cannot see, his imagination starts to run wild. He begins to suspect that something is about to happen. In the dark there is mystery.” Seine Grundaussage dabei: Menschen haben seit jeher Angst vor der Dunkelheit. Egal ob in Sagen, oder einfachen Schauergeschichten, die Geister, die Monster leben verborgen im Dunkeln. Und gehen wir vom Keller in den ersten Stock, schalten wir das Licht nicht unten schon ab, sondern erst oben, weil das Licht auf uns fast schon eine Art schützenden Effekt hat.
Für eine mysteriöse Stimmung braucht es laut Alton eine Lichtsetzung, die sehr stark von “echtem” Licht, also quasi Practicals abhängig ist, am liebsten Feuer. Jede Art von Feuer, egal ob im Sesselkreis ums Lagerfeuer, einem offenen Kamin oder nur dem Feuerzeug, das eine Zigarette anzündet, strahlt laut Alton eine gewisse mysteriöse Stimmung aus. Gerade das Anzünden einer Zigarette – das heute mit modernen Kameras tadellos direkt aufgenommen werden kann, damals aber mit kleinen in der Hand versteckten Lampen simuliert wurde, um genug Licht für den farbnegativen Film zu bekommen – erwähnt Alton sehr ausführlich. Und wenn ich genauer darüber nachdenke, hat der Hauptcharacter in fast jedem Thriller an den ich mich erinnern kann eigentlich immer geraucht – interessante Beobachtung.
Alton beschreibt aber nicht nur das Feuer einer Zigarette, als sehr gut geeignet um in einer dimmlich geleuchteten Szene als optimale, mysteriöse Lichtquelle zu fungieren: Auch Spiegelungen, vornehmlich im Wasser auf offener See, aber ich denke da auch an eine Badewanne etc. (oder einem Messer mit dem jemand gerade abgestochen wird), Autoscheinwerfer, die von draußen die Wände entlang wandern, Neonschilder, Suchscheinwerfer, das Mündungsfeuer einer Waffe, das Innenlicht eines Kühlschranks, oder die altbekannte Straßenlampe eignen sich laut Alton perfekt, um sie quasi als Keylight in Mystery-Filmen einzusetzen. Ein weiterer interessanter Tipp: Nässt man den Boden, wirft er tanzende, oft nicht ganz nachvollziehbare Reflexionen an die Wände, die einen unwohlen Effekt verstärken.
Der laut Alton aber wohl effektivste Weg, sind Blitze: Lighting for Lightning quasi. Dafür verwendete er eigens konzipierte Blitzmaschinen, wenn ich an klassische LED-COB´s von heute denke, haben aber fast alle schon einen derartigen Modus. Benutzt man Blitze als eine der Hauptlichtquellen, ist deren Platzierung essentiell. Blitze sollten nie frontal oder seitlich auf Personen fallen, da die Stärke des Lichts Hauttöne völlig ausbrennen würde. Stattdessen sollten Blitze rein nur als back- oder crosslight verwendet werden. Also entweder den Charakter von hinten silhouettieren, oder von schräg (zum Beispiel durch ein Fenster) Schatten an die Wand malen.
Eine besondere Beziehung hat Alton auch zu Kerzen (mit Zigaretten den quasi einzigen “Flammen des kleinen Mannes” könnte man fast schon sagen), da jede Person gewisse Gefühle mit Kerzen assoziiert. Die effektivste Methode um Kerzen einzubauen, ist wenn die Kerze selbst der Hauptlichtgeber ist. Wie schon bei Feuerzeug und Zigarette wurde dies damals durch hohle Kerzenattrappen, mit eingebauten Lichtern realisiert, heute ginge das aber eigentlich problemlos auch so. Für Kerzen die nur im Hintergrund Kontrastflächen geben empfiehlt er batteriebetriebene. Dies hat den Vorteil, dass sie nie abbrennen und sich so keine Probleme mit der Continuity zwischen Shots ergeben.
Auch die abschließenden Worte eignen sich für meiner Masterarbeit eigentlich perfekt. Im Gegensatz zum Eingang, als über die mysteriösen Aspekte der Dunkelheit gesprochen wurde, gilt der Gegensatz nämlich natürlich ebenso. “Where there is light, there is hope”, schreibt Alton da. Und schöner könnte man es eigentlich nicht sagen.
vgl. Alton, John: Painting with Light. Berkely und Los Angeles: University of California Press 2013. S. 44-56.
Lange habe ich überlegt welches Buch ich mir für meine restlichen drei Blogposts (exkl. Fazit) genauer anschauen soll. Mit “Painting with Light”, “Motion Picture and Video Lighting” und “Lighting for Cinematography” habe ich die wichtigsten Quellen aus meiner Literaturliste nämlich bereits zu Hause. Nach kurzem Überfliegen ebenjener bin ich aber zum Entschluss gekommen, dass sich für diese eine letzte Woche, in der alle Blogposts entstehen müssen, eigentlich nur eines davon eignet: Painting for Light. Denn schon beim Überfliegen habe ich festgestellt, dass gerade “Lighting for Cinematography” eine unfassbar geile und nie versiegende Quelle kinematographischen Wissens ist, und noch dazu unfassbar Hands-On erklärt. Auch “Motion Picture and Video Lighting”, hat auf gut 150 Seiten sehr praktische Ansätze, auch wenn es im Rest eher um die technischen Komponenten wie Stromspannungen oder Lichtwellen geht. Einzig “Painting with Light”, das Standardwerk, das man unbedingt gelesen haben muss (zumindest wenn man die schlauen Leute im Internet fragt) ist da eher theoretisch. Außerdem kann es auch gar nicht die aktuelle Praxis auf einem modernen Set widerspiegeln, da der Autor eine digitale Kamera oder LED-Lampe nie mit eigenen Augen gesehen hat. Deshalb habe ich mir zur Aufgabe gemacht, die zeitlosen, die klassischen Theorien aus diesem Standardwerk zu extrahieren und in den nächsten drei Blogposts wiederzugeben. Das hilft mir im späteren Verlauf bei meiner Masterarbeit vor allem dabei, mich nicht ständig nur auf einige wenige Quellen zu berufen.
Für diesen Blogposts habe ich mir seine Grundsätze, seine “Theory of Illumination” angesehen, die ich, für das, dass sie vor gut 70 Jahren entstanden ist, unfassbar eindrucksvoll finde.
The Theory of Illumination
Alton startet seine Theory of Illumination damit, die Kamera richtig zu platzieren, da erst dann überhaupt eine Ausleuchtung Sinn macht. Schon er hat damals erkannt (und er spricht im Text mehrmals über den gerade laufenden oder endenden zweiten Weltkrieg), dass es im Film darum geht eine dreidimensionale Welt auf eine zweidimensionale Leinwand zu bringen, das Hauptproblem auf das eigentlich immer wieder referenziert wird, wenn es darum geht, warum gute Beleuchtung wichtig ist. Er erklärt die Kamerapositionierung für maximalen Effekt aber etwas anders, als ich es von den meisten modernen Quellen gehört habe. Statt Vordergrund- und Hintergrund-Separation als Hauptelement zu nennen, um ein Objekt im Raum wirken zu lassen, ist für Alton der Kamerawinkel entscheidend. Sein Grundsatz: “(…) it is imperative that we photograph everything from an angle from which most surfaces of the subject are visible to the camera.”1 Er erklärt dies mit einem Würfel, der in der totalen Frontansicht überhaupt nicht aussieht wie ein Würfel, sondern wie ein Quadrat, da weder die seitlichen Wände noch die Tiefe nach hinten zu sehen ist. Bewegt man die Kamera zur Seite, bekommt man eine Seitenwand des Würfels aufs Bild, und bewegt man sie nach oben auch noch die Decke. So sieht man gleichzeitig drei Seiten des Würfels und damit das Maximum. Wenn ich an viele Shot-Analysen und Kritiken zurückdenke, die ich mir in der Vergangenheit angesehen habe, so wurde diese Grundlage zwar nie so kommuniziert, war aber eigentlich immer präsent.2
Hat man den richtigen Winkel erst einmal gefunden geht es ans Leuchten. Auch wenn Alton es noch nicht so nennt, ist das was er dabei beschreibt, das klassische Finden einer “Motivation” fürs Licht: “Suppose for instance, that the light source is a reading lamp. By use of a small testlight we determine the position from which the light will properly illuminate the scene, and yet will appear as if coming from the reading lamp.”3 Als nächsten Schritt, um den dreidimensionalen Effekt zu verstärken, empfiehlt er die Implementierung von einem Filllight, das verhindert, dass alle Sichtbaren Seiten des Objekts gleich hell sind. Zuletzt spielt das Verhältnis zwischen Vordergrung und Hintergrund noch eine entscheidende Rolle: “The illusion of depth can be enhanced by the separation of the two; that is, if the foreground is dark, the background should be light, or vice versa.”4 Alton schließt das Kapitel mit einem Satz, den ich wohl zu 99,9 Prozent auch so in meiner Masterarbeit zitieren werde. Quasi einer Checkliste, was für ihn 1945 eine perfekte Beleuchtung ausmacht. “The combination of a foreground, having visible as many surfaces of the object as possible, each surface having a different brightness, and a background of a different tone, makes a picture perfect.”5 All das macht bis heute Sinn und wurde nur umformuliert aber nie verändert.6
P.S.: Falls ihr euch fragt was ich da vom zweiten Weltkrieg und alten Theorien daherrede, wenn das Buch doch von 2013 ist, hier die Antwort ohne wirklich gefragt worden zu sein: Das Buch erschien eigentlich 1949, wurde dann aber immer wieder neu aufgelegt, zuletzt 2013. Alton ist aber schon 1996 verstorben, die einzigen Änderungen bei den Neuauflagen waren immer die Vorwörter oder Ähnliches, nicht aber der Inhalt.
Alton, John: Painting with Light. Berkely und Los Angeles: University of California Press 2013. S. 30. ↩︎
Was passiert mit den Dingen eines Menschen, wenn er stirbt? Kleidung bleibt im Schrank, Tassen stehen noch im Regal, kleine Alltagsgegenstände verlieren plötzlich ihre Selbstverständlichkeit. Margaret Gibson schreibt über solche Dinge in ihrem Buch Objects of the Dead: Mourning and Memory in Everyday Life.
Gibson betrachtet Trauer nicht als abgeschlossenen Prozess, sondern als etwas, das sich leise in den Alltag einschreibt. Und sie zeigt, dass Dinge dabei eine zentrale Rolle spielen. Nicht als symbolische Erinnerungsstücke im klassischen Sinn, sondern als alltägliche Begleiter, die plötzlich Bedeutung tragen.
Ein zentraler Gedanke des Buches ist, dass Objekte nach dem Tod eines Menschen ihre Funktion verändern. Ein Pullover wärmt nicht mehr nur, eine Tasse ist nicht mehr nur Gebrauchsgegenstand. Sie werden zu Trägern von Nähe, Abwesenheit und Beziehung. Diese Bedeutungsverschiebung geschieht nicht bewusst, sondern fast unmerklich – im täglichen Umgang mit den Dingen.
Gibson beschreibt, wie Hinterbliebene mit diesen Objekten umgehen: Manche werden sorgfältig aufbewahrt, andere bewusst weitergegeben oder entsorgt. Diese Entscheidungen sind selten rational. Sie sind Teil der Trauerarbeit. Dinge werden behalten, weil sie verbinden – oder losgelassen, weil sie schmerzen.
Besonders interessant ist dabei, dass Gibson keinen normativen Umgang mit Erinnerungsobjekten vorschlägt. Es gibt kein „richtig“ oder „falsch“. Manche Menschen brauchen die physische Nähe zu den Dingen, andere empfinden sie als Belastung. Beides ist legitim. Trauer zeigt sich hier nicht als innerer Zustand, sondern als Beziehung zu materiellen Dingen.
Das Buch macht deutlich, dass Erinnerung nicht nur im Kopf stattfindet. Sie ist verkörpert. Sie zeigt sich in Routinen, Handgriffen und Gewohnheiten. Das Anziehen eines Kleidungsstücks, das Öffnen einer Schublade, das Berühren einer Oberfläche – all das kann Erinnerung auslösen, ohne dass bewusst darüber nachgedacht wird.
Für Gestaltung und Design ist dieser Ansatz besonders relevant. Denn er verschiebt den Fokus weg von symbolischen Erinnerungsobjekten hin zu alltäglichen Dingen. Erinnerung entsteht nicht nur durch speziell gestaltete Artefakte, sondern auch durch den Umgang mit Bestehendem.
Gibson beschreibt Trauer als etwas, das sich in den Zwischenräumen des Alltags abspielt. Nicht in großen Gesten, sondern in kleinen Momenten. Genau hier können gestaltete Objekte ansetzen: nicht als Ersatz für bestehende Erinnerungsstücke, sondern als strukturierende Elemente. Als Orte, an denen Dinge zusammenkommen dürfen. Als Rahmen, der Bedeutung nicht vorgibt, sondern zulässt.
Objects of the Dead zeigt eindrücklich, dass Dinge keine stummen Zeugen sind. Sie sprechen – leise, individuell und oft widersprüchlich. Sie erinnern nicht nur an den Tod eines Menschen, sondern an sein Leben. Und daran, dass Trauer kein Zustand ist, den man überwindet, sondern eine Beziehung, die sich verändert.
