Operator monitor voor immersive experience Helleveeg
technologieën:
Python, Qt, OSC, Unreal Engine, Arduino
datum:
Juni 2025
Immersive Media afstudeerinstallatie Helleveeg maakt gebruik van technisch complexe systemen. Hoe zorg je ervoor dat een operator zonder technische kennis toch de ervaring overzichtelijk in de gaten kan houden? Voor Helleveeg heb ik custom software ontwikkeld om dit vraagstuk op te lossen.
Technische systemen
In Helleveeg word je getransporteerd naar het jaar 1596 en stap je in de schoenen van Odilia. Als dochter van Sijbrand, de alchemist van een klein Limburgs dorp, is het aan jou om het dorp te helen terwijl hij zich elders bevindt. Bezoekers kunnen helende brouwsels maken door met fysieke flesjes in een fysieke ketel te schenken. Qua techniek zit Helleveeg als volgt in elkaar: 6 ESP8266-based draadloze, oplaadbare flesjes sturen data naar een Unreal-game die draait op een televisie, geïntegreerd in de set. Gyro sensors in de flesjes meten of er geschonken wordt, wat doorgestuurd wordt naar Unreal. Game logic checkt of de bezoekers de juiste ingrediënten hebben geschonken, wat in realtime wordt meegenomen in de ervaring.
Vooral de draadloze flesjes zorgen ervoor dat overzicht houden voor een operator lastig is. Zijn alle flesjes wel verbonden? Hebben ze nog wel genoeg batterij? Je kunt niet aan een operator vragen om even de multimeter erbij te pakken of om de serial logs in de gaten te houden. Ook is het voor een operator fijn om in één oogopslag te kunnen zien hoe ver iemand is in de ervaring. Een simpele interface op een schermpje backstage bleek de perfecte oplossing.
Interface design
Mijn inspiratie voor de user interface van de operator monitor kwam uit de iOS control center. De simpele iets ronde eilandjes met (niet te veel) informatie op een vervaagde achtergrond zorgen voor een overzichtelijke en rustige uitstraling. Na een aantal UI iteraties te hebben gephotoshopt kwam ik uiteindelijk uit op deze mockup, die ik heb voorgesteld aan de regisseur:
Programmeren
Toen het design eenmaal was goedgekeurd werd het tijd om te gaan programmeren. De data van de flesjes kwam via de SerialCOM plugin als JSON Unreal in, dus het was voor onze game logic programmer makkelijk om die JSON string via OSC door te sturen.
Mijn software moest drie dingen doen:
- De OSC data vanuit Unreal ontvangen en de UI daarmee updaten.
- Een screen capture laten zien van Unreal.
- Een webcam feed laten zien van de bezoeker in de ervaring.
Vanwege tijd en haalbaarheid heb ik ervoor gekozen om de software tech stack te gebruiken die ik het beste beheers: Python met Qt. Ook de Python-OSC package had ik al vaker gebruikt, waardoor het ontwikkelen van deze “operator monitor” eigenlijk erg soepel ging. Ook had ik het mezelf extra makkelijk gemaakt door gelijk CI/CD op te zetten voor het maken van de final executable, waardoor we snel konden gaan testen en in de laatste dagen ook nog zonder gedoe wat tweaks konden maken. Uiteindelijk stond de operator monitor zo op locatie:
