Max/MSP
Voor vijf kantoren in het bedrijvenpand op de Krommewetering 21, hebben wij een intercom systeem ontwikkeld met behulp van Max/MSP. Net als Quartz Composer is dit een node-based programma voor het ontwikkelen van software systemen. Omdat de mogelijkheden voor audio en video over netwerken en integratie van user-interface hierin uitgebreider zijn, is voor dit programma gekozen. Daarnaast is gebruik gemaakt van een microcontroller (Arduino) voor het openen van de deur.
Intercom
Toyota Game
De Toyota Game bestond uit twee onderdelen. Het digitale scorebord en positie tracking van de Toyota IQ. Het digitale scorebord is ontworpen met Photoshop en is met Quartz Composer interactief gemaakt. Bij elk omgereden pion wordt de spatiebalk ingedrukt door een jurylid, zodat dit getal oploopt en tegelijk de score omlaag schiet op het scorebord. Met overige toetsen kan dit terug gedraaid en gereset worden. Ook is er een stopwatch in verwerkt. Daarnaast werd de Toyota IQ getracked door de AirScan, om vervolgens met Widget Designer de coordinaten door te geven naar de Toyota IQ in het virtuele parcours. De bestuurder van de Toyota kreeg aanwijzingen van een teamgenoot, die goed zicht had op het digitale parcours.
Personal Lightshow
Het publiek wordt direct betrokken bij de lichtshow. Wisselend kunnen mensen gaan dansen in een virtueel afgebakend gebied op een podiumdeel of de dansvloer. Het lichaam wordt getracked, waarna het dienst doet als bediening van het licht.
Kinect Skeleton macro’s / tryplex toolkit
oneseconds – http://www.oneseconds.com
tryplex – http://www.tryplex.org
Onderzoek Interactiviteit
In het najaar van 2011 zijn wij op Tenfeet begonnen met onderzoek naar de mogelijkheden voor Interactieve Systemen en User Interfaces. Met veel enthousiasme en ideeen hebben we gezocht naar geschikte hardware en software en zijn we in de volgende paketten gedoken: Max/MSP, Widget Designer, Quartz Composer, TouchOSC, VDMX5, Touch Designer en Unity3D.
Interactive Video
Tijdens mijn afstudeer project in 2009 is voor de ontwikkeling van interactieve visuals voor de Vimuxx, gekozen voor Quartz Composer. Quartz Composer is een node-based programma van Apple waarmee, zonder direct gebruik van code, software systemen mee zijn te ontwikkelen. Het visuele gedeelte is zeer uitgebreid en snel. Sindsdien is dit de basis geweest voor de ontwikkeling van de Vimuxx en zijn er vele andere mogelijkheden van Quartz Composer verkend. Hierbij heb ik veel hulp gehad van Joris de Jong (www.hybridvisuals.nl). Enkele opties: video- en audio-input, particle generator, 3D objecten laden (obj, 3ds, etc), augmented reality, skeleton tracking, gezichtsherkenning, communicatie via netwerk met o.a. MIDI/OSC/ArtNET en tal van andere modules. Op www.kineme.net zijn verschillende plugins hiervoor te vinden. Hieronder vindt u enkele animaties die ik heb gemaakt, waarvan de meesten worden weergegeven in VDMX5 (www.vidvox.net).
Vimuxx Events
De Vimuxx is gaandeweg steeds door ontwikkeld, waarbij de user interface steeds verder verfijnd is en er meer Quartz Composer content is gemaakt. Ook zijn er tests gedaan om de visualisaties te koppelen aan de BPM (beats per minute) uit DJ programma’s zoals Traktor PRO en Ableton Live.
Buma Harpen Gala @ Utrecht Muziektheater, 03-03-11
Noodlanding @ Paradiso Amsterdam, finale VJAcademy, 14-04-11
Guus Meeuwis @ Phillips stadion Eindhoven, 16 t/m 19-06-11
Qore 3.0 @ HMH Amsterdam, 05-11-11
Rave 4 Mama, Serious Request @ LVC Leiden, 22-12-11
Tele2 @ Westergas fabriek Amsterdam, 10-02-12
Apollo de lucht in @ Stairway to Heaven Utrecht, 11-05-12
Vimuxx VJ
Het laatste ontwerp van de Vimuxx is opgebouwd met vier video layers, verschillende functies en effecten gericht op het bredere VJ werk. Daarbij is het mogelijk om via ArtNET de kleuren te bepalen door een zelf geschreven plugin. E zijn twee MediaBin kaders rechts voor het kiezen van Animaties of stils die real-time in de Quartz Composer visuals worden geprojecteerd. Verder is met de sneltoetsen op de controller o.a. effecten, kleuren en presets te kiezen, per layer een beweging of LFO te kiezen en is de snelheid, de grootte en het aantal objecten per Quartz visual met de draaiknoppen te bedienen. Ook zijn er knoppen vrij om door de gebruiker naar wens in te vullen. Met het toetsenbord (met de spatiebalk) is de BPM in te voeren of tekst voor de tekstgenerators of voor het laden van 3D modellen. Overige functionaliteiten zoals audiotriggers, Wii koppeling, Live feed of Syphon input behoren ook tot de mogelijkheden. Voor meer informatie verwijs ik u graag door naar Vidvox en tutorial video’s.
Vimuxx PRO
Deze variant van de Vimuxx is gericht op een gebruik met hoge resolutie video. De verschillende PNG afbeeldingen en Quartz Composer animaties dienen als bouwstenen om nieuwe content te genereren. Daarbij is er een standaardisatie van beschikbare parameters, zoals snelheid, grootte, hoeveelheid, positie en richting, die vrij zijn te bedienen of te koppelen aan een LFO of de controller. Omdat de Quartz Composer visuals real-time gerenderd worden, is dit zeer belastend voor het werkgeheugen en het grafisch geheugen. Bij een hoge resolutie en meer layers kan dit leiden tot een terug gang van de frame-rate. Daarom is de Vimuxx PRO zo licht mogelijk opgebouwd met enkel twee video layers. Daarbij is gebruik gemaakt van de nieuwe versie van VDMX5, die meer functionaliteiten biedt, maar ook beperkingen heeft. Het is hierbij niet meer mogelijk om de grootte van de kleurschijf, knoppen en faders aan te passen. Om de belangrijke functionaliteiten volledig met sneltoetsen te kunnen bedienen is er gezocht naar een passende MIDI controller. De Ohm64 van Livid Instruments heeft veel bedieningscomponenten en biedt veel mogelijkheden.
Het ontwerp voor de grafiek van deze controller is uitgwerkt in CorelDraw en is uit een kunststof plaat gesneden met de Epilog lasercutter in het CabFabLab Den Haag en later ook bij ProtoSpace Utrecht.
Vimuxx Prototype
Na mijn afstuderen is voor Tenfeet, in samenwerking met Gregor van Egdom, een prototype van de Vimuxx ontwikkeld. Dit ontwerp is geintegreerd in een 19 inch flightcase met een 19 inch breedbeeld touchscreen. Daarbij zijn de hardware bedieningscomponenten aangesloten op een microcontroller (Arduino) en sturen zij een OSC signaal uit via een PureData patch. The User Interface is uitgewerkt in VDMX5, dat een uitstekende ondersteuning bied voor interactieve visuals van Quartz Composer. Daarbij is VDMX5 modulair opgebouwd en zijn er extra modules te programmeren met Quartz Composer, zoals de Color Chase. Hierdoor is de user interface met de verschillende functies, effecten, knoppen en faders naar eigen inzicht en behoefte samen te stellen.