Forms of Interaction in Mixed Reality Media Perfomances - a study of the artistic event DESERT RAIN

by Rinman, Marie-Louise

This thesis describes and analyses the production, presentation / release and audience’s reception of the interactive mixed reality performance Desert Rain. It focuses on forms of interaction and participation in relation to the field of Human- Computer Interaction (HCI). The complex mix of multiple relationships, as well as interaction with devices and artefacts in the performance brings to the forefront several similarities between theatre and HCI: the notion and role of the “audience” (theatre) and “user” (HCI), the “boundary code” (theatre) and “interface” (HCI). In classical drama events are organised in order to constitute a “whole”, by which Aristotle means a beginning, middle and end. The events should have internal coherence and follow one logic sequence from beginning to conclusion. Desert Rain is based on classical dramatic elements: introduction (revealing context), climax (searching for a solution of a task), and finally discovery or change from ignorance to knowledge. The complex set of social interactions and communication is a challenging design problem: interaction with devices, interaction between performer and participant, and communication between participants. Multiple relationships with other people are established and artefacts (props) are exchanged, which make sense as a story unfolds. Each prop is a key and indicates a dramatic turn. Furthermore they indicate a change of level and way of participation. At the end of the performance participants / members of the audience have the necessary information to understand the overall concept. All these elements are minutely designed / directed by the artists. The conclusion is that dramatic structures, as used in traditional theatre productions are as useful in novel forms of interactive environments when various forms of interaction, multiple-relationships and communication are addressed. Direct engagement can be created through hands and feet on activities where users could add new functions to props and interfaces, thus influencing the outcome of the event. Sammanfattning Denna avhandling beskriver och analyserar hur den interaktiva föreställningen Desert Rain har skapats och framförts, ett verk som blandar realitet och virtualitet. Avhandlingen handlar främst om hur olika former av interaktion och publikdeltagande kan ta sig i uttryck i denna typ av verk och relaterar detta till begrepp inom människa-datorinteraktion (MDI). Det komplexa samspelet mellan människa och maskin, dvs interaktion med teknisk apparatur och mellan människor på olika nivåer i föreställningen uppvisar en rad paralleller med MDI: Det ena är begreppet ”publik” (teater) och ”användare” (MDI), samt deras förändrade roll. Det andra är gränsbegreppet, dvs å ena sidan den s.k. ”gränskoden” inom teater (”gränsen” mellan scen och salong) å den andra sidan begreppet gränssnitt (MDI). I den klassiska teaten är händelserna organiserade på ett sådant sätt att de utgör ”ett helt”, vilket enligt Aristoteles innebär en början, en mitt och ett slut. Händelserna ska inbördes stämma överens utifrån ett förutbestämt mönster och följa en logisk linje från början till slut. Desert Rain är konstruerad utfirån dessa klassiska grundelement: introduktion (klargörande av sammanhang, anslag), klimax (sökande efter ett svar på uppgiften, gåtan etc), och slutligen upplösning, dvs då allt uppenbaras och alla bitar faller på plats. Den komplexa sammansättningen av social interaktion och kommunikation är en utmaning ur designsynpunkt: interaktion med artefakter, interaktion mellan deltagare och skådespelare, samt kommunikation mellan de olika deltagarna. Samverkan mellan människor skapas och föremål av olka slag utväxlas, vilka får sin förklaring allteftersom den pågående ”historien” utvecklas. Varje artefakt är en ”nyckel” och indikerar en förändring i ”dramat”. I slutet av föreställningen har deltagarna / publiken den information som krävs för att kunna dra nödvändiga slutsatser och därmed förstå den övergripande idén. Alla dessa element är noggrant planerade och formgivna av de konstnärliga gestaltarna. Slutsatsen är att de former och strukturer som används inom teater även kan användas inom interaktiva miljöer sådana som speciellt omfattar komplexa samspel mellan människor och med artefakter. Möjlighet att ”lägga till” egna funktioner till artefakter ger deltagare/ användare en känsla av delaktighet i nya interaktionsformer.