Navimation : a sociocultural exploration of kinetic interface design

Abstract

NORSK SAMMENDRAG: Samandrag Digitale produkt er ein stadig viktigare del av kulturen vår og er knytte til aktivitetar i arbeid, leik og fritid. Mange av desse aktivitetane skjer gjennom skjermbaserte grensesnitt, som dermed spelar ei viktig rolle i å aktivere og engasjere folk i deira daglege liv. Skjermbasert, visuell bevegelse er eit stadig meir framståande kjenneteikn ved mobiltelefonar, dataspel, operativsystem og nettsider. Denne avhandlinga presenterer ’kinetiske grensesnitt’ som eit sentralt omgrep for å analysere skjermbaserte digitale produkt som er prega av visuell bevegelse. Av fleire konsept som er innførde for å forstå kinetiske grensesnitt, refererer ’navimasjon’ til navigasjonshandlingar som er knytte saman med bevegelse. Skjermbaserte grensesnitt er konstruerte produkt, og må utformast av nokon. Design av grensesnitt spelar ei viktig rolle i å forme meiningar og aktivitetar som vert mogelege via digitale produkt. Det er underskot på designforsking og litteratur som tek føre seg kjenneteikna til kinetiske grensesnitt. Korleis kan vi forstå bruk av bevegelse i kinetiske grensesnitt, og kva er kjenneteikna og det kommunikative potensialet til slike grensesnitt? Korleis kan vi undersøke eit slikt fenomen som kontinuerleg er under utvikling, i og gjennom design? For å forstå desse nye mogelegheitene er det behov for studiar som fokuserer på det kinetiske grensesnittet som ein medierande og kulturell gjenstand i seg sjølv, og erkjenner at desse er situerte i sosiale og kulturelle kontekstar. Denne avhandlinga inneheld tre publiserte forskingstekstar, derav to rapporterer om mine eigne designeksperiment som er utført saman med ulike partnarar innan eit større forskingsprosjekt kalla RECORD. I tillegg er ein metarefleksjon (’kappe’) lagt fram for å plassere og bygge vidare på desse publikasjonane. Ved å nytte ’forsking gjennom design’ kombinerer studien tekstanalyse og tekstkonstruksjon gjennom eksperimentell designproduksjon. Nye analytiske omgrep og konsept er genererte ved å kombinere analyse og design; desse omgrepa er nødvendige både for å forstå og utforme kinetiske grensesnitt. Avhandlinga tek utgangspunkt i eit sosiokulturelt syn på design og analyse av grensesnitt, og nyttar sosialsemiotikk og omgrep frå aktivitetsteori. Dette synet understrekar verdien av det sosiale og kulturelle i menneskeleg aktivitet og meiningsskaping. Avhandlinga argumenterer for at kinetiske grensesnitt spelar fleire roller i moderne kultur og bruk, gjennom semiotisk mediering og instrumentell mediering. Grensesnitt er meiningsfulle og kulturelle gjenstandar som nyttar teikn eller semiotiske ressursar for å kommunisere gjennom utforming og bruk. Samtidig gjer dei det mogeleg å utføre aktivitetar og handlingar gjennom instrumentell mediering, på ein måte som liknar verktøy eller instrument. Eg kallar sambandet mellom desse rollene for dobbel mediering. Forholdet mellom instrumentell og semiotisk mediering er komplekst, og denne avhandlinga legg fram ein ny modell for å forstå det kinetiske grensesnittet som både verktøy og teikn. Dette synet er komplimentert med ei utgreiing om den dialogiske utvekslinga som skjer mellom brukarar og kinetiske grensesnitt, kalla dialogisk interaksjon. Det viktigaste bidraget til avhandlinga er ei rekke nye omgrep som er innførde for å analysere og konstruere kinetiske grensesnitt, for eksempel for sosiale media og surfing på Internett. Studien gjev kunnskap om kinetiske grensesnitt, og demonstrerer at det er mogeleg å konstruere teori og analytiske konsept ved å kombinere designeksperimentering og analyse. ENGLISH ABSTRACT: Abstract Digital artefacts pervade culture and social life in work, play and leisure. Many of these activities are carried out through screen-based interfaces, which therefore take on an important role in enabling and engaging people in their daily life. Screen-based visual movement is increasingly a key characteristic of mobile phones, gaming platforms, operating systems and websites. This thesis presents ‘kinetic interface’ as a key concept for analysing screen-based digital artefacts that are characterised by visual movement. Among several concepts introduced for understanding kinetic interfaces, ‘navimation’ refers to actions of navigation that are intertwined with movement. Screen-based interfaces are constructed artefacts; they have to be designed by someone. Interface design plays an important role in shaping mediated human activity and enabling meaning making. There is a lack of design research and literature on the features of kinetic interfaces. How can we understand the employment of movement in kinetic interfaces, and what are the features and communicative potentials of such interfaces? How may we investigate such a phenomenon that is still emerging, in and through design? In order to understand these emerging potentials, there is a need for studies that focus on the kinetic interface as a mediating and cultural artefact in its own right, recognising its situatedness in social and cultural contexts. This thesis includes three published research texts, two of which report on my own design experiments carried out with business partners within a larger research project called RECORD. In addition, a meta-reflection is presented so as to situate and extend these publications. Taking a ‘research by design’ approach, the study combines textual analysis with textual construction through experimental design production. New analytical concepts are generated by combining analysis and design; these are needed for understanding as well as designing kinetic interfaces. The thesis adopts a sociocultural view on the design and analytical study of interfaces, informed by social semiotics and concepts from activity theory. This view emphasises the importance of social and cultural contexts in human activity and meaning making. The thesis argues that kinetic interfaces play multiple roles in modern culture and use, in terms of semiotic mediation and instrumental mediation. Interfaces are meaningful and cultural artefacts that employ signs or semiotic resources to communicate through their design in use. At the same time they enable activities to be carried out through instrumental mediation, much like tools or instruments. I call these related aspects double mediation. The relationship between instrumental and semiotic mediation is complex; this thesis suggests a new model for understanding the kinetic interface as both tool and sign. This view is complimented with an account of the dialogic exchanges taking place between users and kinetic interfaces, referred to as dialogic interaction. The main contribution of the thesis is a range of concepts that are introduced for analysing and constructing kinetic interfaces, for example in web browsing and social media. The study builds knowledge of kinetic interfaces, and demonstrates the possibility of constructing theory and concepts through design experimentation coupled with analysis.