Brukertest med publikum? Hva med 30 observatører? Diskusjon med Jared Spool.
I fjor tok jeg en kort diskusjon med Jared Spool om hvorvidt det er etisk forsvarlig å ha 30 observatører av en brukertest i samme rom som testdeltakeren. Jeg har ikke postet tråden hit, men på “ett-års-dagen” er det kanskje på tide. Jeg ble faktisk såpass provosert av hans blogginnlegg om observatører at jeg startet opp min egen blogg bare for å kommentere hans blogginnlegg. Det som var spennende var at han faktisk tok seg tid til å svare omfattende på mitt innlegg.
Det var en interessant diskusjon hvor vi hadde en god meningsutveksling – helt til jeg tok en “Jakob Nielsen” og si at “30 observatører i samme rom er 99% bad” (og etter at jeg sammenlignet hans tilnærming med den berømte scenen i filmen elefantmannen hvor den velmenende doktor viste frem elefantmannen til forbløffede kollegaer…) så kan du si at diskusjonen stoppet med hans kommentar: “We can agree to disagree on our approaches.”
Det er vanskelig å gjengi hele diskusjonen her, jeg anbefaler at dere bare leser blogginnleggene med svar. Det er god lesing:
1. Jared Spools opprinnelige blogginnlegg
2. Mitt svar på Jared Spools blogginnlegg.
3. Mitt blogginnlegg som kanskje var litt for “mye”.
Nå – ett år senere – har jeg fremdeles de to blogginnleggene som eneste post på bloggen min. En dag skal jeg få tid til å skrive noe mer!
Hadde også vært interessant å vite hva dere mener om observatører i samme rom som testdeltakerne. Fortrinnsvis etter at dere har lest / skummet igjennom blogginnleggene som jeg omtalte tidligere.
Veldig interessant lesning. Må si jeg er imponert over at Jared tar seg tid til å skrive svar på den måten han gjør. Ser han er aktiv på IXDA-mailinglista også (hvor finner han tiden?
)
Personlig er jeg av samme oppfatning som deg, Haakon. Å ha så mange observatører i samme rom vil påvirke deltakeren. De gangene jeg kjører lettvektsmetodikk (ergo ikke noe kamera og mikrofon) lar jeg det aldri være mer enn tre personer som observerer (testleder 2 observatører). Ut i fra egen erfaring blir folk veldig vare når det flere. Det er mulig dette er en kulturell greie (som du tar opp i ditt eget innlegg, Haakon).
Jared gjør et godt poeng i at det å ha observatører i et annet rom også har effekt. Men det må vel være mer skånsomt å ha de i et annet rom?
Det er sjelden jeg har så mange som 30 observatører, men 10 er ikke uvanlig. Jeg kommer nok til å fortsette med kamera og separate rom når jeg kjører store brukertester.
Jeg lurer på om noen har forsøkt denne metoden i Norge?
frisk og interessant diskusjon!
personlig må jeg vel si meg enig med mr spool i at man bør være forsiktig med å kritisere noe man ikke har prøvd. selv har jeg gjennomført vellykkede brukertester med opptil 3-4 observatører i samme rom som fasilitator og testperson; dog var dette observatører som ble brukt for å logge testen, og ikke kundens representanter, og ingen hadde interesse av å le eller lage andre teite lyder/fakter.
Det er forskjell på å introdusere 3-4 testmedarbeidere og å sette en testperson foran 30 representanter fra oppdragsgiveren (som kanskje har stort eierskap til nettstedet som testes)
Jeg kommer nok aldri til å prøve metoden med 30 observatører, eller 10 for den saks skyld. Vi bruker MSN kommunikasjon fra observasjonsrommet til testlab slik at eventuelle observatører kan komme med synspunkter og spørsmål indirekte, men aldri direktekommunikasjon med testpersonen. Tror det har en god effekt i forhold til å holde stressnivået til testpersonen så lavt som mulig. Men er det noen som har prøvd metoden med mange tilskuere så vil jeg gjerne høre om det!