22 Experiment och observationsstudie
22.0.1 Begrepp
- Selektionsproblemet: Inom kausal analys syftar selektionsproblemet på att något fenomen påverkar indelningen i kontroll och behandling, som även påverkar utfallet vi vill studera. Resultatet blir att vi riskerar att dra felaktiga slutsatser från analysen.
- Vetenskapligt experiment: Analys där informationen arrangeras på ett sådant sätt att vi kan dra slutsatser om orsakssamband och effekt.
- Observationsstudie: Observationer av verkligheten där data inte är organiserad för kausal analys.
- Kvasiexperiment: Observationsstudie där analytiker identifierar kontroll- och behandlingsgrupp i efterhand. Detta kan till exempel ske genom att identifiera en mekanism som skapar en oavsiktlig slumpmässig indelning i kontroll och behandling.
- Exogen variation: Variation i det orsakande fenomenet A, vilket i sin tur påverkar B. Variationen påverkas inte av fenomen B.
22.0.2 Teori
I föregående avsnitt introducerade vi kontrafaktisk metod och behandlings- och kontrollgrupper. Syftet med att använda behandlings- och kontrollgrupp är att kunna mäta effekter.
22.0.2.1 Selektionsproblemet
Indelningen i behandlings- och kontrollgrupp ska ske på ett sådant sätt att själva indelningen inte påverkar det fenomen vi vill studera.
Säg till exempel att vi vill studera vilken effekt en utbildning har på studenters framtida inkomster. Vi bestämmer oss för att jämföra studenter som läst utbildningen med resten av befolkningen. Studenterna är vår behandlingsgrupp och resten av befolkningen är vår kontrollgrupp.
Men studenterna som läst utbildningen är ambitiösa och har dessutom fått hjälp från släkten. Båda dessa egenskaper bidrar till (1) sannolikheten att de läst utbildningen och (2) deras framtida inkomster.
Punkt (1) innebär att egenskaperna påverkar vilka personer som fördelas till kontroll- respektive behandlingsgruppen. Punkt (2) innebär att samma egenskaper påverkar inkomsterna.
Även om studenterna inte hade läst utbildningen så hade dom ändå haft högre inkomster jämfört med resten av befolkningen, i genomsnitt i detta hypotetiska exempel. Detta innebär att vår analys kommer att överskatta vilken effekt utbildningen har på inkomst.
I själva verket påverkar utbildningen inte människors inkomster alls. Om någon annan utifrån denna analys bestämmer sig för att läsa utbildningen kommer de alltså felaktig förvänta sig att få högre inkomst därefter.
Denna typ av utmaning kallas för selektionsproblem (engelska selection bias). Det finns en selektion som fördelar människor i kontroll- och behandlingsgrupp på ett sätt som inte är slumpmässigt och som påverkar det utfall vi vill mäta effekten på (i detta exempel var det inkomst).
22.0.2.2 Exogen variation
För att studera om fenomen A påverkar B vill vi även vara säkra på att variationen i A inte är skapad av B, eller av något fenomen som både skapar orsaken A och förändringen i resultat B. Detta kallas för att vi söker en exogen variation i A.
Säg till exempel att vi studerar vilken effekt en medicin har på patienters sjukdomssymptom. Vi skapar behandlings- och kontrollgrupp och bestämmer vilka patienter som tar medicin. Därefter jämför vi hur det går för de olika grupperna. Eftersom vi bestämmer vilka som får medicin och ej skapas variationen i behandling exogent, i relation till behandlings- och kontrollgrupp.
Motsatsen till exogen variation är endogen variation. Till exempel om det endast är patienterna som, av någon annan anledning, håller på att tillfriskna som äter medicinen. Medicinen har egentligen ingen inverkan på sjukdomen, utan det är något annat fenomen som både orsakar att patienterna tar medicinen och att de tillfrisknar.
22.0.2.3 Slumpmässiga experiment
En bra metod för att fördela analysenheter i kontroll- och behandlingsgrupp är slump (randomisering). Tanken bakom detta är att det i regel finns kända och okända egenskaper som kan påverka vår analys. Till exempel studenternas ambitioner och hjälp hemifrån.
Genom att dela in personerna slumpmässigt i kontroll och behandling kommer viktiga egenskaper att fördelas slumpmässigt mellan grupperna. Har vi tillräckligt många deltagare i grupperna så kommer de viktiga egenskaperna inte ha någon inverkan på analysens genomsnittliga resultat. Att använda sig av denna metod kallas för att göra en randomiserad kontrollerad studie (engelska randomised controlled studie, RCT).
Men det är endast när vi har tillräckligt många deltagare som vi kan vara säkra på att slumpen fördelar viktiga egenskaper jämt mellan grupperna. Om vi endast har några få observationer finns det fortfarande stor risk att skillnader mellan grupperna påverkar våra resultat.
22.0.2.4 Människor är komplicerade
Inom samhällsvetenskap är det ofta omöjligt att använda kontrollerade experiment.
Säg till exempel att vi vill studera effekterna av en utbildning. Vi skulle i så fall vilja välja ut en stor grupp människor slumpmässigt från hela befolkningen och slumpmässigt dela denna i två grupper där vi tvingar hälften läsa en utbildning (behandlingsgruppen) och förbjuder resten att plugga (kontrollgruppen). Sedan jämför vi hur det går med inkomsterna.
Det här är så klart helt orealistiskt. Även om vi skulle bortse från det omoraliska i att tvinga människor att läsa en utbildning så är resultaten ändå inte användbara. Deltagarna kommer veta om att de deltar i ett experiment och därför troligen bete sig på ett annat sätt än människor som skulle läsa utbildningen frivilligt.
Och även om deltagarna inte visste om att alltihop var ett stort experiment, finns risken att resultaten för dessa deltagare är annorlunda, jämfört med vad resultaten blir när människor fritt får välja utbildning själva. Detta innebär att även om vi skulle få möjlighet att genomföra den här typen av experiment så skulle resultaten ändå inte gå att lita på.
22.0.2.5 Kvasiexperiment
I stället för slumpmässiga experiment använder samhällsvetenskapen ofta det som kallas för kvasiexperiment. Kvasiexperiment syftar på analyser där indelningen i behandlings- och kontrollgrupp identifieras av analytikern i efterhand.
Ofta sker detta genom att vi hittar någon mekanism som har lett till att det oavsiktligt har skett en slumpmässig indelning i behandlings- och kontrollgrupp. Säg till exempel att regeringen stiftar en ny lag som ska implementeras i alla landets kommuner. På grund av någon form av misstag, säg ett skrivfel i ett dokument, så kommer hälften av landets kommuner (slumpvis vilka) att införa lagen genast och den andra hälften att få lagen ett år senare.
Exakt vilka kommuner som inför lagen tidigare eller senare är slumpmässigt. Detta kan vi använda för att studera effekter av den nya lagen (behandlingen). Trots att vi (analytikerna) inte har planerat detta i förväg har det skett en slumpmässig indelning i två grupper: kommunerna där lagen träder i kraft första året (behandlingsgruppen), och kommunerna där lagen träder i kraft ett år senare (kontrollgruppen).
Ett annat namn på kvasiexperiment är naturliga experiment. Ibland används begreppet naturliga experiment för att beskriva kvasiexperiment, men där indelningen i kontroll och behandling uppstår till följd av en förändring i naturen. Här kallar vi båda sakerna för kvasiexperiment.
22.0.2.6 Kolera i London
Ett känt historiskt exempel på ett kvasiexperiment skedde i London på 1850-talet. Läkaren John Snow noterade att dödligheten i kolera verkade hänga ihop med användningen av smutsigt vatten från floden Themsen.
Genom att studera variationer i dödlighet och vattenanvändning mellan olika delar av London och över tid, menade Snow att man kunde dra slutsatsen att det smutsiga vattnet gjorde befolkningen sjukare. Snow argumenterade för att användningen av rent och smutsigt vatten var slumpmässigt fördelad bland invånarna, via stadens system med brunnar. Detta innebar att Snow kunde identifiera en behandlingsgrupp (invånare som av en slump använde smutsigt vatten) med en kontrollgrupp (invånare som använde rent vatten). Genom att jämföra grupperna gick det att mäta vilken inverkan det smutsiga vattnet hade på invånarnas hälsa.
22.0.2.7 Samvariation
Nu har vi gått igenom olika begrepp och synsätt på kausalitet, orsak, verkan och experiment. Observera dock att det vi alltid studerar är variationer och samvariation. För att svara på om A påverkar B studerar vi variationer i fenomenen och om A och B samvarierar. Vi skiljer på positiv och negativ samvariation.
Positiv samvariation: Fenomen A ökar i genomsnitt samtidigt som fenomen B ökar i genomsnitt. Och omvänt: A minskar i genomsnitt samtidigt som B minskar i genomsnitt.
Negativ samvariation: Genomsnittligt högre värden av A är associerade med i genomsnitt högre värden av B. Högre värden av A är i genomsnitt associerat med lägre värden av B. Se avsnittet Korrelation och kausalitet från Matte 1.
Säg som exempel att vi har en behandlingsgrupp som deltar i en utbildning och en kontrollgrupp vars enda skillnad mot behandlingsgruppen är att de inte deltar i utbildningen. Efter utbildningen får behandlingsgruppen högre inkomster i genomsnitt, jämfört med kontrollgruppen. Vi har i så fall en positiv samvariation mellan utbildning och inkomst.
22.0.2.8 Korrelation är inte samma sak som kausalitet
Samvariation är ett nödvändigt villkor för att vi ska kunna hävda att vi funnit ett orsakssamband. Men samvariation är inget bevis för ett orsakssamband. Detta är enkelt att förstå om vi tänker på hur extremt vanligt det är med variation och samvariation.
Massor av fenomen varierar till exempel med årstiderna. På sommaren svettas vi och äter glass i större utsträckning jämfört med vintern. Vi är dessutom utomhus mer och har tunnare kläder på oss. Många har semester, träffar släkt och vänner, reser utomlands eller till sommarstugor.
Ingen skulle hävda att glassätning är en viktig förklaring till att folk svettas på sommaren eller orsakar fler utlandsresor. Eller att det är glassen som får oss att klä oss lättare. Dessa saker samvarierar, utan att det för den skull nödvändigtvis finns något orsakssamband mellan dom.
Exemplet är övertydligt på ett sätt som det tyvärr sällan är i verkligt analytiskt arbete. Många gånger är det mycket svårt att veta om det vi observerar bara är korrelation eller även kausalitet.
22.0.2.9 Observationsstudier
När vi studerar samvariation är det vanligt att skilja mellan experiment och observationsstudier. I ett experiment arrangerar vi den information vi ska studera på ett sådant sätt att vi kan studera orsak och effekt. Till exempel genom en slumpmässig fördelning i behandling och kontroll.
En observationsstudie är en analys där vi inte kan dra slutsatser om kausalitet. I många situationer kan vi spåra spännande mönster i information. Utifrån dessa mönster är det ofta frestande att dra långtgående slutsatser om orsak och effekt. Om vi inte har ett bra exempel på ett kontrafaktiskt utfall bör man i regel kan vi inte uttala oss om kausalitet.
I denna kurs lägger vi mycket fokus på experiment och kausalitet. Det betyder inte att observationsstudier är meningslösa. Tvärtom är detta också en central del av analytiskt arbete.
Säg till exempel att vi skickar ut en enkät till studenter som läst en kurs och frågar om de haft användning av kursen. Alla deltagare svarar att de är nöjda och att kursen gett dom massa ny information.
Detta är kul och viktig information för oss som arrangerar kursen. Det betyder inte nödvändigtvis att utbildningen haft någon särskild effekt på deltagarnas liv. Vi har inget kontrafaktiskt utfall, eller en kontrollgrupp, att jämföra mot. Deltagarna kanske hade haft ett ännu bättre liv utan kursen.
22.0.2.10 Rikedom och lycka i alla världens länder
I avsnitt 2.4 i kursen Matematik för samhällsvetare jämförde vi hur nöjda människor är i världens länder, jämfört med deras genomsnittliga inkomstnivå (BNP per capita). Invånarna i länder med högre BNP är mer nöjda med sina liv. Detta är ett exempel på en observationsstudie.
Det är visserligen enkelt att argumentera för att högre inkomster generellt möjliggör en livsstil som gör människor nöjdare och lyckligare. Men diagrammet visar inte hur stor effekt en inkomsthöjning skulle ha på människors nöjdhet med livet.
Högre inkomster gör människors liv lättare. Men exakt vilken effekt själva inkomstförändringen har beror på vad pengarna kan användas till och hur inkomstökningen uppstår. Många fenomen som bidrar till länders ekonomiska välstånd påverkar även hur nöjda människor är med livet. Till exempel är frånvaron av krig positivt för ekonomin och för människors nöjdhet med livet.
Övningar