Social förändring kan undersökas med både siffror och människors erfarenheter. Börja med vilken fråga underlaget ska besvara och skilj mellan vad verksamheten genomför, vad som förändras och vad den kan visa att den bidragit till. En trovärdig uppföljning hjälper organisationen att lära och fatta beslut utan att lova mer än materialet stödjer.
Trettio personer kom. Tjugofem svarade på en enkät. Nästan alla som svarade var nöjda.
Det kan vara goda nyheter för en verksamhet. Det är samtidigt inte ett fullständigt svar på om deltagandet har förändrat människors möjligheter, relationer eller inflytande.
Jag vill att uppföljning ska göra skillnaden tydligare, inte göra arbetet mindre värt. När vi vet vad ett underlag kan säga blir det lättare att försvara en verklig kvalitet och se vad vi fortfarande behöver undersöka.
För en stiftelse, en kommunal verksamhet eller en organisation som utvecklar ett nytt initiativ är detta en strategisk fråga. Vad behöver ni veta inför nästa beslut? Vilken insamling är rimlig? Hur får deltagarnas erfarenheter betydelse utan att de används som dekoration i en berättelse som redan är färdig?
Vilket beslut ska uppföljningen hjälpa er att fatta?
Det finns många saker som går att samla in. Alla är inte lika relevanta för den fråga organisationen står inför.
Inför en fortsättning kan ni behöva veta om verksamheten når dem den är till för och vilka resurser den kräver. Inför en spridning kan ni behöva förstå vilka förutsättningar som varit avgörande. Om ni vill påstå en viss effekt behöver undersökningen kunna pröva just det påståendet.
Skriv därför ned beslutssituationen innan ni väljer mått. Vem ska använda underlaget, när och till vad? Vad skulle kunna ändra den personens eller gruppens bedömning?
OECD:s och EU:s guide från 2024 om social effektmätning betonar användningen av kunskap för organisatoriskt lärande och utveckling, inte enbart extern rapportering. Den inriktningen är relevant när en verksamhet väljer vad den ska följa.
En tydlig fråga kan också minska arbetet. Ni kanske redan har delar av underlaget, medan en annan fråga kräver en mer kvalificerad undersökning. Uppföljningen blir bättre när insatsen står i proportion till beslutets betydelse och till den osäkerhet ni behöver minska.
Tre olika påståenden behöver tre olika sorters stöd
Vi genomförde sex träffar är ett påstående om aktivitet. Deltagarna beskriver att de har lärt känna fler är ett påstående om deras rapporterade erfarenhet. Träffarna minskade ensamheten är ett starkare påstående om en effekt.
Alla kan vara viktiga att undersöka. Men de ska inte användas som om de vore utbytbara.
En verksamhet behöver vanligtvis följa genomförandet: vad som gjordes, vilka som deltog och vilka resurser som användes. Den kan också undersöka förändringar som är relevanta för syftet. Frågan om vad som orsakade förändringen kräver ytterligare eftertanke.
Den brittiska vägledningen Quality in Policy Impact Evaluation skiljer uttryckligen mellan att något har förändrats och att insatsen orsakat förändringen. Att en utveckling inträffar under samma period visar inte i sig hela orsakssambandet.
För den som skriver en rapport är detta en praktisk skillnad. Välj verb som stämmer med underlaget: genomförde, nådde, rapporterade, observerade eller bidrog under vissa förutsättningar. Ett noggrant språk gör det lättare för läsaren att förstå både resultatet och dess begränsningar.
Beskriv varför ni tror att arbetet kan göra skillnad
Innan ett resultat bedöms behöver verksamheten ha en begriplig tanke om hur det skulle kunna uppstå. Vad är sambandet mellan aktiviteten och den förändring ni hoppas på?
Det kan börja enkelt. En viss arbetsform ska ge deltagare tillgång till kunskap och möjlighet att påverka ett beslut. Om det sker förväntas verksamhetens innehåll bli mer relevant för dem. Varje led innehåller antaganden som kan behöva undersökas.
Nestas Standards of Evidence beskriver en tydlig förändringsteori som ett första steg i arbetet med evidens. Den är ett sätt att formulera förväntade samband, inte bevis för att de redan fungerar.
Låt gruppen markera vad den vet och vad den antar. Finns erfarenhet från ett annat sammanhang? Har deltagarna efterfrågat något? Är en avgörande länk ännu oprövad?
Det hjälper er att välja vad som ska följas. Om det är oklart om människor alls kan komma till verksamheten är vägen in en viktig fråga. En avancerad enkät om långsiktiga effekter hjälper föga om ni ännu inte förstår den grundläggande tillgången.
Siffror behöver en definition
Ett deltagarantal kan betyda antal personer eller antal besök. Om samma person kommer flera gånger blir det två olika mått. Båda kan vara användbara, men de svarar på olika frågor.
Bestäm därför vad ni räknar och hur. Beskriv perioden, vilka som ingår och vad som händer med ofullständiga uppgifter. Om flera verksamheter lämnar material behöver definitionerna vara tillräckligt lika för att kunna sammanställas.
Undvik att byta mått mitt i en jämförelse utan att visa det. En ökning kan annars bero på en ändrad registrering snarare än på att fler nås. Var också försiktiga med små underlag där någon enstaka person förändrar en andel mycket.
För ett mindre projekt kan enkla rutiner räcka. Det viktiga är att siffran går att förstå och att organisationen inte använder en osäker uppgift med större precision än den har.
Knyt varje mått till en fråga. Antal nya besökare kan handla om vägen in. Antal återbesök kan visa kontinuitet i användningen. Inget av dem berättar ensamt vad verksamheten betyder för människan. Den frågan kan behöva ett annat underlag.
Människors erfarenheter behöver också undersökas noggrant
Ett samtal kan ge sådant en enkät missar: varför en situation är viktig, hur en förändring används eller vad som fortfarande är svårt. Det gör kvalitativa underlag centrala i många sociala verksamheter.
Men en berättelse blir inte automatiskt ett representativt resultat. Fråga vilka som kommit till tals, hur de valts och vilka erfarenheter som saknas.
Planera samtalen så att människor kan uttrycka både uppskattning och invändningar. Om ledaren för verksamheten själv frågar hur bra allt varit kan det vara svårt att säga något kritiskt. Tänk igenom relationen mellan den som frågar och den som svarar.
Skilj deltagarens utsaga från er tolkning. Det kan vara relevant att se ett mönster i flera berättelser, men läsaren behöver förstå hur ni kommit fram till det. Spara tillräcklig dokumentation för att bedömningen ska kunna granskas inom de integritetsramar som gäller.
I texten om människonära förändring beskriver jag erfarenheter som en källa till kunskap, inte som ett alternativ till noggrannhet. Just därför behöver de tas om hand på ett genomtänkt sätt.
Fråga också efter det som inte fungerade
En uppföljning som bara söker positiva exempel kommer sannolikt att ge en ensidig bild. Det är inte alltid avsiktligt. Frågorna, tidpunkten och vilka som väljs ut kan tillsammans styra vad som kommer fram.
Gör det därför möjligt att beskriva ett hinder, ett avbrutet deltagande eller något som blev annorlunda än förväntat. Fråga vad som var svårt att använda och vilka delar som saknade betydelse.
Det är särskilt viktigt att fundera på dem som inte svarar eller slutar komma. Ni behöver inte anta att de är missnöjda. Men ni kan inte heller räkna deras frånvaro som stöd för att verksamheten fungerar väl.
Redovisa vad ni vet om bortfallet och vad det betyder för slutsatserna. En enkät med mycket positiva svar kan fortfarande vara intressant, men bilden avser dem som svarat.
En verksamhet som tar sådana begränsningar på allvar får bättre möjligheter att utvecklas. Kritiska erfarenheter behöver inte göra resultatet sämre; de kan visa var nästa förbättring är mest angelägen.
Före och efter är inte hela förklaringen
Tänk er att en grupp får svara på samma frågor före och efter en aktivitet. Svaren visar en förändring. Det är relevant information, men flera förklaringar kan fortfarande vara möjliga.
Människors liv kan ha förändrats av andra skäl under perioden. Gruppen kan bestå av personer som själva valt att delta och redan hade särskilda förutsättningar. De som svarade vid båda tillfällena kan skilja sig från dem som inte fullföljde.
För att undersöka orsak behöver man tänka igenom vilket jämförelseunderlag som finns och vilken metod som passar. Det kan kräva kvalificerad utvärderingskompetens. Alla projekt behöver inte genomföra en sådan studie, men de behöver anpassa sina påståenden till det underlag de faktiskt har.
En redovisning kan säga att deltagarna rapporterade en viss förändring och beskriva hur verksamheten kan ha bidragit, samtidigt som andra möjliga förklaringar anges. Det är mer precist än ett säkert effektpåstående.
Det gäller särskilt områden som ofrivillig ensamhet. En aktivitet kan vara uppskattad och ge sociala möjligheter utan att det därmed är visat hur den påverkar en individuell upplevelse över tid.
En enskild siffra kan inte bära alla värden
Det kan vara lockande att sammanfatta en satsning i ett enda mått. Det gör kommunikationen enkel, men risken är att viktiga skillnader försvinner.
En verksamhet kan nå fler och samtidigt ge mindre utrymme åt varje person. En aktivitet kan bli billigare per besök men svårare att använda för dem som behöver mer stöd. Det är avvägningar som behöver synas.
Välj därför några kompletterande frågor snarare än ett mått som förväntas representera allt. Tillgång, upplevd kvalitet, inflytande och resursbehov kan behöva beskrivas på olika sätt.
Det betyder inte att varje resultat ska få ett eget stort system. En avgränsad uppföljning kan kombinera enkel registrering med några väl genomförda samtal och dokumentation av beslut.
Fråga vad som riskerar att bli osynligt om ni bara följer den lättaste siffran. Den frågan är särskilt relevant när resultat används för att fördela resurser. Måttet kan annars börja styra verksamheten mot det som är lätt att redovisa snarare än det som är viktigast för uppdraget.
Låt dem som berörs bidra till vad som ska bedömas
Organisationen kan ha en tydlig bild av vilket resultat den vill se. Deltagarna kan lägga betydelsen någon annanstans. Det behöver få påverka uppföljningen.
Fråga vad de själva tycker är viktigt att undersöka. Är det att kunna delta över huvud taget, att få påverka innehållet eller att använda en ny kunskap? Finns en erfarenhet som verksamhetens standardfrågor missar?
Det innebär inte att deltagarna ska bära hela ansvaret för utvärderingen. Metodval, analys och integritet kräver ett organisatoriskt ansvar och ibland specialistkompetens. Men deras perspektiv kan förbättra relevansen i de frågor som ställs.
Gör också resultatet tillgängligt för dem som bidragit. Berätta vad ni lärt er och vilka förändringar som följer. Annars blir uppföljningen ännu en process där människor lämnar information utan att få se vad den används till.
Det knyter an till delaktighet som verkligt inflytande. Deltagarnas kunskap kan påverka inte bara lösningen utan även organisationens sätt att bedöma om lösningen är relevant.
Integritet är en del av undersökningens kvalitet
Samla inte personliga uppgifter bara därför att de kan göra berättelsen mer övertygande. Utgå från vad frågan kräver och vilka rutiner och rättsliga förutsättningar som gäller.
Den som tillfrågas ska kunna förstå varför informationen behövs, hur den används och vilka val som finns. När känsliga uppgifter eller barn berörs behöver ansvariga funktioner och relevant kompetens vara med i planeringen.
Var noga även när namn inte publiceras. En berättelse kan vara igenkännbar genom kombinationen av detaljer. Det är inte tillräckligt att byta ut ett förnamn och sedan anta att personen är anonym.
Skilj också uppföljning från marknadsföring. Ett medgivande att delta i ett samtal är inte i sig ett klartecken att använda berättelsen i en kampanj eller på en webbplats. Hantera sådana användningar enligt de överenskommelser och regler som gäller för verksamheten.
En respektfull uppföljning behöver inte bli opersonlig. Den kan ge utrymme åt levda erfarenheter och samtidigt skydda människans möjlighet att bestämma vad hon vill dela och i vilket sammanhang.
Ett tänkt exempel: ett nytt sätt att planera med unga
Anta att en verksamhet prövar att låta unga påverka nästa programperiod. Uppgiften är inte bara att ordna träffar, utan att ge deras bidrag en plats i planeringen.
Ni kan följa genomförandet genom att dokumentera vilka som deltog, vilket underlag de fick och när arbetet skedde i förhållande till besluten. Det visar om de grundläggande förutsättningarna fanns.
Ni kan därefter följa bidragen. Vilka förslag fördes vidare? Hur bearbetades de? Vilka beslut förändrades och vilka skäl angavs när något inte genomfördes? Den dokumentationen ger en mer konkret bild av inflytandet än ett allmänt nöjdhetsmått.
Fråga också deltagarna om de förstod uppdraget och kände igen hur deras tankar användes. Fråga personalen vad arbetssättet krävde och vad som behöver ändras för att kunna användas igen.
Om flera beskriver ett tydligare inflytande är det ett viktigt resultat. Det betyder inte automatiskt att all verksamhet nu är mer relevant för alla unga. Den större frågan kan behöva andra underlag och en längre tidshorisont.
Exemplet är tänkt och visar hur uppföljningen kan hållas nära uppgiften. Ett återkommande ungdomsinflytande behöver just denna förbindelse mellan genomförande, beslut och deltagarnas egen erfarenhet.
Rapporten ska leda till ett samtal om nästa steg
En välskriven rapport kan bli liggande om ingen har ansvar för att använda den. Bestäm därför redan från början när underlaget ska diskuteras och vilka beslut som kan följa.
Gör slutsatserna tillräckligt konkreta. Vad verkar fungera och under vilka villkor? Vad bör förändras? Vilken osäkerhet är så viktig att den behöver undersökas före en fortsättning?
Skilj mellan ett resultat och en rekommendation. Resultatet beskriver vad underlaget visar. Rekommendationen är en bedömning av vad organisationen bör göra med den kunskapen, i relation till uppdrag, resurser och andra behov.
Det ska gå att vara tydlig utan att låta säkrare än materialet tillåter. Säg exempelvis att ett arbetssätt är lovande i det prövade sammanhanget och beskriv vad som behöver kontrolleras i nästa steg.
Jag arbetar gärna med den övergången mellan kunskap och beslut. På sidan Arbeta med mig beskriver jag hur analys och strategisk ledning kan förenas. En utvärdering behöver metodkompetens; organisationen behöver dessutom kunna använda den i ett verkligt vägval.
Ge lärandet en plats även efter projektslutet
Vissa frågor går inte att besvara när den sista aktiviteten är genomförd. Ett arbetssätt behöver användas av andra, ett material behöver prövas i vardagen eller en förändring behöver följas över tid.
Planera vad som är rimligt att följa senare och vem som ska göra det. Räkna inte med att projektgruppen fortsätter samla underlag utan ett avtalat uppdrag.
Det kan vara en enkel återkontakt med mottagande verksamheter eller en mer omfattande undersökning. Välj formen efter frågan och hantera deltagarnas kontaktuppgifter och medverkan enligt ansvariga rutiner.
Även ett avslut kan ge kunskap som ska tas vidare. Beskriv varför något inte fortsätter och vad det säger om förutsättningarna. Ett projekt blir inte meningslöst därför att den första formen behöver ändras eller upphöra.
Detta är en del av planeringen för projektens fortsättning. Underlaget ska hjälpa nästa ansvariga att förstå både resultatet och begränsningarna, så att kunskapen inte försvinner med den tillfälliga organisationen.
Låt en kritisk läsare pröva slutsatsen före publicering
Innan rapporten används kan någon som inte deltagit i skrivandet få läsa de viktigaste slutsatserna tillsammans med underlaget. Be personen fråga vad varje påstående bygger på och om formuleringen går längre än materialet medger.
Det kan synliggöra ett omedvetet hopp i resonemanget. Ett uppskattat arbetssätt kanske har beskrivits som en säker effekt. En förändring hos några deltagare kan ha fått representera alla. Ett praktiskt problem kan ha försvunnit ur sammanfattningen därför att det inte passade den övergripande berättelsen.
Granskningen behöver inte göra texten försiktig och svårläst. Ofta blir den tydligare. Ett exakt beskrivet resultat är lättare att förstå och använda än en stor formulering vars innebörd är oklar.
Kontrollera också rekommendationerna. Är de rimliga i relation till det ni vet och de resurser verksamheten har? Framgår vilka frågor som behöver undersökas innan ett större beslut? En rapport ska kunna ge riktning utan att dölja att vissa vägval fortfarande är bedömningar.
Ge sedan den slutliga texten en tydlig ägare. Någon behöver kunna svara på frågor om underlaget och rätta uppgifter om ett fel upptäcks. Det är en del av ett trovärdigt kunskapsarbete, även när uppföljningen är liten och praktiskt inriktad.
En användbar beställning av uppföljning
Beskriv beslutet, tidsramen och vilka frågor ni behöver få belysta. Ange vad som redan finns dokumenterat och vilka människor som berörs. Var öppen med vilka påståenden ni hoppas kunna göra, så att deras rimlighet kan bedömas.
Be sedan om ett upplägg som passar frågorna och resurserna. Skilj enkel verksamhetsuppföljning från en kvalificerad effektutvärdering och använd rätt kompetens för respektive uppgift.
Gör utrymme för att resultatet kan bli mer komplicerat än förväntat. En uppföljning som bara får bekräfta projektets värde har svårt att hjälpa organisationen att utvecklas.
För mig är en god bedömning en del av social hållbarhet i praktiken. Den tar människor och resurser på allvar, gör kunskapen användbar och låter organisationen stå för sitt bidrag utan att göra det större än det är.
Vanliga frågor om att mäta social förändring
Är deltagarantal ett dåligt mått?
Nej. Det kan visa omfattning och användning, förutsatt att ni definierar vad som räknas. Skilj personer från besök och ange perioden. Problemet uppstår när antalet får representera något det inte mäter, exempelvis tillhörighet eller inflytande. Komplettera med underlag som svarar på den förändring ni faktiskt vill undersöka.
Vad är skillnaden mellan resultat och effekt?
Orden används olika, så definiera dem i det egna arbetet. En användbar skillnad är mellan vad som genomförts, vilken förändring som observerats och vad ni kan säga att insatsen orsakat eller bidragit till. Anpassa påståendet till undersökningens förmåga att skilja verksamhetens betydelse från andra möjliga förklaringar.
Kan en liten organisation göra en trovärdig uppföljning?
Ja, genom att välja avgränsade frågor, använda tydliga definitioner och redovisa begränsningar. Enkel registrering, genomtänkta samtal och dokumentation av beslut kan ge användbart underlag. Alla verksamheter behöver inte bevisa en långsiktig effekt. Däremot behöver de vara noggranna med skillnaden mellan vad de vet och vad de hoppas eller antar.
Räcker en före- och efterenkät?
Den kan visa förändringar bland dem som svarar, men ger inte ensam hela förklaringen till varför förändringen skett. Andra händelser, urval och bortfall kan påverka bilden. Om beslutet kräver ett starkare orsakspåstående behövs ett upplägg med lämplig metodkompetens. Beskriv annars resultatet med den försiktighet som underlaget kräver.
Hur använder vi berättelser utan att välja bara de positiva?
Planera vilka erfarenheter ni behöver förstå och hur deltagarna väljs. Ge plats för kritik, frånvaro och oväntade resultat. Skilj utsagor från analys och beskriv vad materialet kan representera. En stark berättelse kan illustrera ett resultat, men ska inte ensam användas som bevis för hur verksamheten fungerar för alla.
Hur många indikatorer bör vi ha?
Tillräckligt få för att användas och tillräckligt relevanta för att belysa uppgiften. Börja med beslutet och välj kompletterande frågor om genomförande, erfarenhet och förändring. Ta bort mått som ingen använder eller kan tolka. Det finns inget universellt antal som passar alla projekt; omfattningen bör följa syfte, resurser och undersökningens risker.
Vad ska en finansiär kunna kräva?
Ett tydligt resonemang om syfte, genomförande och vilket underlag som stödjer slutsatserna. Kraven bör vara proportionerliga och ge utrymme för lärande, även när resultaten inte är de förväntade. Om en kvalificerad effektutvärdering behövs måste rätt resurser och kompetens finnas. Ett stort effektlöfte blir inte mer trovärdigt därför att det är ett villkor i en rapportmall.