Effektmåling

Hvorfor måle effekt?

Hva skal man måle?

Fremgangsmåte

Målemetoder

Eksempler

Relevante lenker

Hvorfor måle effekt?

Det er viktig å måle virkning, effekter og resultater av tiltak og tjenester for å sjekke ut om vi faktisk oppnår det vi vil med det vi gjør. Får vi ønskede resultater? Ingen resultater? Eller i verste fall uønskede resultater?

Det å bygge opp en kultur for tilbakemelding og effektmåling i organisasjonen, med direkte brukerinvolvering, kan være krevende både for den som oppfordres til å gi ærlig tilbakemelding, og for den som mottar den. For å lykkes med å skape tiltak som er nyttige og hjelpsomme for brukerne må man være innstilt på å ta konsekvensene av de svarene man får; medarbeidere må være innstilt på å se nærmere på eget arbeid (på godt og vondt), og for ledelsen kan det innebære å måtte gjøre strukturelle og økonomiske endringer.

Gjennom å måle effekt blir det lettere for bydelene å planlegge, prioritere ressursbruk og innsats som skal gjøres. Effektmåling bidrar også til at tjenester og tilbud til innbyggerne blir mer treffsikre og tilpassede.

Effektmåling kan virke ressurskrevende og vanskelig å få til, men det trenger ikke være noen av delene!

På denne siden vil du finne fremgangsmåter og mange ulike metoder som kan brukes til å måle effekt av tiltak for økt barnehagedeltakelse, men som fint kan brukes inn i andre tjenesteområder i kommunen også. Håper det kan være til inspirasjon og nytte!
 Effektmåling er ikke bare for nye tiltak/tilbud/prosjekter, men bør innføres i alle deler av ordinær/pågående tjenestevirksomhet og drift.

Det er bedre å måle noe, enn å ikke måle i det hele tatt!

 

Hva skal man måle?

Effektmåling deles gjerne inn i tre kategorier:

• Kvalitet - f.eks. opplevd kvalitet på tjenestetilbudet eller veiledningen som blir gitt til brukeren
• Effektivitet - f.eks.  spart tid, mer for det samme/det samme for mindre, mer effektive arbeidsprosesser
• Kostnader - f.eks. penger spart, antall ansattressurser reduseres

I tillegg snakker man om «sosial effekt» eller «sosial verdiskapning», som kan virke nesten umulig å måle – men det er faktisk mulig til en viss grad!

Man kan også måle effekt på ulike nivåer eller for ulike grupper:

• Personnivå (brukere/innbyggere/medarbeidere) – f.eks. Opplever de som bruker tjenesten den som bra? Skaper kontaktpunktene et godt møte mellom bruker og saksbehandler?
• Organisasjonsnivå (tjeneste/avdeling/bydel) – f.eks. Er det en fornuftig flyt i arbeidsprosessene? Er rutiner, roller og ansvar tydelig definert? Får vi redusert kostnadene ved å endre på tilbudet?
• Samfunnsnivå (nabolag/bydel/kommune) – f.eks. Bidrar dette tiltaket til et tryggere oppvekstmiljø, Er dette tiltaket med på å utjevne sosiale forskjeller i et område?
  
   

Fremgangsmåte

Godt effektarbeid krever god planlegging. Alle aktører/tjenester som er involvert i tiltaket/tilbudet/prosjektet som skal gjøres bør være med på denne planleggingen (se tverrfaglig samarbeid). Det kan f.eks. være lurt å sette av tid til dette i et felles arbeidsmøte/workshop.
 

1. Formål og leveranse/løsning: Start med å beskrive formålet med tiltaket/tilbudet/prosjektet dere skal gjøre (Hvorfor gjør vi dette? Hva er det vi vil oppnå?) og videre hva tiltaket/tilbudet/prosjektet skal levere (f.eks. en ny tjeneste, utvidet foreldreveiledning eller et nytt kurs)
 

​2. Problemforståelse: Beskriv hvilke utfordringer og/eller problemer som tiltaket/tilbudet/prosjektet skal forsøke å løse (Hva er årsaken til problemer? Hvilke konsekvenser har problemet?). Beskriv gjerne også hvilke løsninger/tiltak som allerede finnes på denne utfordringen eller problemet (f.eks. Hvilken praksis finnes allerede på feltet? Hva gjør dere allerede i egen bydel?).

"First, you must be crystal clear on the problem you are trying to solve. One technique is to draft a vision statement that articulates what the world will look like after you’ve solved this problem. For example, if you are trying to solve the problem of long security lines at airports, your vision statement might be: “No passenger will wait more than five minutes to get through security.” The best vision statements are straightforward and pithy, so they’re easy for everyone understand and remember."
(Leanstartup.com – falling in love with the problem)
 

3. Målgrupper: Beskriv hvilke(n) målgruppe(r) som tiltaket/tilbudet/prosjektet særlig retter seg mot (Hvem vil få en bedre hverdag hvis tiltaket lykkes? Hvem skal vi gjøre en forskjell for, og på hvilken måte?). Det er disse målgruppene dere senere skal lage måleindikatorer for.
Et tiltak/tilbud/prosjekt kan ha flere målgrupper - på ulike nivåer!
 

4. Hovedaktiviteter/tiltak som skal gjennomføres: Beskriv tiltaket/tilbudet/prosjektets hovedaktiviteter, altså det som faktisk skal gjøres (f.eks. teste en ny modell for veiledning eller å lage en ny møteplass for småbarnsfamilier).

Man kan også gjerne beskrive hvorfor man har valgt å gjøre akkurat disse aktivitetene (Hvorfor tror dere at det er akkurat disse aktivitetene som vil gjøre en forskjell for målgruppene? Hvorfor tror dere at det er disse aktivitetene som gjør at man får til det man ikke har fått til før?).
 

5. Indikatorer og målemetoder: Beskriv hva som skal måles (indikatorer). Det må opprettes måleindikatorer for hver målgruppe, og videre hvordan man skal gå fram for å måle disse (se målemetoder). Når skal dere måle – og hvor ofte? (Hver gang etter endt aktivitet? En gang i kvartalet?).

Hvis man har mulighet er det fint å gjøre en «nullpunktsmåling» før man starter opp tiltaket/tilbudet/prosjektet. Det kan gi grunnlag for sammenlikning eller se utvikling senere.
Velg ut noen få indikatorer som er mulige å følge opp, ikke velg for mange eller for komplekse!

Resultatindikatorer- måler det som enkelt lar seg telle, f.eks. hvor mange deltakere man har hatt på en aktivitet. Resultatindikatoren henger ganske direkte sammen med aktiviteten, og kan gjerne si noe om omfanget.  

Virkningsindikatorer – måler konsekvenser av tiltaket, f.eks. hvis resultatindikator måler antall personer som har mottatt veiledning om barnehagetilbudet, kan virkningsindikatoren måle om de faktisk søker barnehageplass etterpå.
 Man kan ikke alltid si noe helt sikkert om årsak – virkning, det kan også være andre (urelaterte) årsaker til at f.eks. foreldre søker barnehage.
 

6. Følg opp og evaluer: Det er viktig at målemetodene følges opp, dokumenteres og evalueres fortløpende – ikke bare etter endt tiltak/prosjekt eller en gang i året. Ha jevnlige tverrfaglige møter med alle involverte aktører. Det å se gode resultater og positive virkninger underveis motiverer til videre innsats – og gir også rom for refleksjoner, læringspunkter og eventuelle justeringer underveis!

Enkel rapporteringsmal for prosjekter/tiltak/tilbud

 

Målemetoder

Her finner du et bredt utvalg av ulike målemetoder; kvalitative og kvantitative, digitale og skriftlige, enkle og komplekse. Velg ut den/de målemetoden(e) som kan passe best til tiltaket/tilbudet/prosjektet dere skal måle.

Kvalitative målinger:
For å skape gode innbyggertjenester som møter brukernes behov er det viktig å ha god kjennskap til målgruppen, samt involvere dem i utviklingen. Gjennom kvalitative metoder kan man skaffe seg verdifull kunnskap og innsikt om målgruppens behov før man igangsetter nye tiltak/aktiviteter, eller for å justere eller evaluere eksisterende tiltak/aktiviteter.

Det å involvere brukere i tjeneste- og tiltaksutvikling har betydning for både form og innhold på tilbudet. Samtidig kan det være med på å øke fagpersoners forståelse for brukernes situasjoner, som igjen kan gi et bedre samarbeid.

Eksempler på kvalitative målemetoder er f.eks. brukerundersøkelser, brukerintervjuer, fokusgrupper og brukerpaneler. Les mer om hvordan man kan jobbe med dette her (link til Verktøykasse for innbyggerinvolvering) eller sjekk ut disse gruppene på Work Place: SAM/Brukerinnsikt og tjenestedesign og SAM/Medvirkning og innbyggerinvolvering.
 Kvalitative undersøkelser der informantene ikke er anonyme krever samtykke og må oppfylle krav i henhold til datalagring og GDPR.
 

Rask feedback:
Dette er metoder som krever lite ressurser og som kan gi en rask og umiddelbar tilbakemelding på det tilbudet man gir. Rask feedback passer godt for å mengdeteste om tiltaket/aktiviteten man tilbyr treffer målgruppen og i hvilken grad, og kan f.eks. gjennomføres på slutten av en samtale, et kurs eller et møte.

• Var denne samtalen nyttig for deg? Lærte du noe nytt?
• Hvor tilfreds er du med hjelpen du fikk? (scoring)
• Vil du anbefale dette tilbudet til dine bekjente?

​Eksempler på enkle målemetoder for dette kan være håndsopprekning, kort der man skal krysse av eller gi en score, putte en grønn/gul/rød lapp i en boks på veien ut for å indikere tilfredshet eller liknende.  
 

Spørreundersøkelser/spørreskjema:
Spørreundersøkelser kan være både enkle eller omfattende. Dette er metoder som kan brukes når man gjerne ønsker mange tilbakemeldinger (kvantitet) og at brukerne kan være anonyme. Det kan enten utvikles svarskjema på papir eller så finnes det også flere digitale løsninger som f.eks. Quest-Back og Google-Docs Forms (https://docs.google.com/forms/u/0/), som kan sendes til brukere på link via epost eller telefon. Svarene som kommer inn behandles automatisk og lagres i et regneark, som gjør det enkelt å samle inn, sortere og organisere informasjon. Regnearket kan analysere svarene, og resultatet kan vises i grafer hvis man ønsker det.

FIT (Feedback-informerte tjenester) er et verktøy som sikrer systematisk tilbakemelding fra brukeren (mye brukt i oppfølging av brukere som er mottakere av psykisk helse-tjenester). Verktøyet er digitalt og består av totalt 8 spørsmål som har til hensikt å finne ut om hjelpen man gir nytter (4 spørsmål før og 4 spørsmål etter samtalen).

Spørreundersøkelser må oppfylle krav i henhold til datalagring og GDPR.

 Det kan være lurt å brukerteste spørsmålene i undersøkelsen med målgruppen for å sjekke om de forstår formuleringer og språk.
 

Måltall og tellinger:
Dette kan være gode metoder for å registrere antall besøkende, hvor mange man når med et tilbud, hvor mange som gjennomfører et kurs eller hvor mange som mottar veiledning. Det kan også brukes til å undersøke effektivitet med tanke på tid og ressursbruk, f.eks. kortere saksbehandlingstid per bruker, færre kontaktpunkter eller antall personer som fyller ut søknader på egen hånd. Det kan være lurt å bruke eksisterende data fra systemer, statistikk eller deltakerlister for å få en oversikt over hvem og hva man skal telle.

Hvis man har mulighet er det fint å gjøre en «nullpunktsmåling» før man starter opp tiltaket/tilbudet/prosjektet. Det kan gi grunnlag for sammenlikning eller se fortløpende utvikling.
 

Medarbeiderundersøkelser:
For å måle effekter for tjenesten/organisasjonen kan man gjennomføre ulike medarbeiderundersøkelser for å undersøke om det f.eks. har blitt enklere rutiner, redusert saksbehandlingstid, antall samhandlingsaksjoner mellom tjenester, bedre synergier, forbedret og raskere kommunikasjon innad og eksternt, mer kjennskap til brukerbehov osv. Til medarbeiderundersøkelser kan alle overnevnte metoder benyttes etter behov (kvalitative, rask feedback, spørreskjema, måltall, tellinger mm.).
 

Talldata og statistikk:
Gjennom å bruke talldata og statistikk kan man følge med på utviklingen for et område. Det kan f.eks. være om barnehagedeltakelsen i bydelen går opp eller ned, hvor mange foreldre som søker om redusert oppholdsbetaling i barnehage og hvor mange som søker barnehage digitalt. Det kan være nyttig å sammenlikne ulike talldata for å se f.eks. hvor mange barn i alderen 1-2 år som besøker helsestasjonen i bydelen vs. hvor mange barn i alderen 1-2 år som går i barnehage. Talldata og statistikk kan gi verdifull informasjon om man bør spisse og målrette innsatsen inn mot ulike bostedsområder, aldersgrupper eller brukergrupper. Talldata og statistikk kan også vise utvikling over tid, som kan ha sammenheng med de tiltak/tilbud/prosjekter bydelen har satt i gang.

 

Eksempler

Eksempel 1: Infostand i nærmiljø

Formål: Gi informasjon om barnehagetilbudet, søknadsprosess og prismoderasjon for at flere foreldre skal få økt sin kunnskap om barnehagetilbudet.

Målgruppe: Foreldre som har barn i barnehagealder, men som ikke benytter seg av barnehagetilbudet.

Hovedaktiviteter/tiltak: Stand på biblioteket/nærmiljøsenter 2 dager per uke (dagtid) der en pedagog fra bydelens fagsenter og en konsulent fra Opptakskontoret informerer om barnehage og svarer på spørsmål.

Måleindikatorer:

• Antall henvendelser på stand
• Type henvendelser (barnehagerelatert eller annet)
• Opplevd relevans for bruker

Målemetoder:

• Telling: registrere antall henvendelser
• Avkryss: krysse av for type henvendelse på skjema
• Rask feed-back: personene som henvender seg på standen blir bedt om å krysse av på et utdelt «svarkort» etter samtalen der de svarer på om de fikk svar på det de lurte på (JA/NEI) og om de lærte noe nytt/nyttig om barnehagetilbudet (JA/NEI). Svarkortet putter de i en lukket boks.

Evalueringspunkter:

• Får vi tilstrekkelig med henvendelser til at det er riktig å bruke ansattressurser på dette tiltaket?
• Opplever foreldrene at de får svar på det de lurer på? Er informasjonen vi gir relevant? Bør vi heller ha andre fagpersoner til stede som kan gi annen informasjon?
• Lærer vi noe nytt om målgruppen som vi kan ta med oss videre? Eventuelt bruke til å justere tiltaket så det treffer bedre?

Eksempel 2: Åpen barnehage

Formål: Tilby en uforpliktende møteplass der foreldre kan delta med barnet og få innblikk i, og bli tryggere på, barnehagen som institusjon. Tilby barn som ikke går i barnehage et pedagogisk dagtilbud.

Målgruppe: Foreldre og småbarn som ikke går i barnehage.

Hovedaktiviteter/tiltak: Åpen barnehage tre dager i uken. Pedagog er til stede for å møte foreldre sammen med barn, arrangere samlingsstund og tilrettelegge for lek og ulike aktiviteter. Pedagogen setter av tid til å informere om hva (ordinær) barnehage inneholder, hvilke fordeler det kan gi å gå barnehage, prismoderasjonsordninger og hjelpe til med å søke barnehageplass.

Måleindikatorer:

• Antall besøkende
• Antall besøkende som allerede har tenkt til å søke barnehage/har søkt barnehage og ikke
• Antall besøkende som får veiledning fra de ansatte om barnehagetilbudet
• Antall foreldre som søker barnehageplass som et resultat av at de har besøkt åpen barnehage (evt. får hjelp til å søke i åpenbarnehage)

Målemetoder:

• Telling – registrere besøkende (både nye og de som kommer igjen), registrere de som har søkt/ikke søkt barnehageplass, registrere antall personer som får veiledning eller søknadshjelp, registrere antall foreldre som søker plass osv.
• Kvalitative undersøkelser – samtaler med foreldre om tilbudet og barnehagevalg

Evalueringspunkter:

• Når vi målgruppen med tilbudet? Er det sammenheng mellom antall barn utenfor barnehage i bydelen og antall som besøker tilbudet?
• Kan vi markedsføre tilbudet på en bedre måte for å nå ut til flere?
• Treffer tilbudet målgruppen og deres behov?
• Lærer vi noe nytt om målgruppen som vi kan ta med oss videre? Eventuelt bruke til å justere tilbudet det treffer bedre?
• Jobber vi systematisk nok med det pedagogiske innholdet i åpen barnehage?

Eksempel 3: Kurs for ansatte i NAV

Formål: Øke kunnskapen om barnehagetilbudet og prismoderasjonsordninger for Nav-ansatte som skal snakke med foreldre om barnehage som en del av sin veiledning av brukere. Skape sammenhenger mellom tjenestene slik at brukere og deres familier får helhetlig oppfølging.

Målgruppe: Ansatte i Familieteam på Nav i bydelen

Hovedaktiviteter/tiltak: En pedagogisk leder for barnehage og konsulent fra Opptakskontoret i bydelen holder kurs for Nav-ansatte på en gang per halvår. Nav-ansatte etablerer nye rutiner for oppfølging av brukere når det gjelder barnehage. Nav-ansatte tar i bruk ansattbrosjyre (for personer som skal snakke med foreldre om barnehage) som en verktøy og støtte i samtale med brukere.

Måleindikatorer:

• Medarbeidere får økt kunnskap om barnehage og prismoderasjon
• Kunnskapen blir integrert i praksis (overfor brukere) – ansatte tar rutinene i bruk
• Antall foreldre/familier som søker (og takker ja til) en barnehageplass som et resultat av veiledning fra Nav

Målemetoder:

• Medarbeiderundersøkelser – ansatte evaluerer kurset og hvorvidt de har lært noe nytt/nyttig
• Ansatte registrerer når de snakker med foreldre om barnehage eller prismoderasjonsordninger
• Ansatte registrerer når de bistår foreldre med barnehagesøknad eller søknad om prismoderasjon

Evalueringspunkter:

• Tar vi i bruk den nye kunnskapen vi har fått i møte med brukere?
• Opplever vi at vi har tilstrekkelig kunnskap til å veilede brukere om barnehagetilbudet?
• Er det en økning i antall brukere som søker (og takker «ja») til barnehageplass?
• Er det en økning i antall brukere som søker prismoderasjonsordninger på grunn av lav inntekt?
• Opplever vi reduksjon i barnehageresistanser hos brukerne våre?
• Har vi økt samhandling med andre tjenester i bydelen, f.eks. barnehagekontoret/opptakskontoret?
  
   

Relevante lenker

• Bydel Gamle Oslo har laget en «Gevinstkokebok»
   
• Oslo kommune sin «Verktøykasse for innbyggerinvolvering»
   
• Under fanen «Innovasjon» på KS sine ressurssider kan man finne mye relevant om effekt- og gevinstarbeid
   
• SoImpact - et verktøy som gjennom seks steg hjelper deg å utvikle gode måleindikatorer for sosial verdiskapning i prosjekter, og som lar deg gjøre enkle målinger for å se om du oppnår målene.