Kvalitetssikring av intervensjoner for barnefamilier

NUBU er nasjonalt ansvarlig for implementeringen av behandlingsmetoden Parent Management Training – Oregon - modellen (PMTO) og det kommunale forebyggingsprogrammet Tidlig innsats for barn i risiko (TIBIR) rettet mot familier med barn i alderen 3-12 år som er i risiko for å utvikle eller allerede viser alvorlige atferdsproblemer. TIBIR består av fem ulike intervensjoner og en kartleggingsmodul rettet mot barn, deres foreldre og førskolelærere/lærere. Det er tre familieintervensjoner – PMTO gitt individuelt til familier, PMTO-foreldregrupper og kortvarig foreldrerådgivning. I tillegg inneholder TIBIR kartlegging, konsultasjon til barnehager og skoler, og sosial ferdighetstrening til barnet. Målet er å identifisere, kartlegge, forebygge og avhjelpe atferdsproblemene på et tidlig tidspunkt, og på lavest virksomme innsatsnivå (Askeland, Apeland & Solholm, 2014). Programmet iverksettes av kommunale hjelpetjenester for barn og unge som for eksempel helsestasjoner, barnevern og PP-tjeneste. I 2019 tilbød mer enn 100 kommuner TIBIR i sine hjelpetjenester for barn og unge.

NUBUs tjenestestøtte er å gi opplæring, veiledning og kvalitetssikring til tjenestene som implementerer intervensjonene. NUBU har siden 2012, utviklet en webapplikasjon¹ som skal brukes til å få oversikt over og kvalitetssikre implementeringsaktiviteter i TIBIR. Dette kvalitetssikringssystemet kalles Amelia og er obligatorisk å ta i bruk for alle som arbeider med programmet. Denne artikkelen beskriver kvalitetssikringssystemets formål, funksjonalitet² og hvilke tjenestestøtte det bidras med for å sikre god implementeringskvalitet i kommunale tjenester som implementerer TIBIR.

Målgrupper

Amelia har fire hovedmålgrupper. Implementeringsteamene (nasjonalt, regionalt og kommunalt) bidrar til å etablere og sikre opprettholdelse av kompetanse i aktuelle tjenester gjennom rekruttering, opplæring, veiledning og kontinuerlig støtte til drift, mens undervisere og veiledere gir opplæring og kvalitetssikrer utøvelsen av intervensjonene. Utøverne refererer til de som praktiserer intervensjonene, mens barnefamiliene og deres barnehager og skoler refererer til mottakerne av disse tjenestene.

Formål

Systemet har to hovedformål. Det ene er å være et «hjelpeverktøy» i implementeringsarbeidet for alle som arbeider med intervensjonene. Det andre er å være et kvalitetssikrings- og rapporteringssystem som sikrer systematisk innsamling av og tilsyn med sentrale data for tilstrekkelig å kunne kvalitetssikre implementeringsprosessen og bruken av intervensjonene.

Funksjonalitet

Systemet speiler NUBUs implementeringsinfrastruktur (illustrasjon 1) for TIBIR i et digitalt format. Det digitale formatet har «skreddersydd» funksjonalitet for målgruppene (illustrasjon 2).  I første omgang handler dette om digitalisering slik det forstås i mer tradisjonell forstand, «det vil si å erstatte manuelle eller fysiske oppgaver ved å ta i bruk datatekniske metoder og verktøy» (Wikipedia, 2016). Digitaliseringen skal bidra til å forenkle og effektivisere ulike oppgaver knyttet til implementeringsarbeidet. For eksempel blir materiell til bruk i intervensjonene oppdatert og distribuert digitalt. Videre fyller Amelia funksjonen som en felles nasjonal database for utøvernes kontaktinformasjon og egenaktivitet slik at implementeringsteamene har oversikt over hvor utøvernes ulike arbeidssteder, hvilke tjenester som tilbyr intervensjonene, bruk av intervensjonene og oppfølging av obligatorisk veiledning og kurs.

«Skreddersydd» hjelpeverktøy

Implementeringsinfrastrukturen til TIBIR består av et nasjonalt implementeringsteam (NIT) med ett sentralt team, og fem regionale implementeringsteam (RIT). RITene har ansvaret for implementeringen i hver sin helseregion. Kommuner som implementere programmet oppretter et eget implementeringsteam ledet av en kommunalt ansatt, - en TIBIR-koordinator. Denne har ansvaret for den lokale implementeringen, med støtte fra sitt regionale team (illustrasjon 1). På denne måten bygges det kapasitet og kompetanse i kommunen for at den i størst mulig grad skal kunne «drifte» implementeringen selv.

Illustrasjon 1. Implementeringsinfrastruktur TIBIR.

For de regionale implementeringsteamene gir kvalitetssikringssystemet oversikt over antall TIBIR-kommuner og deres lokale opplæring- og veiledningsaktiviteter, antall praktiserende utøvere og klientantall. Dette skjer både gjennom oversiktsbilder i systemet som viser pågående aktivitet, og gjennom å kunne ta ut automatisk genererte rapporter med informasjon om et arbeidssted, kommune eller region. Funksjonaliteten i Amelia kan også brukes til å dele materiell med regionens TIBIR-kommuner, eller med de andre regionale implementeringsteamene, holde oversikt over opplærte kursledere og veiledere, samt administrere regionale og nasjonale opplæringer av PMTO-terapeuter og deres veiledningsgrupper. For TIBIR-koordinatorer er det utviklet en tilsvarende funksjonalitet tilpasset kommunen (illustrasjon 2).

Illustrasjon 2. Visning av ulike brukertyper og deres funksjonalitet.

Undervisere og veiledere kan bruke systemet til å administrere opplæringer og veiledningsgrupper, registrere deltakere, oppmøte og laste ned undervisnings- og veiledningsmateriell (illustrasjon 3).

Illustrasjon 3. Funksjonalitet i en veiledningsgruppe (registrering av dager, deltakere, veiledere og distribusjon av materiell).

Utøvere har oversikt over egne opplæringer, veiledninger, og kan laste ned materiell til bruk i intervensjonene (illustrasjon 4).

Illustrasjon 4. Materiellvisning for PMTO-terapeuter.

Forutsatt samtykke fra familien kan de også registrere informasjon om selve intervensjonen, slik som antall møter, hvilke komponenter som ble arbeidet med i hvert møte, hvem som deltok, foreldre- og lærerrapportering på barnets problematferd før og etter intervensjonen (se figur 1, rapportering fra 2019), hvor fornøyd foreldrene er med tilbudet og utfallet for barnet og familien (se tabell 1, rapportering fra 2019). Utøvere rapporterer også hvor fornøyde de er med resultatet av intervensjonen for den enkelte familie.

Figur 1. Foreldrerapporterte mål på atferdsproblemer før og etter PMTO-behandling (N=368).
Eyberg Child Behavior Inventory (ECBI) er et kartleggingsinstrument med spørreskjema til foreldre for å kartlegge atferdsproblemer hos barn mellom tre og tolv år. Instrumentet er standardisert og normert i Norge (Reedtz & Martinussen, 2008). ECBI er sammen med en kartleggingssamtale, og observasjon av foreldre-barn-samspill (strukturert samspillsoppgave), en del av en mer omfattende kartlegging PMTO-terapeuten gjør før oppstart av behandling for å identifisere familier med barn som har eller er i risiko for å utvikle atferdsproblemer.

Tabell 1. Antall foreldre som skårer innen hver kategori på foreldrenes fornøydhet med tilbudet og resultatene av PMTO-behandling (N=359).

Det er registrert svar på brukerfornøydhet hos foreldrene i 359 behandlinger. Over 98,60% av foreldrene er veldig godt eller godt fornøyd med behandlingen, mens under 2% er noe eller ikke fornøyd. For barnefamilier ble det utviklet en nettside (www.pmto.no) med informasjon om hva som kjennetegner utfordrende oppførsel hos barn, tips til hva foreldre kan gjøre for å kommunisere bedre med barnet sitt, hva PMTO og TIBIR er og hvor man kan søke hjelp ved behov (illustrasjon 5).

Illustrasjon 5. Nettsiden www.pmto.no.
Nettsiden og foreldremateriellet er oversatt til seks språk (samisk, engelsk, polsk, somalisk, urdu og arabisk).

Familier som mottar PMTO kan også bruke siden til å laste ned materiell som de bruker underveis og etter avsluttet behandling (illustrasjon 6).

Illustrasjon 6. Materiell for foreldre i PMTO-behandling.

Hvordan sikre implementeringskvalitet

Implementeringskvalitet består av to sentrale dimensjoner: Programintegritet og metodeintegritet (Sørlie, Ogden, Olseth & Solholm, 2010). Programintegritet handler om at de nødvendige premissene for å kunne levere tilbudet i en tjeneste er etablert (for eksempel ledelsestøtte til å rekruttere, og lære opp personer i kommunens helsetjeneste), mens metodeintegritet handler om at selve metoden (intervensjonen) gis på den måten som forskning har vist er virksom.

Programintegritet

Programintegritet handler om å sikre organisatoriske rammebetingelser og ressurser som er nødvendig for å sikre en vellykket implementering. For eksempel må implementeringen ha støtte i ledelse, motivasjon og støtte i personalet, og det må avsettes ressurser til sentrale stillinger som PMTO-terapeuter og TIBIR-koordinator. Videre må det etableres veiledningsgrupper for utøvere og rutiner for registrering og bruk av data til beslutningsstøtte. Gjennom systemet har kommunen mulighet til å ta ut sjekklister på nøkkelhandlinger i ulike faser av implementeringsarbeidet, og rapporter på nøkkeltall knyttet til disse handlingene som skal bidra til å sikre god programintegritet. For eksempel, gjennomføres TIBIR-opplæringer med den tidsbruk, innhold og antall opplærte som var planlagt i implementeringsplanen? Her kan man ta ut informasjon om selve kurset, som antall dager, deltakere og deres oppmøte. Har man lykkes med å rekruttere fagpersoner fra aktuelle tjenesteområder (for eksempel helsestasjoner, PPT, barnevern, barnehager og skoler)? Det finnes også oversikter over utøveres utdannelsesbakgrunn, arbeidssted, tjenesteområde og hvor stor del av deres stillingsprosent som er avsatt til arbeid med TIBIR. Er det etablert praksiser for kvalitetssikring av metodeutøvelse i form av veiledning til TIBIR-utøvere? Mottar TIBIR-utøverne den veiledningen som er tiltenkt? For å svare på dette kan data om antall veiledningsgrupper, tidspunkter for veiledning og deltakeres oppmøte hentes ut. Hvor mange familier mottar et TIBIR-tiltak? Her kan man ta ut oversikt over den enkelte utøvers klientantall, samt klientantall på et arbeidssted eller innen et tjenesteområde i kommunen.

Er det noen tjenester og profesjoner som lykkes bedre enn andre i å tilby intervensjonene? Hva kjennetegner disse, og bør dette påvirke hvilke tjenester kommunen satser på å rekruttere fra fremover?

Gjennom de registrerte data kan både TIBIR- koordinator og det regionale implementeringsteamet få tilbakemelding på og føre kontinuerlig tilsyn med viktige nøkkelhandlinger i kommunen. Dette gir muligheter for å reflektere rundt hva som fungerer og hva som kan forbedres ved kommunens praksis, identifisere fremmende og hemmende faktorer for implementeringen og igangsette passende tiltak og støtte for å sikre at implementeringen vedvarer med høy kvalitet. For eksempel kan man se etter trender som: Er det noen tjenester og profesjoner som lykkes bedre enn andre i å tilby intervensjonene? Hva kjennetegner disse, og bør dette påvirke hvilke tjenester kommunen satser på å rekruttere fra fremover?

Metodeintegritet

Kvalitetssikringen av metodeintegriteten i TIBIR ivaretas på mange nivåer, gjennom opplæring av utøvere, kursholdere og veiledere, veiledning og sertifisering av PMTO-terapeuter med det observasjonsbaserte måleinstrumentet FIMP (Fidelity of Implementation Rating System). I tillegg er det årlige obligatoriske vedlikeholdsaktiviteter etter endt opplæring, utarbeidelse av standardisert undervisnings-, veilednings- og foreldremateriell og utøveres selvrapportering på bruk av intervensjonene, om de oppnår ønsket resultat og hvor fornøyde de og familien er med utfallet. Registrering av innholdet i den enkelte intervensjon forutsetter samtykke fra familien.

Intervensjonsdataene kan brukes til å besvare en rekke spørsmål knyttet til metodeintegritet. Benyttes kartleggingsinstrumentene ved oppstart og avslutning? Nås riktig målgruppe i forhold til risikonivå og alder? Henvises de til riktig TIBIR-tiltak? Utøves intervensjonene med det innhold og i den rekkefølge som er beskrevet i håndbøkene? Hvor fornøyde er foreldre og utøvere med intervensjonene og resultatene de har fått? De registrerte dataene gir informasjon om hva som fungerer, og hva som kan forbedres ved utøveres praksis. Dette danner grunnlag for å identifisere hvor det er behov for å sette inn tiltak for å styrke kvaliteten på intervensjonene som gis. For PMTO-terapeuter utarbeides det årlig en nasjonal rapport basert på data som er registrert om bruk av intervensjonen.

Dataene kan også brukes til å analysere hvordan implementeringen fungerer. Lykkes man for eksempel med å arbeide forebyggende? Data om barnas gjennomsnittsalder kan gi en indikasjon på hvor tidlig i utviklingsforløpet barnet og familiens samspillsvansker identifiseres. Når et utfordrende samspill har pågått over relativt kort tid, er det som regel enklere for familien å komme ut av denne negative måten å være sammen på enn om samspillet er mer vedvarende. Det er derfor et mål å identifisere vanskene tidlig i utviklingsforløpet (et kriterium i ICD-10³ for å få en av diagnosene for atferdsproblemer er at barnets vansker har vart i seks måneder eller mer). Dersom barna i de forebyggende intervensjonene har lavere gjennomsnittsalder enn de i behandling tyder det på at tjenestene lykkes i å identifisere barnas vansker tidlig i forløpet, og forhåpentligvis forebygge en videre uheldig utvikling som kunne ført til behov for behandling.

Intervensjonsdataene kan brukes til å besvare en rekke spørsmål knyttet til metodeintegritet. Benyttes kartleggingsinstrumentene ved oppstart og avslutning? Nås riktig målgruppe i forhold til risikonivå og alder? Henvises de til riktig TIBIR-tiltak?

Foreløpig er det kun NUBU som kan hente ut rapporter om intervensjonsdata. Etter hvert skal kommunene selv kunne ta ut rapporter på anonymiserte opplysninger om bruk av TIBIR-intervensjonene i sin kommune. Det er ønskelig at kommunen blir mest mulig selvstendig i sin implementering, og kvalitetssikringssystemet utformes derfor slik at kommunen skal ha mulighet til å administrere mest mulig av implementeringsarbeidet selv. Kommunen trenger også tilgang til egne data til å kunne planlegge og evaluere sin egen implementerings-virksomhet.

Utvikling, drift og brukererfaringer

Utviklingen av Amelia er et pågående arbeid hvor utøvere, implementeringsteam og NUBU i samarbeid tester, bruker og forbedrer systemet. Etter hvert som det utvikles ny funksjonalitet piloteres denne sammen med de som skal bruke den. For eksempel var flere TIBIR-koordinatorer med på planleggingsarbeidet og evalueringen av funksjonalitet som skulle benyttes i kommunene (visning av kurs, veiledningsgrupper, rapporter osv.). Den enkelte TIBIR-utøver oppfordres også til å gi tilbakemelding på forbedringsområder via systemets supportmail. I 2019 var det registrert ca. 1400 brukere i Amelia.

Applikasjonen krever også kontinuerlig tekniske oppdateringer for å ivareta funksjonalitet, sikkerhet og brukervennlighet. Medarbeidere fra NUBU er i samarbeid med programmerere og designer ansvarlige for å planlegge, utvikle og drifte applikasjonen.

I forbindelse med Norges forskningsråds gjennomgang av NUBUs implementeringsvirksomhet (Hestbæk, Skivenes, Bergström, Fisker & Jakobsen, 2016) ble 209 PMTO-terapeuter spurt om hvor ofte de brukte kvalitetssikringssystemet til å finne svar, sjekke TIBIRs implementeringsgrad og gjøre arbeid knyttet til kvalitetssikring. Besvarelsene viste at systemet representerte en informasjonskilde for to tredjedeler av PMTO-terapeutene, og at ca. halvparten brukte det til kvalitetssikring av PMTO-arbeidet. Utover dette er det ikke gjort noen systematiske undersøkelser av brukernes erfaringer med systemet.

Oppsummering

Utviklingen av det digitale kvalitetssikringssystemet Amelia har bidratt til å forenkle arbeidet med systematisk datainnsamling av implementeringsaktiviteter for TIBIR. Det skal sikre informasjonsflyt om TIBIR-implementeringen mellom praktikere, implementeringsteam og beslutningstakere. Dataene synliggjør ressursbruk, muliggjør sammenligninger på tvers av tjenesteområder, og legger grunnlag for evalueringer og videre planleggingsarbeid i kommunen.

En kontinuerlig utfordring er å sikre pålitelige og gyldige data. Mange tjenester i kommunen har allerede omfattende dokumentasjonskrav i andre systemer, og det har kommet tilbakemelding fra utøvere på at det er tidkrevende å dobbeltføre opplysninger. NUBU er derfor opptatt av å holde den obligatoriske dokumentasjonsmengden så lav som mulig. Likevel, for å sikre tilstrekkelig datagrunnlag til evaluering og planlegging er registrering og bruk av systemet gjort til en obligatorisk del av implementeringen, og årlig registrering av klientantall og deltakelse på veiledning er en del av utøveres vedlikeholdskrav.

Utviklingen av det digitale kvalitetssikringssystemet Amelia har bidratt til å forenkle arbeidet med systematisk datainnsamling av implementeringsaktiviteter for TIBIR.

Det er også viktig å holde seg oppdatert på og benytte det potensialet som teknologien muliggjør, for eksempel integrere bruk av digital datainnsamling som en del av behandlingsopplegget, eller tilrettelegge for at familier som bor langt unna et behandlingssted kan få hjelp via digitale plattformer. Mulighetene er mange for å ta et enda lengre «steg» inn i digitaliseringen av NUBUs tjenestestøtte.