Hun forsker på effekten av et program hun selv tjener penger på. — Overselger forskning

Tuning in to Kids (TIK) er et foreldreveiledningsprogram, utviklet i Australia, som skal hjelpe foreldre å bli flinkere til å se og forstå barns følelser. Programmet er oversatt til over 15 språk, og ifølge nettsiden har mer enn 650.000 foreldre deltatt i programmet.

Det tilbys også til foreldre i norske kommuner. Psykologer, familieterapeuter og andre fagpersoner kan delta på et todagers kurs til 8000 kroner for å kvalifisere seg som kursholdere for foreldre.

En av de to som var med på å utvikle programmet i 1999, er professor Sophie Havighurst ved Universitetet i Melbourne.

Hun holder også TIK-kurs, blant annet i Norge. Hun opplyser at hun selv får økonomisk vederlag for salg av kursmateriell og at hun kan få fordeler av at programmet får positiv omtale.

Medforfatter gikk ut mot artikkelen

I samarbeid med forskere ved Universitetet i Oslo har hun nylig skrevet en forskningsartikkel som undersøker effekten av programmet på norske foreldre og barn.

Artikkelen konkluderer blant annet med at programmet hjalp foreldre til å bli mindre avvisende til barns følelser og at det reduserte adferdsproblemer hos barn. 

I en kronikk i Tidsskrift for norsk psykologiforening går imidlertid en av de opprinnelige medforfatterne hardt ut mot artikkelen, slik den framstår i preprint-versjonen. 

Førstelektor Rune Flaaten Bjørk ved Universitetet i Oslo hevder blant annet at kollegene overselger funnene om programmets effekt på barn. 

I artikkelen står det at programmet reduserte adferdsvansker hos barn og angst hos sjenerte barn. 

Men Bjørk hevder den påviste effekten i praksis er ubetydelig og at forskerne har «fisket» i dataene for å finne en effekt. 

«Spør du meg, er det svært problematisk å overselge forskning på bekostning av forskningsetikken», skriver han.

sidegjøremål

17 av 21 er ikke åpne om ansattes ekstra inntekter og interesser

Er det mulig å være objektiv? 

På spørsmål fra Khrono om hvordan hun kan forske objektivt på programmet, svarer Sophie Havighurst at hun ikke var prosjektleder for studien.

Hun understreker at dataanalysene ble gjennomført av folk med solid erfaring fra kliniske studier, og at hennes rolle i studien var å sikre korrekt implementering av programmet. 

Professoren har i artikkelen også vært helt åpen om sin rolle i TIK.

Hun er leder for TIKs team for forskning og programformidling og TIK Europe, ifølge deres nettside. 

— Involvering av programutviklere i forskningsprosessen er en kritisk vurdering. Få personer gjennomfører forskningsstudier på nye programmer med mindre de selv har vært direkte involvert i utviklingen, på grunn av det omfattende arbeidet og den lange tidsrammen som kreves for å ta programmer fra pilotstudier til bred implementering, skriver hun til Khrono. 

Har du tips om lignende saker? Kontakt Khronos journalist her. 

Tjener penger på kursmateriell 

Under overskriften «Her er de viktigste studiene» på TIKs hjemmeside, er en oversikt over 41 studier av programmet. Sophie Havighurst er medforfatter på hver eneste av dem.

Hun sier at hun og universitetet får godtgjørelse for salg av manualer til kursene, mens inntekter fra kursene går til programutvikling, forskning og opplæring, og at det er «langt fra en innbringende kommersiell virksomhet».

På artikkelen, som nylig ble publisert, er hun oppført som korresponderende forfatter.

Førsteforfatteren, som ledet studien, døde i fjor. 

Det var rett før påske at en av de opprinnelige medforfatterne på artikkelen, førstelektor Rune Flaaten Bjørk, gikk ut i Psykologitidsskriftet med store metodiske innvendinger mot studien. 

Bjørk skrev at han hadde trukket seg som forfatter på artikkelen fordi han ikke kunne stå inne for resultatene. 

Han hevdet at «formålet her har vært å vise at TIK virker, koste hva det koste vil.»

Bjørk ønsker ikke å uttale seg til Khrono.

Forteller om bindinger i artikkelen

 I forskningsartikkelen gjør Sophie Havighurst tydelig rede for sine bindinger.

Det står at «hun kan dra fordel av positive omtaler» av programmet og det opplyses at programutviklerne og Universitetet i Melbourne mottar vederlag for salg av programmet.

En annen av artikkelforfatterne har også en binding til programmet. I tillegg til å være stipendiat på Psykologisk institutt ved UiO, har hun en 20 prosent stilling i TIK Europe som kurskoordinator.

Styreleder Marit Bergum Hansen i TIK Europe avviser imidlertid at dette er en interessekonflikt, og det blir opplyst om ansettelsesforholdet i artikkelen. 

Videre sier hun at dataene i studien ble analysert før personen ble ansatt hos TIK, og at hun under dataanalysen ikke var stipendiat, men forskningsassistent. 

— Synes du det er problematisk at folk som har egeninteresse av at et program skal få positiv omtale, selv forsker på effekten av det?

— Jeg synes at programutviklere har en tilnærmet plikt til å tilse at det blir forsket på effekten av programmet de har utviklet, for at en skal kunne si at programmet har effekt eller ikke. Det er en fordel med ekstern forankring, sier styrelederen. 

Hun viser til at denne studien ble ledet av en ekstern organisasjon, Psykologisk institutt ved Universitetet i Oslo, og at prosjektlederen også var ekstern. 

— Så lenge programutviklere klart og tydelig redegjør for at man for eksempel har en eierinteresse, er det ikke etisk betenkelig å delta i en effektstudie, sier hun.

— Leter etter «pene resultater» 

Øyvind Kvello, som er psykologiprofessor og har forsket mye på foreldreveiledningsprogrammer, sier det er helt vanlig innenfor dette feltet at programutviklere forsker på effekten av egne programmer. 

— Jeg tror faktisk det er regelen framfor unntaket, sier NTNU-professoren.

Han tror dette kommer fra USA. Det er stor kamp om midlene og programeierne må kunne dokumentere effekt for å få penger. 

— I stedet for å sitte og vente på at noen skal forske på programmet ditt, så har de tenkt at de selv må skaffe forskningsdata, som gjør at de får mer penger, sier han.

— Et annet motiv er rett og slett at det gir mer kontroll. Det har jeg også vært borti. Jeg har sett at for eksempel doktorgradsstudenter eller andre forskere i teamet kjører analyse på analyse på analyse for å se hvilken analyse som gir penest resultat. Å gi fra seg kontrollen over dette kan også være skummelt, for programmets omdømme kan falle fort.

Han uttaler seg generelt om foreldreveiledningsprogrammer, og ikke om TIK-programmet spesielt.

— Tror du man kan stole på at de også vil publisere negative funn, at de ikke finner at programmet virker? 

— Det blir ikke publisert. Da jeg selv jobbet mot å bli professor, oppdaget jeg at selv om du har gode problemstillinger og forklarer funnene veldig godt, vil nesten ikke tidsskriftene ta inn de negative funnene. Og jeg har som sagt vært vitne til at folk kjører analyse på analyse, til de fant det som ga best resultat. Eller, som de sa, «passet best», men det kan nok diskuteres.

KRITIKK

BI-foreleser reklamerte for egen app i undervisning. Studenter reagerer på interesse­konflikt

Lavere effekt med uavhengige forskere 

Han sier at flere, blant annet forskningsorganisasjonen Cochrane, har funnet at det er en tendens at uavhengige forskere finner en lavere effekt av programmene enn det programeierne selv gjør. 

Sophie Havighurst sier at TIK-programmene har blitt evaluert en rekke ganger, både av utviklerne og uavhengige forskere. Jevnt over viser resultatene god effekt, sier hun. 

Enkelte studier gjennomført av uavhengige viser enda større effekt enn studiene til programutviklerne, ifølge henne. 

Kritikk mot skoleprogrammer

Programutviklere som forsker på egne programmer har vært en problemstilling andre steder også, blant annet i skolesektoren.

I 2017 kom det kritikk av den såkalte LP-modellen, utviklet av pedagogikkforsker Thomas Nordahl, og som hadde blitt innført på flere hundre skoler i Norge og Danmark. Det var kun Nordahls forskningssenter (Sepu) som hadde forsket på modellen, og ingen av studiene var da publisert i vitenskapelige tidsskrifter.

Også de såkalte mobbeprogrammene i norsk skole har blitt kritisert for mangel på uavhengig forskning. Programeierne, blant annet universitetsmiljøer, har i stor grad stått for forskningen på programmene selv. Det er brukt mye penger på programmene i norsk skole, men tidligere i år anbefalte Utdanningsdirektoratet å kutte pengestøtten med begrunnelsen at de ikke har god nok effekt. 

Vitenskapsombud: — Ikke uvanlig 

Er det greit for en forsker å ha egne økonomiske interesser i at forskningen din gir positive resultater?

— Det er ikke uvanlig at det skjer. Og hvis det skjer, er det helt nødvendig at det opplyses om i forskningsprosjektet, sier vitenskapsombud Grethe Netland ved UiO, som uttaler seg på generelt grunnlag.

— Så i forskningsetikken er det greit å være inhabil så lenge du opplyser om det?

— Nei, jeg vil ikke dra det så langt. I forskningsverdenen kan det være faglig gode grunner til at en forsker deltar i effektstudier, sier hun og nevner legemidler, medisinsk utstyr eller intervensjoner vedkommende selv har vært med å utvikle eller har eierinteresser i. 

— Det er et veldig godt spørsmål du stiller, som har mange forskningsetiske sider ved seg og som er mye diskutert. Så har man prøvd å gjøre bildet litt klarere, for eksempel med krav om å flagge egne interesser, sier hun.

— Når man begynner å gå inn i dette, er bildet litt mer komplisert enn at man bare kan si at av forskningsetiske grunner ikke kan delta i forskning på noe man selv har en form for interesse i. Det blir for kategorisk, sier vitenskapsombudet. 

Vurdering fra uavhengig komité

Etter en bekymringsmelding fra Bjørk, forskeren som trakk seg fra studien om TIK-programmet, har en uavhengig komité vurdert artikkelutkastet. 

Den mente blant annet at noen av analysene virket «spekulative», og foreslo derfor noen endringer. Men de var ikke enige i Bjørks påstand om at effektene de hadde funnet, i praksis var ubetydelige.

Når det gjelder mulige interessekonfonflikter for Sophie Havighurst, skriver de kun dette:

«Dette er tilstrekkelig opplyst i artikkelutkastet».

Sophie Havighurst og to medforfattere på artikkelen har i Psykologitidsskriftet gitt et tilsvar til kritikken fra Bjørk.

Der avviser de påstander om at de har oversolgt funnene og drevet  fisking etter sammenhenger. De mener at kritikken ikke er dokumentert. 

De viser til at artikkelen er godkjent av en uavhengig ekspertkomité etter grundig gjennomgang, og fagfellevurdert.

Kritikken om selektiv bruk av data tilbakevises med at datagrunnlaget ble brukt på faglig forsvarlig vis. Ifølge forfatterne gir studien et meningsfullt bidrag til feltet, selv om effektene er små.

— Ingen grunn til å ikke publisere 

Til Bjørks påstand om at «formålet her har vært å vise at TIK virker, koste hva det koste vil», svarer Sophie Havighurst:

— Hvis de statistiske analysene viste at studien var effektiv for å forbedre emosjonsfokusert foreldrepraksis og redusere adferdsproblemer hos barn, og utforskende analyser antydet en reduksjon i angst hos de mer sjenerte barna, er det ingen grunn til at resultatene ikke skulle publiseres.

Professor Øyvind Kvello mener generelt at man kan stole på forskning som er utført av programeierne, men med noen forbehold. 

— Stikkprøvene som er gjort viser at vi kan stole på dem. Men vi må tenke at det kanskje er litt svakere og dårligere resultatet i realiteten. 

tidsskrifter

Ekstrem vekst i publisering: — Pervers forretnings­modell