Forfatter

Charlotte Reedtz
Monica Martinussen

Utgave

Årgang 2011, utgave 1 nr 11
ISSN: 1893-9910
Publisert: 30.11.2011

Vedlegg

Søkestrategi ECBI

Måleegenskaper ved den norske versjonen av Eyberg Child Behavior Inventory (ECBI)

Eyberg Child Behavior Inventory (ECBI) ble utviklet på 70-tallet i USA (Eyberg & Ross, 1978) som et kartleggingsverktøy for å avdekke atferdsproblemer hos barn og unge i alderen 2 til 16 år. ECBI ble oversatt til norsk i 1999 av Willy-Tore Mørch, Universitetet i Tromsø. Psychological Assessment Resources (PAR) i USA forvalter lisenser for bruk av ECBI. ECBI kan anvendes til screening , til klinisk virksomhet, samt til forskningsformål. ECBI inneholder 36 ledd som skåres på en intensitetsskala og en problemskala. Intensitetsskalaen måler frekvensen av utfordrende atferd hos barnet på en Likert skala fra 1 (aldri) til 7 (alltid). I ECBI problemskalaen testes om de samme 36 formene for atferd representerer et problem. Skårene på intensitetsskalaen bidrar til å vurdere barnets atferd, mens skårene på problemskalaen bidrar til å vurdere hvilke utfordringer barnets atferd representerer for foreldre eller andre primære omsorgsgivere. Det tar 10-15 minutter å fylle ut ECBI for den voksne, og det stilles ikke særskilte kompetansekrav til de som administrerer og skårer ECBI utover testspesifikk kompetanse.

Til sammen 12 studier ble lagt til grunn i denne oversikten; 11 norske og en svensk, og disse var gjennomført med barn i alderen 4-9 år i både kliniske og ikke-kliniske utvalg.

Psykometriske data omfattet gjennomsnittsverdier, standardavvik i representative normgrupper, subgrupper og kliniske utvalg, samt beregninger av indre konsistens og eksplorerende faktoranalyser.

Konklusjonen er at testen har svært god reliabilitet og har norske normer fra et representativt utvalg. Noe evidens støtter testens begrepsvaliditet.

English abstract

Reedtz, C. & Martinussen, M. (2011). Psychometric properties of the Norwegian version of Eyberg Child Behavior Inventory (ECBI). PsykTestBarn, 1:11.

Eyberg Child Behavior Inventory (ECBI) was developed in the US during the 1970’ (Eyberg & Ross, 1978) as a parent rating scale to assess behavior problems in children aged 3-16 years. ECBI was translated from English to Norwegian by Willy-Tore Mørch, the Arctic University of Norway. Psychological Assessment Resources (PAR) in USA distributes licenses needed to use the inventory. The ECBI can be utilized as a tool for screening, for clinical use, as well as for research purposes. It provides a list of 36 problem behaviors commonly reported by parents. The inventory assesses behavior on two dimensions, the frequency of the behavior and whether parents consider it as a problem. The frequency ratings range from 1 (never) to 7 (always), and are summed up to make an overall problem behavior Intensity Score ranging from 36 to 252. The problem identification assessment requires the parent to respond “yes” or “no” to the question: “Is this behavior a problem for you?” The total Problem Score ranges from 0 to 36, and is calculated by summing the number of problems indicated by the parents. Scores from the Intensity Scale are used to evaluate the child’s behavior, whereas scores from the Problem Scale are utilized to evaluate which challenges the child pose on primary caregivers. It takes about 10-15 minutes to complete the ECBI. There is no need for certification in order to administer the ECBI, except test-specific competence.

A total of 12 studies were included in this review; 11 Norwegian studies and one Swedish. These studies were conducted with children aged 4-9 years in both clinical and universal populations.

Psychometrical data consisted of mean values, standard deviations in representative norms groups, subgroups and clinical samples, as well as internal consistency and explorative factor analyses.

The ECBI has very good reliability as well as Norwegian norms from a representative sample. Some evidence lends support to the construct validity of the test.

html Full tekst (HTML)     PDFECBI Hele artikkel (PDF)

 

Innledning

Eyberg Child Behavior Inventory (ECBI) ble utviklet på slutten av 70-tallet i USA (Eyberg & Ross, 1978) som et kartleggingsverktøy for å avdekke atferdsproblemer hos barn og unge. ECBI ble oversatt til norsk i 1999 av Willy-Tore Mørch, Universitetet i Tromsø, i forbindelse med evalueringen av foreldreveiledningsprogrammet De Utrolige Årene. ECBI er oversatt til flere språk, blant annet også til svensk (Axberg, Hansson & Broberg, 2008) og til dansk ved Charlotte Horsted og Mette Birk-Olsen ved CAST, Syddansk Universitet Odense. Erfaringene med bruk av den danske oversettelsen er foreløpig ikke publisert. Man må ha avtale (lisens) med Psychological Assessment Resources Inc. (PAR) i USA for å kjøpe og bruke ECBI.

ECBI er standardisert for foreldre med barn i alderen 2 til 16 år. Den kan anvendes til screening i helsefremmende og forebyggende virksomhet, klinisk og til forskningsformål. Det tar 10-15 minutter å fylle ut ECBI for den voksne. ECBI inneholder 36 ledd som skåres på to skalaer, en intensitetsskala og en problemskala. Intensitetsskalaen måler frekvensen av utfordrende atferd hos barnet på en Likert skala fra 1 (aldri) til 7 (alltid). Eksempler er ”slåss med søsken” og ”krangler med foreldrene om regler”. Med ECBI problemskalaen spørres primære omsorgsgivere om de samme 36 formene for atferd representerer et problem. Disse spørsmålene besvares med ja/nei. Skårene på intensitetsskalaen varierer fra 36 til 252, mens problemskalaen går fra 0 til 36. Skårene på intensitetsskalaen bidrar til å vurdere barnets atferd, mens skårene på problemskalaen bidrar til å vurdere hvilke utfordringer barnets atferd representerer for foreldre eller andre primære omsorgsgivere. Svarene summeres opp i to totalskårer, henholdsvis ECBI intensitetsskala og ECBI problemskala.

Resultater fra flere titalls internasjonale studier støtter reliabiliteten og validiteten knyttet til ECBI (se f.eks Funderburk, Eyberg, Rich & Behar, 2003; Gross, Fogg, Young, Cowell, Sivan & Richardson,  2007; Robinson, Eyberg & Ross, 1980; Burns, Patterson, Nussbaum & Parker, 1991). Flere internasjonale studier har undersøkt både indre konsistens og test-retest reliabilitet for instrumentet med gode resultater (Funderburk et al., 2003; Gross, et al, 2007; Robinson, et al., 1980). Eksempelvis var Cronbachs alpha 0,93 for intensitetsskalaen og 0,91 på problemskalaen basert på et normalutvalg amerikanske barn i alderen 2 til 17 år (N = 1384) (Burns, et al., 1991). Tilsvarende var resultatene 0,94 og 0,92 for skalaene basert på et utvalg 682 amerikanske barn med ulik etnisk bakgrunn (Gross et al., 2007). ECBI’s test-retest reliabilitet er undersøkt i utenlandske studier som har vist test-retestkoeffisienter på r = 0,75 for både intensitetsskalaen og problemskalaen (Gross, et al, 2007; Robinson, et al., 1980). Internasjonale studier har ikke påvist kjønnsforskjeller, men både i den norske og den svenske normstudien fant man at gutter skåret signifikant høyere enn jenter på intensitetsskalaen og problemskalaen (Reedtz et al., 2008; Axberg et al., 2008). I både norske og internasjonale studier er det avdekket signifikante aldersforskjeller, og den norske studien presenterte derfor data for de ulike aldersgruppene samt for jenter og gutter separat (Reedtz, Bertelsen, Lurie, Handegård, & Mørch, 2008). Generelt avtar gjennomsnittsskårene på begge skalaene med økende alder på barnet. Det er også presentert grenseverdier (cut-off) for 90. prosentilen, som kan brukes til å identifisere de barna som har behov for behandling. Denne grenseverdien er både basert på anbefalinger fra opprinnelsesmiljøet (Robinson, Eyberg & Ross, 1980) og på resultater fra en norsk klinisk studie (N = 127) der barna også ble kartlagt ved hjelp av Kiddie-Sads, og der man fant at barn med skårer over den 90. prosentil også ble diagnostisert med atferdsproblemer med Kiddie-Sads (Larsson, Fossum, Clifford, Drugli, Handegard & Mørch, 2009).  Den norske normstudien viste at gjennomsnittsskårene for det norske utvalget var lavere enn for det opprinnelige amerikanske. Det er usikkert om dette indikerer en lavere forekomst av atferdsproblemer i Norge enn i USA, eller om norske foreldre har en større toleranse for problematferd.

 

 

Metode

Vi søkte etter dokumentasjon på testenes psykometriske egenskaper i databasene Norart, BIBSYS, SveMed+, Cochrane Library, PsycINFO, Medline og Embase. Søkedato: 23.05.2011. Søkestrategien er tilgjengelig på http://www.r-bup.no/CMS/ptb.nsf/pages/ecbi. Vi har også hatt kontakt med førsteforfattere av inkluderte artikler, samt oversetterne av ECBI, for å identifisere dokumentasjon som eventuelt ikke ble fanget opp av det systematiske søket.

Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:

  • normdata for testen
  • reliabilitet: indre konsistens, test-retest, interrater og endringssensitivitet
  • validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur

I tillegg, og kun for norske versjoner av ECBI, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper.

To forskere gikk gjennom sammendragene til alle identifiserte publikasjoner, uavhengig av hverandre, etter at dubletter var fjernet. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og prosessen over ble gjentatt for fulltekstrapportene.

To forskere vurderte normering, validitet og reliabilitet, uavhengig av hverandre, ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (EFPA 2008).

 

 

Resultater

Litteratursøk

Søket etter dokumentasjon for de psykometriske egenskapene til ECBI på norsk resulterte i 13 referanser, hvor av 12 virket relevante og ble bestilt i fulltekst. Til sammen 10 av disse 12 ble inkludert i denne gjennomgangen. To av de 12 publikasjonene oppfylte ikke inklusjonskriteriene og ble ekskludert da de ikke inneholdt kvantitative resultater for ECBI (Drugli, Clifford, & Larsson, 2008; Fossum, Drugli, Handegård, & Mørch, 2010). I tillegg foreslo vi to publikasjoner som også ble inkludert (Drugli, Larsson, Fossum, & Mørch, 2010; Reedtz, Handegård, & Mørch, 2011).

Databasesøket etter dokumentasjon for de psykometriske egenskapene til ECBI på svensk og dansk resulterte i to referanser, hvorav én ble gjennomgått i fulltekst (Axberg et al., 2008).

De 12 inkluderte publikasjonene rapporterte resultater fra fire ulike studier hvor enten ECBI inngikk som måleinstrument, eller det var gjennomført studier for å undersøke testens psykometriske egenskaper. De fleste artiklene (8 av 12) var hentet fra evalueringen av tiltaket ”De Utrolige årene” (DUÅ), og én artikkel var hentet fra en utprøving av en kortere utgave av foreldretreningsprogrammet i DUÅ som anvendes forebyggende (Reedtz, et al., 2011).  En artikkel omhandlet rekruttering av etniske minoriteter til et annet foreldretreningsprogram (PMTO) (Bjørknes, Jakobsen, Nærde, 2011), mens den siste studien var en normering av ECBI gjennomført i flere store grupper skolebarn rekruttert i Midt- og Nord-Norge (Reedtz & Bertelsen, 2001; Reedtz et al., 2008). En oversikt over inkluderte studier er presentert i Tabell 1.

 

Tabell 1. Inkluderte studier
Referanse
Design
Populasjon
N
Mål
Rapporterte egenskaper, verdier
Bjørknes et al., 2011
Kvasi-eksp design
Studie av ulike måter å rekruttere etniske mødre til foreldretreningsprogram (PMTO)
96
Intensitets- og problemskala
Middelverdier, Indre konsistens
Drugli et al., 2007, Drugli et al., 2010; Drugli & Larsson, 2006; Drugli et al., 2007; Drugli et al., 2010; Fossum et al., 2007; Fossum et al., 2009;Larsson et al., 2009
RCT
Evaluering av effekten av et tiltak (De utrolige årene) rettet mot barn med adferdsvansker. Artiklene omhandler de ulike delene av tiltaket samt oppfølging over tid, implementering mm.
127
Intensitets- og problemskalaen
Middelverdier, indre konsistens
Reedtz et al., 2011
RCT
Evaluering av kort foreldretreningsprogram (DUÅ) for foreldre rekruttert fra normalbefolkningen
186
Intensitetsskala
Indre konsistens
Reedtz & Bertelsen, 2001; Reedtz et al., 2008
Normeringsstudie
 
4063
 
Intensitetsskala og problemskala
Middelverdier, indre konsistens, eksplorerende faktoranalyse
 

Middelverdier i undergrupper

 Gjennomsnittsverdier for ulike subgrupper er presentert i Tabell 2. Uten å ha foretatt formelle signifikanstester på forskjellene mellom disse gruppene og den større normgruppen ser det ut til at barn henvist for adferdsproblemer (se f.eks Fossum, 2007) eller der foreldrene selv velger å delta i foreldretreningsprogrammer (Bjørnknes et al., 2011; Reedtz et al., 2011), har noe høyere gjennomsnittsskårer på begge ECBI skalaer sammenlignet med normeringsutvalget (Reedtz et al, 2008). Det foreligger signifikante kjønnsforskjeller i normeringsutvalget der gutter skårer noe høyere enn jentene (Reedtz, et al., 2008) men det er ikke påvist kjønnsforskjeller i en gruppe barn som er henvist for adferdsforstyrrelser (Fossum et al., 2007).

 

Tabell 2. Gjennomsnittsverdier (M) og standardavvik (SD) for ulike subgrupper

Referanse
Utvalg/gruppe
N
Problemskala
Intensitestsskala
M
SD
M
SD
Bjørknes et al., 2011
Etniske minoritetsgrupper (fra Somalia og Pakistan). Barnas alder: M = 5,90 (SD = 1,56)
13 (henvist)
55 (via infomøter)
28 (rekruttert)
12,16
12,11
8,12
11,50
10,30
7,68
118,89
110,93
91,92
34,62
37,41
33,35
Fossum et al., 2009
Barn henvist for adferdsforstyrrelser (4-8 år)
121
-
-
156,6
22,8
Fossum et al., 2007
Barn henvist for adferdsforstyrrelser (4-8 år)
101 gutter (mødre)
101 gutter (fedre)
26 jenter (mødre)
26 jenter (fedre)
20,00
15,55
20,60
16,31
5,78
7,51
5,75
6,60
155,90
142,85
160,42
147,50
21,27
26,15
26,12
23,02
Reedtz et al., 2011
Evaluering av kort foreldretreningsprogram (DUÅ) for foreldre rekruttert fra normalbefolkningen
186
-
-
103,05
16,41

Note: Fossum et al., (2007) og Fossum et al., (2008) er basert på samme utvalg av barn/foreldre.

 

Normer

En større norsk normeringsstudie er gjennomført med barn i alderen 4-12 år fra Midt- og Nord-Norge. Det var ikke signifikante forskjeller i gjennomsnittskårene (Reedtz, et al. 2008) mellom de ulike byene og områdene som inngikk i utvalget. Hovedresultatene er presentert i Tabell 3, mens normer for de ulike aldergruppene og begge kjønn er presentert i den aktuelle artikkelen (Reedtz, et al. 2008) og på nettsiden dua.uit.no.

 

Tabell 3. Gjennomsnittsverdier (M) og standardavvik (SD) fra representative utvalg av barn i Norge
Forfatter (år)
Populasjon
N
Problemskala
Intensitetsskala
M
SD
M
SD
Reedtz et al., 2008
Gutter og jenter i alderen 4-12 år
Hele utvalget
Jenter
Gutter
 
4063
1994
2069
 
3,0
2,8
3,2
 
 
4,5
4,2
4,9
 
89,9
92,2
87,6
 
24,6
24,1
25,0
 

Validitet

Det er gjennomført en eksplorerende faktoranalyse for å undersøke om intensitetsskalaen består av én eller flere dimensjoner som antydet i enkelte amerikanske studier (Burns & Patterson, 1991; Weis, Lovejoy & Lundahl, 2005). Analysene ble utført på et delutvalg av normeringsgruppen (N = 797) hentet fra Tromsø og Trondheim (alder 4-8 år), og gav støtte for tre-faktor løsning som tidligere antydet hos Burns og Patterson (1991). De tre underskalaene var ”Oppositional Behaviour”, ”Conduct Disorder” og ”ADHD”.   Det har likevel ikke vært vanlig å anvende annet enn en samlet sumskåre for intensitetsskalaen i klinisk bruk.

Sammenhengen mellom de to ECBI-skalaene og tre relevante underskalaer i CBCL (hhv Inattention, Aggression & Delinquency) har også vært undersøkt. Korrelasjonene var beregnet for et normalutvalg barn (N = 641) og var generelt høye, median 0,53 (f.eks var laveste r mellom ECBI intensitetsskårer og CBCL (Delinquency) skårer på 0,43 og høyeste r var på 0,73 mellom ECBI intensitetsskårer og CBCL (Inattention) skårer (Reedtz & Bertelsen, 2001). I tillegg var det forventede gruppeforskjeller mellom kliniske grupper (se f.eks Larsson, et al., 2006) og normalutvalg (Reedtz et al., 2008) samt at det er endringer i skårene i forventet retning etter avsluttet behandling – noe som også støtter testens begrepsvaliditet (Larsson et al., 2006; Reedtz, et al., 2011).

 

Reliabilitet

Indre konsistens i form av Cronbachs alpha er rapportert i alle de fire studiene. Disse må sies å være svært gode til utmerkede både for kliniske utvalg og for normalbefolkningen. Resultatene fra studiene er presentert i Tabell 4.

 

Tabell 4. Indre konsistens (alpha verdier) fra de fire norske studiene
Referanse
Utvalg/gruppe
N
Intensitets-skala
Problem-skala
Cronbach’s alpha
Cronbach’s alpha
Bjørknes et al., 2011
Etniske minoritetsgrupper i Norge (fra Somalia og Pakistan)
96
0,93
0,96
Drugli et al., 2007, Drugli et al., 2010; Drugli & Larsson, 2006; Drugli et al., 2007; Drugli et al., 2010; Fossum et al., 2007; Fossum et al., 2009;Larsson et al., 2009
Barn med adferdsvansker (4-8 år)
127
0,82
0,84
Reedtz et al., 2011
Evaluering av kort foreldretreningsprogram (DUÅ) for foreldre rekruttert fra normalbefolkningen med barn i alderen 2-8 år
186
0,82
-
Reedtz & Bertelsen, 2001; Reedtz et al., 2008
Normeringsutvalg fra flere deler av Norge, alder 4-12 år.
4063
0,93
0,89
 
   

 

 

 

 

Diskusjon og konklusjon

Den tilgjengelige dokumentasjonen fra Norge gir støtte til at testen har svært god reliabilitet i form av indre konsistens, og det er i tillegg publisert norske normer basert på et representativt utvalg av barn i aldersgruppen 4 – 12 år. Det foreligger noe evidens som styrker instrumentets begrepsvaliditet i form av høye korrelasjoner med andre skalaer som også kartlegger adferdsproblemer (CBCL) i tillegg til at man finner forventede gruppeforskjeller, eksempelvis mellom barn henvist for adferdsproblemer og barn uten slike problemer. Det vil være ønskelig med ytterligere studier som underbygger testens begrepsvaliditet og studier som bidrar til å etablere kliniske grenseverdier (cut-off) med tanke på å anvende testen til diagnostisering. Det er for tiden pågående et samarbeidsprosjekt mellom forskere på Atferdssentret og RKBU Nord der formålet er å undersøke instrumentets faktorstruktur som et ledd i å undersøke begrepsvaliditeten til testen.

 

 

Referanser  

Axberg, U., Hansson, J. & Broberg, A. G. (2008). Parents’ description of conduct problems in their children - A test of the Eyberg Child Behavior Inventory (ECBI) in a Swedish sample aged 3-10. Scandinavian Journal of Psychology, 49, 497-505.
 
Bjørknes, R., Jakobsen, R. & Nærde, A. (2011). Recruiting ethnic minority groups to evidence-based parent training. Who will come and how? Children and Youth Services Review, 33, 351-357.
 
Burns, G. L. & Patterson, D. R. (1991). Factor structure of the Eyberg Child Behavior Inventory: Unidimensional or multidimensional measure of disruptive behaviour? Journal of Clinical Child Psychology, 20, 439-444.
 
Burns, G. L., Patterson, D. R., Nussbaum, B. R. & Parker C. M. (1991). Disruptive behaviors in an outpatient pediatric population: Additional standardization data on the Eyberg Child Behavior Inventory. Psychological Assessment: A Journal of Consulting and Clinical Psychology, 3, 202-207.
 
Drugli, M. B., Larsson, B. & Clifford, G. (2007). Changes in social competence in young children treated because of conduct problems as viewed by multiple informants. European Child & Adolescent Psychiatry, 16, 370-378.
 
Drugli, M. B., Fossum, S., Larsson, B. & Mørch, W. T. (2010). Characteristics of young children with persistent conduct problems 1 year after treatment with the Incredible Years program. European Child& Adolescent Psychiatry, 19, 559-565.
 
Drugli, M. B. & Larsson, B. (2006). Children aged 4-8 years treated with parent training and child therapy because of conduct problems: Generalisation effects to day-care and school settings. European Child & Adolescent Psychiatry, 15, 392-399.
 
Drugli, M. B., Larsson, B., Clifford, G. & Fossum, S. (2007). Pervasive and non-pervasive conduct problems in a clinic sample aged 4-8 years: Child, family and day-care/school factors. Scandinavian Journal of Educational Research, 51, 547-559.
 
Drugli, M. B., Larsson, B., Fossum, S. & Mørch, W.-T. (2010). Five to six year outcome and its prediction for children with ODD/CD treated with parent training. Journal of Child Psychology and Psychiatry, 51, 559-566.
 
Eyberg, S. & Pincus, D. (1999). Eyberg Child Behavior Inventory& Sutter-Eyberg Student Behavior Inventory-Revised: Professional Manual. Odessa, FL: Psychological Assessment Resources
 
Eyberg, S. M. & Ross, A. W. (1978). Assessment of child behavior problems: The validation of a new inventory. Journal of Clinical Child Psychology, 7, 113-116.
 
Fossum, S., Mørch, W. T., Handegård, B. H. & Drugli, M. B. (2007). Childhood disruptive behaviors and family functioning in clinically referred children: Are girls different from boys? Scandinavian Journal of Psychology, 48, 375-382.
 
Fossum, S., Mørch, W. T., Handegard, B. H., Drugli, M. B. & Larsson, B. (2009). Parent training for young Norwegian children with ODD and CD problems: Predictors and mediators of treatment outcome. Scandinavian Journal of Psychology, 50, 173-181.
 
Funderburk, B.W., Eyberg, S.M., Rich, B.A. & Behar, L. (2003). Further psychometric evaluation of the Eyberg and Behar rating scales for parents and teachers of preschoolers. Early Education and Development, 14, 67-81.
 
Gross, D., Fogg, L., Young, M., Ridge, A. Cowell, J., Sivan, A. & Richardson, R. (2007). Reliability and validity of the Eyberg Child Behavior Inventory with African-American and Latino parents of young children. Research in Nursing Health, 30, 213-223.
 
Larsson, B., Fossum, S., Clifford, G., Drugli, M. B., Handegard, B. H. & Mørch, W.-T. (2009). Treatment of oppositional defiant and conduct problems in young Norwegian children: Results of a randomized controlled trial. European Child and Adolescent Psychiatry, 18, 42-52.
 
Reedtz, C. & Bertelsen, B. (2001). Standardization of an assessment tool for identifying conduct problems in children : obtaining Norwegian norms for the Eyberg Child Behavior Inventory (ECBI). [Hovedoppgave]. Institutt for Psykologi, Universitetet i Tromsø.
 
Reedtz, C., Bertelsen, B., Lurie, J., Handegård, B. H., Clifford, G. & Mørch, W. T. (2008). Eyberg Child Behavior Inventory (ECBI): Norwegian norms to identify conduct problems in children. Scandinavian Journal of Psychology, 49, 31-38.
 
Reedtz, C., Handegård, B. H. & Mørch, W.-T. (2011). Promoting positive parenting practices in primary care: outcomes and mechanisms of change in a randomized controlled risk reduction trial. Scandinavian Journal of Psychology, 52, 131-137.
 
Robinson, E. A., Eyberg, S. M.& Ross, A. W. (1980). The standardization of an inventory of child conduct problem behaviors. Journal of Clinical Child Psychology, 9, 22-29.
 
Weis, R., Lovejoy, M.C. & Lundahl, B.W. (2005). Factor structure and discriminative validity of the Eyberg Child Behavior Inventory with young children. Journal of Psychopathology and Behavioral Assessment, 27, 269-278.
 

Tilbake