Hur man beräknar ett inter Rater avtalet

En inter-rater avtalet är ett mått på hur konsekventa mätningar mellan två eller flera observatörer (eller " bedömare ") . Exempelvis medicinska forskare använder ofta en grupp av läkare att observera och kategorisera de effekter som behandling experiment. Att mäta överensstämmelsen mellan observatörer är viktigt eftersom vi vill vara säkra på att eventuella effekter vi ser beror på vårt experiment och inte till stora skillnader mellan observatörerna . Den primära statistik används för att mäta inter-rater avtal kallas " kappa ". Instruktioner
en

Beräkna procentuell överensstämmelse genom att dividera antalet observationer som överensstämmer över det totala antalet observationer. Tänk till exempel på ett experiment som involverar 100 patienter som fått en behandling för astma . Två läkare uppmanas att kategorisera patienterna i två kategorier: kontrollerade ( ja ) eller inte kontrolleras (inga ) astmasymtom . Resultatet kan se ut så här :

Både bedömare Ja 70

Båda bedömare nr 15

Rater # 1 Ja /Rater # 2 nr 10

Rater # 1 Nej /Rater # 2 Ja 5

Totalt observationer : 100

i detta exempel skulle den procent avtalet ( Pa ) är antalet observationer där bedömare är överens om ( 70 +15 ) dividerat med det totala antalet observationer ( 100 ) , eller 85 procent . Detta kommer att användas i täljaren i den slutliga ekvationen .
2

Beräkna förväntade avtalet på grund av slumpen . En del av den observerade avtalet kommer att bero på ren tur . Vi kan räkna ut hur mycket överenskommelse skulle ses om observationerna var helt slumpmässigt

I vårt exempel : .

Både Ja 70

Både nr 15

# 1Yes /# 2 nr 10

# 1 Nej /# 2 Ja 5

Totalt observationer : 100

Dr # 1 rankade Ja 80/100 eller 80 procent av tiden ( .80 ) .

Dr # 1 rankade nr 20/100 eller 20 procent av tiden ( .20 ) .

Dr # 2 rankade Ja 75/100 eller 75 procent av tiden ( .75 ) .

Dr # 2 rankad nr 25/100 eller 25 procent av tiden ( .25 ) .
P Om observationerna var slumpmässiga , skulle sannolikheten för både rating Ja vara ( 0,80 ) x ( 0,75 ) , eller 60 procent , och sannolikheten för både rating Inget skulle vara ( 0,15 ) x ( .25 ) , eller 4 procent

Så den totala sannolikheten för avtal på grund av en slump ( Pe ) skulle vara summan av dessa . : ( .60 ) + ( .04 ) , eller 64 procent . Detta kommer att användas i täljaren och nämnaren i den slutliga ekvationen Addera 3

Beräkna kappa med hjälp av följande ekvation : .

K = ( Pa ) - ( Pe ) katalog

---------------

1 - ( Pe ) katalog

I vårt exempel

k = ( .85 ) - ( .64 ) /1 - ( .64 ) = ( .58 ) eller 58 procent
4

Utvärdera kappa för att avgöra om inter-rater avtalet är stark . En bra tumregel är att Kappas över 80 procent är utmärkta och över 60 procent är bra . Något under 60 procent anses vara mindre än optimal överenskommelse .

I vårt exempel är 58 procent på gränsen för god inter - rater reliability , och studieresultatenbör tolkas med detta i åtanke .

5

Utvärdera kappa för mer än två bedömare med hjälp Fleiss ' kappa beräkningar . Detta är en mycket mer komplicerad beräkning som ska utföras av datorn . Addera