Curba ROC în PSPP

Deoarece curba ROC este folosită adeseori în cercetările din domeniul medical, exemplul pe care voi explica folosirea curbei ROC va folosi date din medicină:

Exemplu:

Pe un lot de 51 de pacienți cu vârsta cuprinsă între 26 și 79 de ani s-a studiat dacă vârsta este un factor determinant în pentru bolnavii cu diabet. Pentru aceasta am pus într-un tabel pe o coloană varsta pacientilor și pe altă coloană am codificat cu 1 daca pacientul are diabet și 0 dacă pacientul nu are diabet (având 51 de înregistrări am pus doar o parte din date în tabelul de mai jos):

15_08_001

Apoi în meniu dăm un clic pe Analyze și apoi pe ROC Curve:

15_08_002

După ce vom da un clic pe opțiunea ROC Curve, va apărea fereastra:

15_08_003

În această fereastră la Test Variable am pus varibila Varsta (am da un clic pe variabila Varsta în fereastra stângă, apoi am dat un clic pe săgeata din dreptul ferestrei Test Variable). La fel vom selecta la State Variable variabila binomială Diabet_zaharat. Vom mai bifa opțiunile ROC Curve, With diagonal reference line (pentru a avea pe diagrama o linie pentru prima diagonală) și Coordinate points of the ROC Curve. Apoi vom da un clci pe OK. În fereastra Output vor apărea următoarele rezultate

15_08_004

Primul tabel ne arată câși pacienți au diabet și câți nu (în exemplul nostru 16 pacientți au diabet și 35 nu au diabet). În al doilea tabel avem aria egală cu 0,69. În conformitate cu teoria (vezi postarea aceasta) modelul este acceptat. (se află la nivelul corect (fair)).

În tabelul de mai jos sunt trecute punctele pentru specificitate și sensibilitate a modelului, puncte utile în calcularea punctului de cutt-off:

15_08_005

Coeficientul kappa (Cohen)

Acest coeficient se aplică pentru date de tip calitativ. Este foarte util atunci când analiza unui fenomen se bazează pe părerile (subiective) a doi specialiști și dorim să vedem dacă părerile acestora diferă semnificativ. O altă aplicație ar fi dacă o analiză efectuată la un anumit moment este aproape de analiza finală (echivalența pretestare-testare). Coeficientul kappa se interpretează astfel:

dacă val e cuprinsă între 0 – 0,20 – legătură slabă

dacă val e cuprinsă între 0,21 – 0,40 – legătură satisfăcătoare (fair)

dacă val e cuprinsă între 0,41 – 0,60 – legătură moderată

dacă val e cuprinsă între 0,61 – 0,80 – legătură bună

dacă val e cuprinsă între 0,81 – 1 – legătură foarte bună

Voi prezenta un exemplu pentru a explica mai bine modul în care se utilizează (și interpretează) acest instrument.

Exemplu (date fictive):

Fie un lot de 24 de subiecți. Doi specialiști și-au exprimat părerile asupra influenței unui stimul asupra acestor pacienți. S-a realizat următoarea codificare: 0 – slabă, 1 – medie, 2 – puternică. Datele au fost puse în PSPP:

fig01

Pentru a calcula coeficientul kappa pentru aceste date vom da câte un clic pe următoarele opțiuni: Analyze – Descriptive Statistics – Crosstabs

fig02

După ce vom da un clic pe Crosstabs va apărea fereastra (unde am pus o variabilă la linii si cealaltă la coloane):

fig03

 

Apoi vom da un clic pe butonul Statistics (partea de jos a ferestrei) și vom debifa opțiunea Chisq și vom bifa opțiunea Kappa, apoi vom da un clic pe Continue

fig04

 

După ce vom reveni la fereastra initială, vom da un clic și pe butonul Cells (nu e o etapă obligatorie în calcularea coeficientului kappa, dar poate fi util în analiza datelor – afișarea frecvențelor absolute și relative):

fig05

Aici am bifat opținea Count, Total și Expected. Apoi am dat un clic pe Continue, iar odată revenit la fereastra anterioară am dat un clic pe OK. Pe fereastra Output vom avea trei tabele cu rezultate:

fig06

 

În ultimul tabel observăm că am obținut pentru kappa valoarea 0,31 deci avem o legătură satisfăcătoare (cuprinsă între 0,21 și 0,40) între părerile celor doi specialiști.

Pe prima diagonală a celui de al doilea tabel avem cazurile pentru care părerile celor doi specialiști corespund. Astfel avem 8 cazuri în care amîndoi specialiștii au spus că influența e slabă, 4 cazuri în care amîndoi specialiștii au spus că influența e medie și 2 cazuri în care amîndoi specialiștii au spus că influența e puternică. În total avem 14 cazuri din 24 (putem calcula procentul folosind cele 2 numere sau adunând procentele de pe diagonală). Deci avem un procent de concordanță a părerilor celor 2 specialiști de 58,3%.

În practică se acceptă modelele pentru care coeficientul kappa este mai mare ca 0,6 (legătură bună și foarte bună).