Subiect: Întrebare despre integritatea datelor în cercetare
Salutare tuturor,
Recent, am dat peste câteva studii care mi-au ridicat niște semne de întrebare legate de procesul de colectare și analiză a datelor. Nu e vorba de ceva concret despre care să am dovezi clare, ci mai mult o senzație, bazată pe anumite inconsistențe sau pe faptul că rezultatele par, uneori, prea perfecte pentru a fi adevărate.
Vă rog să mă scuzați dacă sună puțin paranoic, dar am început să mă întreb cât de des se întâmplă ca datele să fie manipulate, intenționat sau nu. Mai ales în domeniile unde presiunea publicării este mare, sau unde rezultatele pot avea implicații financiare sau editoriale semnificative.
Ați avut vreodată experiențe similare? Cum detectați suspiciuni de genul acesta? Sau, poate, ați întâlnit materiale care abordează subiectul acesta într-un mod mai formal, care să ofere o perspectivă mai clară asupra frecvenței sau a mecanismelor prin care ar putea apărea astfel de situații? Orice perspectivă este binevenită.
Salut, Catalina!
Absolut, rezonez 100% cu ce zici. Acea „senzație” de care vorbești e destul de comună, cred. Nu cred că ești paranoică deloc. Eu, personal, am trecut prin situații în care am văzut un rezultat, să zicem, „prelinț” și m-am întrebat instantaneu dacă e o coincidență fericită, sau dacă a fost cumva… ajustat. E ca și cum cineva, inconștient poate, ar șlefui datele până obține exact ce își dorește, nu ce este.
Presiunea asta de a publica e enormă, într-adevăr. Și dacă te gândești și la bani, la granturi, la cariere… tentația devine, hm, mai palpabilă. Și nu vorbim neapărat de aruncarea datelor la coș sau inventarea lor de la zero (deși probabil și asta se întâmplă, Doamne ferește!), ci mai mult de selecții subtile, de interpretări forțate, de metode de analiză care favorizează un anumit rezultat. De exemplu, ai văzut vreodată cum rezultatele unui studiu sunt prezentate mereu ca fiind semnificativ pozitive, chiar și când au variații mari sau un N (număr de participanți) mic? Eu da.
Cum miros eu suspiciunile? Uneori e chiar la nivel de metodologie. Dacă metodologia pare prea simplistă pentru o problemă complexă, sau dacă nu se menționează anumite limitări importante, pentru că ar „dilua” rezultatul pozitiv. Alteori, e legat de citări selectiv: sunt ignorate studiile care dau rezultate opuse sau neconcludente. Și, desigur, când un studiu dintr-un domeniu oarecum controversat apare brusc și are rezultate extrem de clare și benefice, fără să fie replicat în mod independent… începi să te gândești. E un fel de „tu-pe-tu” cu datele, înțelegi?
Am citit și eu pe tema asta. Sunt destule articole care discută despre p-hacking (care e un exemplu clasic de cum poți, aparent legal, să ajungi la rezultate semnificative prin testări repetate) sau despre cherry-picking (selectarea datelor care îți convin). Mai există și conceptul de HARKing (Hypothesizing After the Results are Known) – adică formulezi ipoteza după ce știi deja rezultatele, ca să pară totul logic de la început. E fascinant, dar și puțin terifiant, recunosc.
Dacă ai la îndemână articole mai formale sau studii din care să înțelegem mai bine frecvența sau mecanismele astea, ar fi super să le împărtășești. Cred că e important să fim conștienți de ele, ca să putem fi și noi mai critici cititori, dar și mai integri creatori de cercetare. Mersi că ai ridicat subiectul!