Cercetările timpurii despre COVID-19 sunt pline de metode slabe și rezultate de calitate scăzută – o problemă pentru știință, pandemia s-a agravat, dar nu a creat-o.

Cercetările timpurii despre COVID-19 sunt pline de metode slabe și rezultate de calitate scăzută – o problemă pentru știință, pandemia s-a agravat, dar nu a creat-o.

La începutul pandemiei de COVID-19, cercetătorii reviste inundate cu studii despre noul coronavirus de atunci. Multe publicații au îmbunătățit procesul de evaluare inter pares pentru lucrările COVID-19, menținând ratele de acceptare relativ ridicate. Presupunerea a fost că factorii de decizie politică și publicul ar fi capabili să identifice cercetări valide și utile într-un volum foarte mare de informații cu diseminare rapidă.

Cu toate acestea, în revizuirea mea a 74 de lucrări despre COVID-19 publicate în 2020 în primele 15 reviste generale de sănătate publică citate în Google Scholar, am descoperit că multe dintre aceste studii au folosit metode de proasta calitate. Câțiva alții recenzii ale studii publicate în reviste medicale au arătat, de asemenea, că multe studii timpurii despre COVID-19 au folosit metode de cercetare slabe.

Unele dintre aceste documente au fost citate de mai multe ori. De exemplu, cea mai citată publicație de sănătate publică citată în Google Scholar date utilizate dintr-un eșantion de 1.120 de persoane, majoritatea tinere bine educate, recrutate în principal prin intermediul rețelelor de socializare pe parcursul a trei zile. Constatările bazate pe un eșantion de confort mic, auto-selectat, pot să nu fie generalizabile la o populație mai mare. Și din moment ce cercetătorii au efectuat peste 500 de analize ale datelor, multe dintre rezultatele semnificative din punct de vedere statistic se datorează probabil întâmplării. Cu toate acestea, acest studiu a fost raportat de peste 11.000 de ori.

O lucrare foarte citată înseamnă că mulți oameni l-au citat în lucrările lor. Dar numărul mare de rapoarte nu este este strâns legată de calitatea cercetării, deoarece cercetătorii și revistele se pot juca și manipula aceste valori. Raportarea ridicată a cercetării de calitate scăzută crește probabilitatea ca dovezi insuficiente să fie utilizate pentru a informa politicile, erodând și mai mult încrederea publicului în știință.

Metodologia contează

eu sunt cercetător în sănătate publică cu un interes de lungă durată pentru calitatea și integritatea cercetării. Acest interes constă în credința că știința a ajutat la rezolvarea unor probleme sociale și de sănătate publică importante. Spre deosebire de mișcarea antiștiință raspandirea dezinformarii despre măsuri de sănătate publică de succes precum vaccinurile, cred că critica rațională este fundamentală pentru știință.

Calitatea și integritatea cercetării depind în mare măsură de metodele sale. Fiecare tip de proiect de studiu trebuie să aibă anumite caracteristici pentru a oferi informații valide și utile.

De exemplu, cercetătorii au cunoscut de zeci de ani că pentru studiile de evaluare a eficacității unei intervenții, a echipa de control este necesar să se știe dacă eventualele efecte observate pot fi atribuite intervenției.

Recenzii sistematice Regruparea datelor din studiile existente ar trebui să descrie modul în care cercetătorii au identificat studiile pe care să le includă, le-au evaluat calitatea, au extras datele și și-au preînregistrat protocoalele. Aceste caracteristici sunt necesare pentru a se asigura că recenzia acoperă toate dovezile disponibile și îi spune cititorului care merită urmărite și care nu.

Unele tipuri de studii, cum ar fi anchetele unice ale eșantioanelor de conveniență care nu sunt reprezentative pentru populația țintă, colectează și analizează date într-un mod care nu permite cercetătorilor să determine dacă o variabilă a provocat un efect deosebit.

Evaluările sistematice implică o identificare și extragerea amănunțită a informațiilor din cercetările existente.

Toate Planurile de studii au standarde pe care cercetătorii le pot consulta. Dar îndeplinirea standardelor încetinește cercetarea. A avea un grup de control dublează cantitatea de date care trebuie colectată, iar identificarea și revizuirea minuțioasă a fiecărui studiu pe un subiect necesită mai mult timp decât o revizuire superficială a unora. Eșantioanele reprezentative sunt mai dificil de creat decât eșantioanele convenabile, iar colectarea datelor în două momente este mai multă muncă decât colectarea lor pe toate simultan.

Studii care se compară Documente privind COVID-19 cu non-COVID-19 lucrările publicate în aceleași reviste au constatat că lucrările despre COVID-19 au avut tendința de a avea metode de calitate inferioară și au mai puține șanse să adere la standardele de raportare decât lucrările non-COVID-19. Lucrările despre COVID-19 rareori au avut ipoteze și planuri predefinite despre modul în care își raportau constatările sau își vor analiza datele. Aceasta însemna că nu existau supape de siguranță dragarea datelor pentru a găsi rezultate „semnificative statistic” care ar putea fi raportate selectiv.

Astfel de probleme metodologice au fost probabil trecute cu vederea în scurtat semnificativ procesul de evaluare inter pares pentru documentele COVID-19. Un studiu a estimat că timpul mediu de la depunerea până la acceptarea a 686 de lucrări legate de COVID-19 a fost 13 zile, comparativ cu 110 zile în 539 de lucrări pro-pandemice din aceleaşi reviste. În studiul meu, am descoperit că două reviste online care au publicat un volum foarte mare de lucrări slabe din punct de vedere metodologic despre COVID-19 au avut un proces de evaluare inter pares. vreo trei săptămâni.

Cultura publica sau pieri

Aceste probleme de control al calității existau înainte de pandemia COVID-19. Pandemia i-a împins la exces.

Revistele tind să favorizeze constatări pozitive, „nove”.: adică rezultate care arată o asociere statistică între variabile și se presupune că identifică ceva necunoscut anterior. Deoarece pandemia a fost în multe privințe nouă, le-a oferit unor cercetători posibilitatea de a face afirmații îndrăznețe despre cum s-ar răspândi COVID-19, care ar fi efectele sale asupra sănătății mintale, cum ar putea fi prevenită și cum ar putea fi confruntă. .

Mulți cercetători simt presiunea de a publica lucrări pentru a-și avansa în cariera.
South_agency/E+ prin Getty Images

Academicieni au lucrat la o publică sau pieri sistem de stimulare de zeci de ani, în care numărul de lucrări pe care le publică face parte din valorile utilizate pentru a evalua angajarea, promovarea și mandatul. The inundație de informații de calitate mixtă despre COVID-19 a oferit o oportunitate de a-și crește numărul de publicații și de a spori valorile citărilor, deoarece revistele au căutat și revizuit rapid lucrările despre COVID-19, care erau mai probabil să fie citate în comparație cu lucrările non-COVID-19.

Publicațiile online au contribuit, de asemenea, la degradarea calității cercetării. Publicarea academică tradițională era limitată în ceea ce privește cantitatea de articole pe care le putea produce, deoarece revistele erau ambalate într-un document tipărit, fizic, care era de obicei produs doar o dată pe lună. În schimb, unele dintre online astăzi mega-reviste publică mii de documente pe lună. Studiile de calitate scăzută respinse de reviste de renume pot găsi totuși un punct de vânzare dispus să le publice contra cost.

Critica sanatoasa

Criticarea calității cercetărilor publicate este plină de pericole. Poate fi interpretat greșit ca adăugând combustibil la focul puternic al anti-științei. Răspunsul meu este că o abordare critică și rațională a producerii cunoștințelor este, de fapt, fundamentală pentru însăși practica științei și funcționarea unui societate deschisă capabil să rezolve probleme complexe, cum ar fi o pandemie globală.

Publicarea unor cantități mari de dezinformare mascandu-se drept știință în timpul unei pandemii ea ascunde cunoștințele adevărate și utile. În cel mai rău caz, acest lucru poate duce la practici și politici proaste în domeniul sănătății publice.

Știința făcută corect produce informații care le permit cercetătorilor și factorilor de decizie să înțeleagă mai bine lumea și să testeze idei despre cum să o îmbunătățească. Asta implică examinarea critică a calității a proiectelor unui studiu, a metodelor statistice, a reproductibilității și a transparenței, nu a de câte ori a fost menționat sau a scris pe Twitter despre.

Știința depinde de a abordare lentă, atentă și meticuloasă în colectarea, analiza și prezentarea datelor, mai ales dacă se urmărește furnizarea de informații pentru stabilirea unor politici eficiente de sănătate publică. De asemenea, este puțin probabilă o evaluare atentă și minuțioasă între colegi, cu lucrările care apar în tipărire la numai trei săptămâni după ce au fost trimise pentru prima dată pentru revizuire. Disciplinele care recompensează cantitatea de cercetare în detrimentul calității sunt, de asemenea, mai puțin probabil să protejeze integritatea științifică în timpul crizelor.

Doi oameni de știință pipetează lichide sub o hotă, iar un alt om de știință în fundal examinează o probă

Știința riguroasă necesită gândire și atenție atentă, nu grabă.
Asamblare/Piatră prin Getty Images

Sănătatea publică se bazează în mare măsură pe disciplinele care sunt trăind copie judecăți, cum ar fi psihologia, știința biomedicală și biologia. Este similar cu aceste ramuri din punctul lui de vedere structura de stimulente, modelele de studiu și metodele analitice și neatenția sa față de metodele transparente și replicare. Multe cercetări în domeniul sănătății publice privind COVID-19 arată că acesta suferă de metode similare de proastă calitate.

Regândirea modului în care industria își recompensează savanții și le evaluează bursele o poate ajuta să se pregătească mai bine pentru următoarea criză de sănătate publică.

Comments

No comments yet. Why don’t you start the discussion?

    Leave a Reply

    Your email address will not be published. Required fields are marked *