Come funziona la scienza: Capitolo III-bis.


Questo non è un nuovo capitolo, è solo un’analisi “tecnica” del capitolo III, non leggetelo se non avete letto quello: in primo luogo non ci capireste niente, e poi vi becchereste la parte noiosa senza le risate 😀 .

Alcuni hanno privatamente chiesto dei chiarimenti sulla “statistica” che sta dietro al terzo capitolo della saga, credo sia a causa di un mia leggerezza, in quanto molte cose le avevo ingenuamente date per scontate. Un leggerezza perché tutti hanno il diritto di non sapere, e questo non è una colpa: la colpa è dare giudizi senza sapere, e il merito è chiedere quando non si capisce.

Inizio da una premessa: tutte le affermazioni degli “statistici” nel post sono formalmente corrette e ineccepibili, e la statistica in realtà… non ha colpe. Il problema è solo come vengono “raccontate” le informazioni che, per quanto corrette, finiscono per trasmettere un messaggio fuorviante.

Ovviamente nel racconto, e anche quì, semplifico molto le cose, e parlo solo di “pozioni da provare per vedere se sono pericolose”, la ricerca biomedica è molto più complessa di così e la cose non sono certo così banali, ma questa banalizzazione è un buon gioco per chi la ricerca vuole fermarla, e infatti di ricerca di base e di analisi dei meccanismi di azione non si parl mai, affronteremo questi argomenti in futuro.

Iniziamo con il primo esempio:

La pozione di quel malefico stregone ha ucciso cento persone!

Dire che “la pozione ha ucciso 100 persone” formalmente è corretto, però l’informazione è parziale e doppiamente decontestualizzata, siamo in una situazione analoga a quando si dice “le reazioni avverse ai farmaci uccidono ogni anno X persone”.

La prima decontestualizzazione è giocare sul fatto che quell’X, in questo caso “cento” può apparire come un numero “grande”, ma nessun numero per se è grande o piccolo se non riferito a un contesto. Se io dico che nel mio palazzo 20 persone hanno preso il cancro in un anno è un numero enorme, se dico che dall’inizio del secolo nel mondo 20 persone sono state uccise per sbaglio dall’arma di un poliziotto è un numero che può sembrare grande ma in realtà è molto piccolo. Ogni qual volta un giornale, un commentatore o qualcuno vi dice un numero “secco”, magari togliendo enfasi dalla “dimensione totale del campione di cui si parla” potete contarci: sta distorcendo l’informazione. Delle due mistificazioni in questa affermazione questa è la meno evidente, e quindi in verità la più subdola.

Molto più evidente è il fatto che si parla di quelli “uccisi dalla pozione” ma non di quelli “salvati”. Il dato viene fornito nel testo precedente più volte: ci sono diecimila persone malate di CSI che non hanno bevuto la pozione “perché era finita”, e di queste metà sono morte; siccome non ci sono motivi per supporre che sarebbe accaduto qualcosa di diverso per le diecimila che l’hanno bevuta, dobbiamo dedurre che anche la metà di queste sarebbe morta per la CSI, e questo vale sia per quelle curate dalla pozione che per quelle morte all’istante bevendola.

Dunque è lecito attendersi che, delle 100 persone che bevendo la pozione sono morte all’istante, 50 sarebbero morte comunque in un modo diverso, e solo 50 sarebbero sopravvissute; ma per contro delle 9900 che non sono morte all’istante e sono guarite, ben 4950 sarebbero morte per la CSI.

L’informazione “corretta e completa” sarebbe stata “la pozione ha salvato la vita a 4950 persone, ne ha ammazzate 50 che si sarebbero salvate e ne ha fatte morire in modo diverso altre 50 che sarebbero morte comunque”; oppure una forma sintetica ma corretta sarebbe stata “la pozione ha salvato la vita a 4900 persone”; quella usata dallo strillone è una sintesi… appena appena di parte.

Gli stregoni sono dei cretini, il 90% delle pozioni sono state ritirate!

Su questa voglio iniziare dalla fine: 90% è una buona notizia, 99% sarebbe meglio, vorrebbe dire che gli stregoni sono più bravi, il numero necessariamente tende verso il 100%, più ci si avvicina in fretta più vuol dire che gli stregoni stanno facendo il loro dovere!

Sembra una conclusione strana? Non lo è. Ragioniamo agli estremi:

• Se gli stregoni fossero dei cretini dopo la prima pozione (quella che ammazzava una persona su cento, magari scoperta per caso) non ci sarebbe stato più nessun progresso, dopo dieci anni si userebbe ancora quella pozione, non ne sarebbe stata creata nessun’altra, dunque sarebbero state ritirato “lo 0% delle pozioni”.

• Al contrario se gli stregoni fossero dei geni, e inventassero ogni giorno una pozione migliore della precedente, dopo 10 anni 3649 pozioni su 3650 sarebbero state “ritirate”, perché se ne era trovata una migliore il giorno dopo, il 99,97% !

In generale se ogni “tot” tempo (un anno nel racconto) viene trovata una pozione migliore di quella in uso al momento, allora dopo N intervalli di tempo (anni, nel racconto 10) ci saranno N-1 pozioni ritirate su N. Man mano che N cresce questa frazione tende a uno (cioè al 100%), se ricordate qualcosa dell’analisi si tratta del limite di (n-1)/n per n che tende a infinito. Più è breve il tempo che ci mettono gli stregoni a migliorare la pozione, più rapidamente ci si avvicina al 100% di “pozioni ritirate”!

Questo è vero per ogni “prodotto”, e più il prodotto è soggetto al progresso più rapidamente sale la percentuale: forse a oggi il 70% dei tipi di mattone usati dall’umanità è caduto in disuso, perché su un mattone non è che ci sia questa gran ricerca da fare per migliorarlo; ma il 99% delle auto è stata “ritirata” perché si sono fatte auto più veloci, sicure, meno inquinanti e che consumano meno; e il 99,99% dei computer messi sul mercato fino ad oggi è stato “ritirato”; nonostante i mattoni esistano da più tempo delle auto e le auto da più tempo dei computer.

Nel mondo reale esistono, va detto, farmaci che vengono ritirati perché si scoprono nel tempo effetti dannosi che non si conoscevano, ma se un farmaco è un salvavita non viene mai ritirato perché ha effetti collaterali, viene ritirato solo se si trova un altro farmaco che ha meno effetti collaterali, come le pozioni: perché nessun effetto collaterale è peggio che stare senza un farmaco salvavita, e tirare le cuoia.

IL 90% DELLE POZIONI PROVATE COL CAVOLO NON FUNZIONA!!!11!

Questo è l’argomento più classico usato dagli integralisti contrari alla ricerca biomedica per sostenere che la Sperimentazione Animale è inutile o, addirittura, deleteria; di solito condito da un elenco di sostanze tossiche per una specie e non per un’altra e concluso con la precisazione che “tanto poi il farmaco va comunque provato sugli uomini”.

E’ molto usato perché per capire bene quanto è fallace bisogna conoscere davvero un po’ di statistica, e in particolare la teoria della probabilità condizionata di Bayes, che non è affatto banale (ho visto degli studenti di ingegneria matematica sbatterci il naso e farsi male). Tenterò di spiegarlo in modo semplice partendo dall’esempio.

Ogni anno delle cinquanta pozioni che “non puzzano” (cioè che hanno passato le simulazioni in silico e i test in vitro), ce ne sono quaranta che sciolgono i cavoli e dieci no. Notate che in questo passaggio “tutto quello che si poteva fare” con la teoria e con i “test in vitro” è stato fatto, le pozioni che “puzzano di sterco stantio” (non hanno passato i test in vitro) non ci sono più, restano solo queste cinquanta.

È del tutto vero che, come ricordano gli integralisti, le mie pozioni andranno poi provate sugli umani (e quindi i trial clinici e il monitoraggio epidemiologico li farò comunque), ma devo scegliere quali pozioni provare sull’uomo.

Fondamentalmente per scegliere una pozione da provare sull’uomo ho tre opzioni:

a)  la prendo tra le 40 che sciolgono i cavoli, oppure

b)  la prendo tra le 10 che non li sciolgono, oppure

c)  la prendo a caso tra tutte e 50.

Lasciamo per un attimo da parte l’opzione “c)” e proviamo anzitutto a chiederci se per rischiare di meno sugli uomini è migliore la “a)” o la “b)”.

È evidente che anche se ci sono alcune pozioni che pur non sciogliendo i cavoli sono pericolose per l’uomo, e magari pure pozioni che sciolgono i cavoli ma sono innocue per l’uomo, l’opzione “a)” può essere una buona scelta rispetto alla “b)” se e solo se penso che le pozioni che sciolgono i cavoli siano mediamente PIÙ sicure di quelli che non li sciolgono.

Analogamente provare sull’uomo solo i farmaci che uccidono i ratti sarebbe sensato solo se pensassimo che le sostanze che uccidono i ratti, una volta date all’uomo, sono generalmente meno pericolose di quelle che non li uccidono.

Ora non importa quanti esempi di sostanze tollerate dal ratto e non dall’uomo si possono dare: solo se sono proporzionalmente di più le sostanze che ammazzano i topi e non l’uomo di quelle che ammazzano entrambi sarà più sicuro provare sull’uomo i farmaci “pericolosi per i topi” di quelli “non pericolosi per i topi”.

Essendo piuttosto ovvio che l’opzione “b)” è meglio (o meno peggio) della “a)” resta da valutare l’opzione “c)”, che in verità è l’unica praticabile se non faccio il test sul cavolo (ossia se proibisco la S.A.), perché a quel punto non so quali pozioni sciolgono i cavoli e quali no.

Credo sia abbastanza intuitivo capire che nel caso “c)” in realtà sto adottando a volte la “a)” e a volte la “b)”, a casaccio. Quando mi capita la “b)” sto facendo quel che si fa con il test (ossia con la S.A.), quando mi capita la “a)” sto facendo qualcosa che ho capito essere necessariamente peggio. Senza calcoli: a volte mi va uguale, a volte mi va peggio, potrebbe mai essere che con questa strategia mi vada “mediamente meglio”? Ovviamente no, e quindi “provare a caso” (che è l’unica cosa che si potrebbe fare senza S.A.) può solo essere un peggioramento.

Solo il giorno in cui qualcuno potrà sostenere scientificamente una fesseria come “è più probabile che una sostanza che uccide i ratti sia innocua per l’uomo di quanto lo è che ad essere innocua per l’uomo sia una sostanza innocua per i ratti” potrà dire scientificamente che la S.A. “peggiora” la sicurezza dei farmaci. Ma credo davvero che la storia degli asini che volano sia più credibile.

Un altro tassello importante, che non ha a che fare con la statistica, è che quelle “otto-nove pozioni su dieci” che vengono scartate dopo la S.A. non è che vengano tutte scartate perché ammazzano sistematicamente i pazienti, nella stragrande maggioranza dei casi i farmaci vengono scartati perché meno efficaci di farmaci già esistenti, o in altri termini perché iniziano a dare effetti collaterali prima di arrivare a dosi utili a curare i pazienti meglio di quanto facciano i farmaci già esistenti.

Il completamento del messaggio (falsamente) suggerito dagli integralisti è che “tantissimi” farmaci sperimentati sugli animali si sono rivelati mortali o dannosissimi per gli uomini.

Fermo restando che, anche se questo fosse vero, quei “tantissimi” senza S.A. sarebbero necessariamente di più, quando devono fare degli esempi i fanatici si rendono ridicoli, recentemente mi sono spulciato un lungo testo di un certo Capra (nome omen?) che dopo immani sforzi elencava tre casi: Jesse Gelsinger (1999), Ellen Roche (2001), e 6 volontari del TGN1412 (2006).

Date a parte (notatele): Jesse Gelsinger morì perché i medici commisero molti errori e crimini, uno dei quali fu non tenere conto del fatto che le scimmie sottoposte allo stesso trattamento erano morte; a Ellen Roche in un test clinico condotto in modo criminale venne somministrato (per inalazione) dell’hexamethonium, una sostanza che veniva usata come farmaco (per via sistemica) negli anni 50 (quando non erano obbligatori i test di tossicità sulle cavie), e poi era stata ritirata dall’FDA 1972 perché si era già scoperto che era tossica; i sei volontari del TGN1412 subirono danni gravi (ma non morirono) non per un effetto “tossico” del farmaco ma per la sua attività diretta “prevista” che era stata sottostimata, tra l’altro li subirono in sei per l’uso di un protocollo di test decisamente discutibile.

Comunque anche se si ammettesse (e così non è) che queste otto persone sono morte o hanno subito danni gravi, in quindici anni, per “fallimenti della S.A.”:

1) considerarlo eclatante significa ignorare la prima fallacia sopra descritta (otto persone, di cui due morte, in quindici anni in tutto il mondo, quanti milioni di persone sono stati salvati dai farmaci nel frattempo?);

2) attribuire queste morti alla S.A. significa far finta di ignorare che senza S.A. ci sarebbero state queste vittime più altre, per quanto spiegato appena sopra;

3) si ignora faziosamente che questi farmaci avevano passato i test in vitro e quelli in silico, cioè i test che si propongono come “alternativi” alla S.A.!

IL 98% DELLE VOLTE STO CAVOLO DI TEST NON FUNZIONA!!!!undici!

Eccoci alla chicca finale, che in fondo è solo la combinazione delle due precedenti, ma come dice il testo “piace perché 98% suona bene”, e anche in questo caso il numero è, formalmente, esatto. Infatti è sulle definizioni che si bara, non sul numero.

Questa volta inizio dall’interpretazione più patetica, che porta da una premessa sbagliata a una conclusione ridicola, con un passaggio che ha del demenziale: “un metodo che sbaglia il 98% delle volte è inutile, sarebbe meglio tirare una monetina”.

Se anche il 98% fosse correttamente riferito al “non funziona” vi dico due cose:

– la prima è che se qualcuno di voi mi fornisce un metodo che mi dice se sei numeri saranno estratti al superenalotto e questo metodo sbaglia il 98% delle volte (ma dicendomi almeno una volta ogni tanto “si i numeri sono buoni”)… due volte alla settimana estrarrò tanti gruppi di sei numeri a caso e li proverò con questo metodo finchè non ne trovo un gruppo per il quale il metodo dice “sono buoni”, e li giocherò, in un tempo e con un investimento ragionevoli (mi aspetto sei mesi e una cinquantina di euro) diventerò milionario;

– la seconda è che conosco un metodo che vi darà questa risposta con un’affidabilità del 99,999999839387%: basta rispondere sempre “no, non uscirà questa combinazione”.

Strano? Lo so, se si dicono cazzate senza aver studiato le basi più elementari del calcolo delle probabilità è facile pensare che basti tirare monetine, e magari vien voglia di giocare al superenalotto sperando di arricchirsi. Ma torniamo al 98%.

Se diciamo che una pozione che pur non sciogliendo i cavoli una volta provata sui defecanti non li cura bene “non funziona”, che una pozione che una volta provata sugli esseri umani si rivela meno efficace di altre esistenti “non funziona”, che una pozione che dopo aver salvato la vita a migliaia di persone viene sostituita perché il progresso ha portato ad averne una migliore “non funzionava”, e infine ci dimentichiamo che gli stregoni quando provano la pozione sui cavoli non stanno cercando di capire se la pozione “funzionerà” ma solo se scioglierà le facce (se non altro considerando che i cavoli non cagano)… allora sì: possiamo dire che il 98% delle volte la prova sui cavoli non funziona.

Ma se queste fossero le domande poste alla S.A. e se fosse tutto così facile allora 98% sarebbe un successo enorme e la medicina avrebbe risolto tutti i suoi problemi: nessuna malattia al mondo ucciderebbe più di cinquanta persone, avremmo la soluzione per HIV, Cancro, malattie genetiche, ebola, tutto… volete la prova ?

Ve l’ho già data con l’esempio del superenalotto:

– Sintetizzo migliaia di molecole a casaccio, senza nessuno studio, proprio a caso, poche pippe: niente laboratori, niente ricerca, niente simulazioni, niente teoria, niente test in vitro, niente di niente.

– Chiedo alla “S.A. magica” se queste molecole curano una certa malattia, finché non ne viene fuori una che secondo il metodo “funziona”.

– Ogni volta che trovo una molecola che secondo la S.A. magica “funziona” la do a un paziente malato terminale… se non guarisce torno all’inizio.

– Vi posso dire per certo che in media dopo 50 pazienti… ho trovato “la” medicina, perfetta, infallibile e senza effetti collaterali. Chi non ci crede si vada a studiare il valore atteso di una distribuzione geometrica, o se proprio vuole provi a fare i conti a mano (un aiuto è qui).

– Vado a ritirare una dozzina di Nobel.

Spero che il paradosso renda chiaro il problema: chi è così ignorante (o così in malafede) da pensare che l’affermazione “il 98% dei farmaci che passano dai test sugli animali poi non viene ritenuto abbastanza efficace sull’uomo o viene poi sostituito da farmaci migliori” sia equivalente a dire “la S.A. sbaglia nel 98% dei casi” dice tre cazzate insieme: non ha capito la domanda che viene posta alla S.A., non ha capito cosa vuol dire “non funziona”, e non ha capito che se “qualcosa” desse nel 2% dei casi la risposta che lui pensa giusta alla domanda che lui pensa venga posta alla S.A., questo sarebbe meraviglioso.

Purtroppo la scienza e la fantascienza sono due cose diverse, se così non fosse dovremmo dire che i mezzi di trasporto di cui disponiamo oggi “non funzionano” perchè consumano, inquinano, fanno rumore e ogni tanto accadono degli incidenti. La verità è che il teletrasporto non esiste, e quello che gli integralisti contrari alla ricerca vorrebbero dalla sperimentazione animale per accettarla sarebbe magia, non scienza.

Il post scriptum!

Questo ha più a che fare con i vaccini che con la S.A., ve lo lascerei come esercizio… Aiutino? Ok:

– Metà delle persone ogni anno beve la pozione, quindi nell’ultimo anno metà (il 50%) l’ha bevuta, e metà (il 50%) no.

– Metà delle persone non ha bevuto la pozione l’anno scorso, di queste metà non l’ha bevuta nemmeno l’anno prima, quindi metà di metà (il 25%) non l’ha bevuta negli ultimi due anni, e il 75% invece l’ha bevuta almeno una volta negli ultimi due anni

– L’87,5% delle persone ha bevuto la pozione almeno una volta negli ultimi 3 anni, il 93,7% negli ultimi 4, il 96,8% (quasi novantesette) negli ultimi 5…

– Tutto quanto sopra vale per i sudditi in generale, per quelli schiacciati da un carro, per quelli che hanno realizzato di essere gay, per quelli che hanno imparato a nuotare, per le donne rimaste incinte, per quelli che hanno vinto alla lotteria del regno… per tutti.

Sì, in Italia, nel 2013, il 90% delle persone morte in un incidente stradale nelle 24 ore precedenti aveva bevuto dell’acqua! Non bevete nemmeno l’acqua prima di guidare!

Tanto era per dirvi che sì: in verità la statistica (come ogni branca della matematica) in se è una materia meravigliosa, forse varrebbe la pena di studiarla, almeno un pochino 🙂

[RV] — In modalità seria.

Annunci

6 thoughts on “Come funziona la scienza: Capitolo III-bis.

  1. Pingback: Come funziona la scienza: capitolo III | In Difesa della Sperimentazione Animale

  2. Pingback: Tutti i nostri Articoli | In Difesa della Sperimentazione Animale

  3. Dopo i 92 minuti di applausi per l’autore del post ecco un aiuto per chi volesse replicare il “magico metodo” per avere i numeri Superanalotto con affidabilità del 99,999999839387%

    Addirittura Focus ci ricorda che la possibilità di fare 6 al Superenalotto è 1 su 622614630 (sì, seicentoventiduemilioniseicentoquattordicimilaseicentotrenta), che non è dovuta nient’altro al fatto che la combinazione di 6 numeri che gioco ha la stessa probabilità di tutte le altre di uscire durante un estrazione. Peccato che “tutte le altre” non siano nient’altro che “tutte le possibili combinazioni di 6 numeri a partire da (un sacchetto contenente, se vogliamo usare una metafora) 90 numeri”. Wikipedia ci ricorda che per questo problema (di calcolare le combinazioni semplici senza ripetizioni) basta calcolare il coefficiente binomiale, e il risultato è proprio:
    C(90; 6) = 90!/(6!⋅(90-6)!) = 622614630

    Quindi a questo punto ogni combinazione ha una probabilità di 1/622614630 di essere quella giusta, o, equivalentemente, la possibilità di essere quella sbagliata (essendo l’evento complementare) è:
    1-(1/62261463) = .99999998393870057310

    quindi, in percentuale, la probabilità è proprio del 99,999999839387% (approssimando ragionevolmente).

    In sostanza se qualcuno vi chiede “uscirà questa combinazione” la cosa più saggia è rispondere sempre “No”.

    Mi piace

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...