Statistikat
Ettevaatust, matemaatika! Nõrganärvilistele järgnevat kirjatükki ei soovita. Eelkommentaarina nii palju, et algselt kirja panduna oli teine mitu korda pikem ja manitsevam :)
Täna oli teine päev kolmeosalisest statistikakursusest, ja teemaks hüpoteeside testimine. Mulle kogu see '5% olulisusnivoo juures aktsepteerime nullhüpoteesi' kraam ei istu, ei ole nagu intuitiivne. Bioloogidele sobib ta paremini, ja ma ei hakanud virisema ka.
Tore juudi taat väitis, et hüpoteesi vastu võtmiseks või ümber lükkamiseks arvutatakse andmete tõenäosus antud hüpoteesi kehtivuse korral p(data | H), aga intuitiivselt tuleks seda mõista kui hüpoteesi tõenäosust p(H | data).
Siis ta tõi sellise näite: oled kaua peo peal, jääd magama pikaks pikaks ajaks, ärkad üles, väljas sajab lund. Nii, püstitad hüpoteesi, et on talv. Näite mõte oli, et p(lumi | talv) on väike (Cambridge's, kus lund sajab kord aastas), aga p(talv | lumi) on suur (sest kui sajab, sajab talvel).
Inglismaal sajab lund kord-paar aastas: p(lumi | talv) ~ 0.02. Seega traditsioonilise 5% usaldusnivoo juures peaks me hüpoteesi 'talv' ümber lükkama! Samamoodi ka kevade ja suve ja sügise. Selle koha peal hakkas taat puterdama, kõigil tekkis hämming, ja paari minuti pärast kuulutati lõuna.
Tegelikult on ju palju loomulikum kirjeldada kõigepealt kõikvõimalikud hüpoteesid, ja nende algsed tõenäosused, ja leida nende tõenäosus peale andmete nägemist. Ise ka ei oleks osanud paremat näidet välja mõelda, et miks statistilised testid ikkagi ebaintuitiivsed on. Kasutage Bayesi meetodeid, kui võimalik.
Disclaimer: klassikalistel statistilistel testidel on oma aeg ja koht ka olemas, aga see koht pole nii suur, kui eelmise sajandi kirjanduse järgi võiks arvata.