Antimagnets Statistik-Ecke

hallo zusammen,

beim surfen durch die google-news fallen mir doch immer wieder stellen auf, bei denen statistische ergebnisse fehlinterpretiert oder arg überstrapaziert werden.

und da ich ein mitteilsamer mensch bin und bekanntermaßen, was statistische ergebnisse angeht, an ziemlichem sendungsbewusstsein leide, möchte ich euch hier gerne an meinen gedanken teilhaben lassen.

wie regelmäßig ich hier berichte, kann ich nicht versprechen, es hängt davon ab, wie viel mist die journaille produziert... 8)

gruß,
antimagnet

 

ich hab den blog ja nicht ohne grund eröffnet - so solls also gleich mal losgehen:

wie unzufrieden die deutschen mit der großen koalition sind, wird unterstellt (wahrscheinlich auch zu recht), aber nicht mit zahlen untermauert. später werden allerdings zahlen genannt:

unzufriedenheit lässt sich allerdings auch hier nicht herauslesen. der eine prozentpunkt plus für die spd lässt sich nicht als pluspunkt interpretieren, ebenso das minus für die grünen.
solche prozentangaben von umfragen sind immer mit unschärfe belegt - und die ist in der regel größer als ein prozentpunkt. insgesamt kann man nur festhalten, dass wohl so ziemlich alles gleich geblieben ist...


doch auch die süddeutsche geht von unzufriedenheit mit der regierung aus:

aus der unzufriedenheit mit der oppositiion lässt sich keine unzufriedenheit mit der regierung rauslesen. die studie sagt uns, wie unzufrieden die deutschen mit der opposition sind - ich könnte da genau so gut reintinterpretieren, dass sie demnach mit der regierung recht zufrieden sein müssten. 71% sind der meinung, dass es die anderen nur schlechter machen würden... für die zunehmende unzufriedenheit mit der regierung gibt es keinen beleg.

wohlgemerkt, ich kritisiere den fehlenden beleg, ich will nicht sagen, dass die deutschen mit der regierung zufrieden seien.

der stern bleibt zunächst auf dem teppich und hält sich - zunächst - an die ergebnisse der studie:

doch später auch hier:

die obwohl-komponente ist nicht im geringsten belegt - im gegenteil: die gleichbleibenden parteipräferenzen legen eher den schluss nahe, dass sich mit der zufriedenheit/unzufriedenheit mit der regierung nicht viel geändert hat.

was mich allerdings umgehauen hat, war das hier:

eine recht ausführliche methodenbeschreibung - da will ich der journaille doch mal anerkennend auf die schulter klopfen. aber letzlich torpedieren sie sich damit selber:

wie kann man unterschiede von einem prozentpunkt als zugewinn oder abnahme interpretieren, wenn die fehlertoleranz bei +/- 3 prozentpunkten liegt? es könnte genau so gut für die spd um 2 prozentpunkte bergab gegangen sein, während die grünen 2 prozentpunkte zulegen...

ich hab mir mal die mühe gemacht und aus den sonntagsfragen von forsa eine grafik erstellt:



für die cdu scheint es tatsächlich leicht bergab zu gehen - allerdings wurde hier gemessen, ob man die partei wählen würde, nicht ob man unzufrieden mit ihr ist. das kann ein unterschied sein, schließlich kann man auch eine partei wählen, mit der man unzufrieden ist. das ist sogar gut vorstellbar. man muss ja nur mit den anderen noch unzufriedener sein. ebenso kann man eine partei nicht wählen, auch wenn man mit ihr recht zufrieden ist - man muss nur mit einer anderen zufriedener sein...

dass letzteres der fall ist, belegt auch die studie: 33% seien mit der fdp zufrieden, aber nur 14% wollen sie auch wählen. liegt letztlich einfach daran, dass man sich bei der sonntagsfrage für eine partei entscheiden muss, während sich die zufriedenheitsfrage auf alle parteien bezieht.

für die anderen parteien kann man nur festhalten, dass sich wohl kaum etwas geändert hat. zumindest konnte man kaum eine änderung festellen. innerhalb der fehlertoleranz sind alle bewegungen möglich - man kann die unterschiede eben nur nicht feststellen. dazu müsste man die stichprobengröße erhöhen - allerdings um das vierfache, um den fehlerbeich zu halbieren. und weg geht der fehlerbereich nie, es werden nur die kosten für die umfrage größer. und da muss man die kosten und den informationsnutzen gut abwägen.

im übrigen ist es streng genommen falsch, dass die fehlertoleranz bei allen werten gleich sei (bei meiner grafik ist allerdings ein solch konstanter fehlerbereich eingetragen). bei prozentwerten um die 50% ist sie größer als bei kleinen oder ganz großen prozentwerten. die +/- 3 prozentpunkte sind ein zugeständnis an den leser, der sich nicht genauer mit konfidenzintervallen auseinandersetzen will. in wirklichkeit hat jeder prozentwert sein eigenes fehlerintervall.

wer es genauer wissen will (ich zitiere aus dem stern):

= mit 95%iger sicherheit zwischen 30,1 und 35,9%.

= mit 95%iger sicherheit zwischen 26,2 und 31,8%.

= mit 95%iger sicherheit zwischen 13,7 und 18,3%.

= mit 95%iger sicherheit zwischen 68,2 und 73,8%.

= mit 95%iger sicherheit zwischen 27,2 und 30,8%.

d.h. wenn sie letzte woche tatsächlich auf 28% gewesen sein sollte (in wahrheit dürfte das zwischen 26,2% und 29,8% liegen), können sie genau so gut auch gefallen sein. innerhalb des konfidenzintervalls sind alle werte gleich wahrscheinlich richtig. es ist also genau so gut möglich, dass die spd von 26,2% auf 30,8% gestiegen ist, und es ist genau so gut möglich, dass die spd von 29,8% auf 27,2% gesunken ist. wir wissen es einfach nicht.

oder von 8,8%-11,2% auf 7,9%-10,1%. ob gesunken oder gestiegen, niemand weiß es.

ich belasse es mal dabei. soviel statistik brauchts aber noch:

diese 95%ige sicherheit bedeutet, dass jedes 20. ergebnis von solchen wahlumfragen auch komplett falsch sein kann, und in wirklichkeit noch nicht mal in den grenzen der fehlertoleranz zu finden ist. zufallsstichproben können halt auch mal zufällig ziemlich verzerrt sein.

möchte man die sicherheit erhöhen, muss man entweder mehr leute befragen - und zwar viel mehr, so dass es viel mehr kostet und man nur etwas mehr sicherheit hat. bei gleich vielen befragten, wird einfach das intervall größer, wenn man höhere sicherheit haben will.

übertrieben gesagt: man kann mit 100%iger sicherheit davon ausgehen, dass partei x in wirklichkeit zwischen 0 und 100% hat.

das ist übrigens eine logische und keine statistische aussage. exakt 0% und 100% kennen wir statistiker eigentlich gar nicht...

 

weiter geht's - diesmal kürzer:

man findet solche aussagen wie "das risiko verdoppelt sich" recht häufig. doch ohne die inzidenzrate (wie viel prozent haben überhaupt diese krankheit) ist eine solche aussage kaum was wert. ich übertreibe mal absichtlich: wenn von einer million frauen ohne hormonpräparate eine an brustkrebs erkrankt, und von einer million frauen mit hormonpräparaten zwei - so ist das risiko zwar doppelt so hoch - aber wenn die hormonpräparate gegen wechseljahres-beschwerden wirklich helfen, so dürfte die risiko-verdoppelung trotzdem akzeptabel sein.

ich wiederhole mich: die hier beispielhaft angeführten inzidenzraten dürften massiv untertrieben sein - es ist also gut möglich, dass die verdoppelung des risikos wirklich problematisch ist. nur wissen wir es nicht, zumindest nicht nach der lektüre dieses artikels. wenn also jemand über die inzidenzrate bei brustkrebs genauer bescheid weiß, so würde mich das sehr interessieren.

im übrigen wissen wir auch nicht, ob nicht vielleicht ein (unbekannter?) faktor wechseljahresbeschwerden und das brustkrebsrisiko erhöht. es nehmen ja nur die frauen hormonpräparate, die beschwerden haben. wenn die ursache für die beschwerden gleichzeitig das brustkrebsrisiko erhöht, ist es kein wunder, dass diejenigen, die präparate nehmen, auch ein erhöhtes risiko haben.

was ich hier bemängele, richtet sich auf die berichterstattung, nicht auf die studie. ob und wie das dort berücksichtigt wurde, weiß ich nicht.


ach ja, kommentare sind natürlich ausdrücklich erwünscht!

 

ich weiß nicht, ob ich deine frage richtig verstehe, dkr... aber genau das wollte ich damit zeigen.



vielleicht hätte ich den fehler-korridor noch deutlicher machen sollen. die mittelwerte suggerieren schwankungen, leichte zugewinne, leichte verluste - doch meist innerhalb der fehlertoleranz. d.h. wir wissen zwar, dass in der stichprobe (die xtausend befragten) sich schwankungen ergaben, wir wissen aber nicht, wie's damit in der grundgesamtheit (die deutschen wähler) aussieht. innerhalb des toleranzbereichs ist alles möglich. so kann ein konstanter umfragwert bedeuten, dass die betreffende partei bis zu fünf prozentpunkte gewinn oder auch verlust gemacht hat.

fairerweise muss ich eines erwähnen: ich habe oben ja schon erklärt, dass jeder wert seinen eigenen toleranzbereich hat - am größten ist dieser bereich bei 50%. bei 2501 befragten und einem wert von 50% liegt er - sorry, dass ich's erst jetzt exakt ausgerechnet habe - bei +/- 1,96 prozentpunkten.
witzigwerweise ist das auch der dazugehörige z-wert - jetzt wird's ein bissel arg statistisch - das ist aber afaik jetzt ein dummer zufall. erhöht man die stichprobengröße bleibt der z-wert gleich, aber das konfidenzintervall verringert sich. egal.

der stern hat also mit seiner angabe von +/-2,5 prozentpunkten das recht großzügig bemessen. vielleicht konnten sie auch keine richtige zufallsstichprobe durchführen (meine berechnung setzt das voraus) und das mafo-institut hat den wert aus erfahrung etwas höher angesetzt.

so, summa summarum ich habe in meiner grafik nicht nur einen konstanten toleranzbereich unterstellt ('s war mir grad zu kompliziert...), ich merke grade, dass ich auch einen toleranzbereich von +/-3 % eingestellt habe.

im übrigen ist das letztlich auch die formel, mit der man die stichprobengröße bestimmt. man muss einfach vorher festlegen, mit welcher sicherheit (konfidenzniveau) man welche genauigkeit (konfidenzintervall) haben möchte, und schon kann's losgehen. zumindest von der theorie her. da man's aber eigentlich immer so sicher und so genau wie möglich haben will, bestimmt in der praxis einfach das budget die stichprobengröße...

übrigens, das geile ist: die größe der grundgesamtheit kommt da gar nicht vor. auf gut deutsch: es ist einfach mal grad egal, ob man repräsentativ für ein dorf, eine stadt, region, bundesland, nation, ja sogar weltweit etwas untersuchen möchte - als daumenregel kann man sagen: 1.000 befragte reichen.
mit 1.000 sollte man nicht unbedingt mehr unterteilungen machen, wie z.b. männer vs. frauen, oder schlimmer noch hausfrauen über 30 mit hoher bildung und zwei kindern vs. arbeitslose unter 20 mit niedriger bildung und 4 kindern... je mehr solche unterteilungen man machen möchte, desto mehr leute muss man halt einfach befragen.

bei den meisten umfragen braucht man in dieser hinsicht gar nicht so skeptisch sein, könnt mich jetzt an keine repräsentativ-umfrage eines großen instituts erinnern mit weniger als 1.000 befragten.

viel wichtiger als die größe der stichprobe ist das auswahlverfahren. die mathematik schreibt da strenge zufallsauswahl vor.

insbesondere verfahren, bei denen sich die respondenten selbst rekrutieren können, verstoßen massiv gegen dieses ideal.
so z.b. offene online-umfragen. online mach da gerne zigtausende mit, da können telefonumfragen einpacken - die daten sind aber trotzdem hochgradig verzerrt.

ich bin mal über ein ergebnis gestolpert, da haben von bestimmt ganz vielen teilnehmern (die zahl weiß ich leider nicht mehr) stolze 47% die frage bejaht, sie hätten diabetes (die zahl weiß ich noch genau). ist ja auch recht einleuchtend warum - welcher nicht-diabetiker hat denn schon lust, einen diabetiker-fragebogen auszufüllen?

richtig spaßig wird das, wenn diese umfragen systematisch sabotiert werden - sie hives thread. da wär ich übrigens dafür, die online-forschungsdiskussion (falls es sie denn geben sollte), hierher zu verlegen. dort eher die publizistischen und politischen implikationen dieses vorgehens zu beleuchten und hier die methodischen, dürft auch in hives interesse sein, denke ich.

leider werden viel zu oft ergebnisse von solchen offenen umfragen irgendwie als repräsentativ interpretiert. nicht unbedingt explizit - aber sowas wie: mehrheit der deutschen blabla...

eigentlich wollte ich ja nen wettbewerb ausrufen, wer zuerst so ne meldung findet, aber es ging so schnell:

ok, ich kann es nicht wirklich beweisen - aber das renommee des portals meinestadt.de in marktforschungskreisen sowie die teilnehmehrzahl sprechen sehr dafür, dass das eine offene umfrage war.

aber davon ab: überhaupt online etwas für deutschland repräsentatives hinzukriegen ist derzeit unmöglich.
in einem unternehmen, wenn alle mitarbeiter bekannte email-adressen haben da kann man online etwas leichter repräsentatives herauskriegen).

auch wenn ich was gefunden habe - ihr dürft gerne mitsuchen und hier posten. auch sonst: die darstellung statistischer ergebnisse in den (nachrichten)medien interessiert mich immer - nur her damit...

jetzt aber bitte nicht google-news abgrasen... und bitte auch nix (hoch-)wissenschaftliches... interessantes, fragwürdiges sowas halt büdde...

8)

ach ja, an meinen freund, den journalisten der pressemitteilung:

*schulterklopf*

*fressehau*

symbolisch natürlich, mein lieber.

ach, und hier gleich wieder. eigentlich darfst du dich für den ganzen text gut geknufft fühlen.

ich würd ja auch seminare geben, zur besseren interpretation statistischer daten. mein erster kunde? *krawattezurechtrück*schicken sie mir einfach äh, eine pn!

nachtrag: och jo, ist ja nun doch wieder watt längeres geworden... ich hätt mal gern nen laber- und nen oberlehrer-smilie, wenn's recht ist, bitteschön, an die forenleitung da oben.

 

in der tat wars in letzter zeit ein bissel langwiilig bei google-news. aber just eben hab ich doch noch was gefunden, mit teilweise vorbildlicher darstellung, aber auch mit gravierenden mängeln. ob diese mängel in der studie oder nur in der darstellung vorkommen, kann ich nicht beurteilen, ich kenn die studie nicht.

so, los geht's:

gleich mal erster stopp. die mortalitätsrate ist gesunken, und zwar um prozent (und nicht um prozentpunkte, zumindest laut diesem artikel).

das ist also eine prozentangabe bei einer prozentangabe - mit sowas lässt sich ordentlich eindruck schinden. ein beispiel: stellen wir uns vor, das risiko von einem dachziegel erschlagen zu werden ist 0,0001% (1 von einer million). mit helm würde man in neun von zehn fällen überleben.

:gruebel:

leute, tragt helm, es verringert das risiko, von einem dachziegel erschlagen zu werden, um 90%!!!

sowas kann man auch übertreiben, unternehmen machen sowas gerne. z.b. bei wachstumsraten von wachstumsraten:
ein unternehmen macht 2003 100.000 € umsatz, 2004 101.000 € und 2005 102.500 €. ist ja nicht gerade rosig, von 2003 nach 2004 gerade mal ein prozent umsatz gemacht, und von 2004 nach 2005 knapp 1,5%. was nichts anders heißt, dass das wachstum um 50% gewachsen ist! welche zahl wird da wohl publiziert?
das beispiel hab ich übrigens von hier

zurück zur mammographie: mein einwand belegt nicht, dass mammographie nix taugt. ich glaube, das risiko für frauen, an brustkrebs zu erkranken ist größer als das allgemeine risiko vom ziegel erschlagen zu werden. nur leider wird dieses risiko im text nicht genannt. bleibt die frage, warum...

weiter im text:

bei denen brustkrebs diagnostiziert worden war... und was ist mit denen, die kein brustkrebs hatten? sowas ist immens wichtig, um z.b. das risiko einer fehldiagnose zu bestimmen...

der liberale war so nett, und hats für mich ausgerechnet:

er meint natürlich, dass fast niemand mit dem einem positiven testbescheid in echt bellsucht hat.

zurück zum brustkrebs:
genannt wurde die risikoreduktion, nicht aber die höhe des risikos - das risiko an brusktrebs zu sterben, wenn man welchen hat , wohlgemerkt.
zur betrachtung des risikos von fehldiagnosen brauchen wir noch die sicherheit der tests und das risiko, brustkrebs zu haben.
in der überschrift heißt es: mammographien retten leben. was da nicht steht: und sie kosten geld. geld, das anderweitig eingesetzt, auch leben retten könnte. diese problematik wird nicht mal andiskutiert.

aber weiter im text:

ach herrje, es wird also die zeit vor 1977 mit der zeit nach 1977 verglichen. könnte da nicht der allgemeine medizinische fortschritt, wie z.b. bessere operationsmöglichkeiten, die sterblichkeit verringert haben?

allerdings - das haben sie berücksichtigt:

sehr schön - dadurch dass beide gruppen aus dem gleichen zeitraum stammen, ist solchen zeiteffekten vorgebeugt. allerdings weiterhin nur risikoreduktionsangaben, keine höhe des risikos selbst.

zu guter letzt:

es ist nicht nur die fehlende risikoreduktion bei den an krebs erkrankten frauen unter 20 - es ist vor allem auch die nicht besprochene fehldiagnosen-wahrscheinlichkeit, die für junge frauen, die nicht aus anderen gründen ein erhöhtes risiko haben, ein massenscreening ungeeignet macht. anders ausgedrückt - es ging hier um vaterschaftstests:

auf brustkrebs bezogen: wie vielen gesunden frauen darf man eine fehldiagnose stellen, um wie viele kranke frauen retten zu können?




das ist übrigens eine frage, die sich nicht mit statistik beantworten lässt.

 

gibt mal wieder was:

solche prognosen heißen extrapolationen. seid vorsichtig damit, sie sind statistisch häufig nicht zulässig: jeden tag kommt der bauer und bringt dem huhn futter. das huhn geht davon aus, dass das ewig so weitergeht - bis der bauer eines morgens nicht mit dem futter, sondern mit dem hackebeil kommt...

nur weil etwas in der vergangenheit so und so war, muss es nicht in alle zukunft so gehen - erst recht, wenn es sich dabei um die zukunft in 50 jahre handelt. das ist ein langer zeitraum, und niemand weiß, was passieren wird. vielleicht wird aids heilbar und afrika legt so richtig los. vielleicht gibt es einen atomkrieg und in nahost lebt niemand mehr. vielleicht gibt es eine neue unheilbare krankheit und halb europa wird dahingerafft. vielleicht werden zunächst die weißen in amerika recht knapp, doch genau deswegen zeugen sie mehr kinder.

ich weiß, das sind viele vielleichts, und wir wissen nicht, was kommt. vielleicht wirds ja auch so, wie prognostiziert. man könnte sich aber mal die prognosen von vor 50 jahren ausschauen, wie gut die zutrafen. mit aids hat da keiner gerechnet. mit der wiedervereinigung hat da keiner gerechnet. mit einer marktwirtschafltichen öffnung chinas hat da keiner gerechnet. mit einem atomkrieg haben viele gerechnet. es kommt so häufig so anders, da haben solche derart langfristigen prognosen eigentlich nur unterhaltungswert. ich glaube nicht, dass soziologen sowas wirklich ernst nehmen.

erst recht nicht in dieser eindeutigen form. gute langfristige prognosen erkennt man daran, dass ereigniskorridore beschrieben werden. variante a: die bevölkerungsentwicklung verlangsamt sich etwas. variante b: sie bleibt ziemlich so, wie sie jetzt ist. variante c: sie steigt weiter. welche dieser varianten eher zutrifft, kann ein forscher nicht sagen, abe rein guter forscher wird sie so nennen und darauf hinweisen, dass es nicht genauer geht. das fehlt hier. auch in der original-publikation zu dieser "studie" fehlt das. und wenn man sich das durchliest, stellt man fest, dass das keine eigene (primär-)studie ist, sondern nur en zusammtragen von ergebnissen anderer studien:

das ist schon okay, die daten so zusammenzutragen, es wär auch ein bissel unnötig, daten, die es schon gibt, nochmal neu zu sammeln. ich gehe davon aus, dass dort bestimmt solche korridore genannt sind. leider sind die bei der sekundär-auswertung anscheinend verloren gegangen - das politische interesse scheint mir bei dieser publikation auf jeden fall größer zu sein als das soziologisch/wissenschaftliche.

was nicht per se schlecht sein muss, die bekämpfung von aids in afrika ist ja ein wichtiges ziel. da sind vorsichtige schätzungen von wissenschaftlern vielleicht gar nicht so hilfreich wie eine plakative schlagzeile.

im übrigen versteckt sich in dem pdf eine solch vorsichtige aussage:

auf deutsch: wer aussagen über die bevölkerungsentwicklung in der vergangenheit machen möchte, sollte nicht auf alte ausgaben des datenreports zurückgreifen. da findet man nämlich nur schätzungen, die nicht unbedingt die reale entwicklung wiedergeben.

und das hat sich für den aktuellen report sicher nicht geändert...

 

ich lass das hier mal unkommentiert (nur die hervorhebungen sind von mir), ihr wisst ja jetzt bescheid...

 

heut lass ich mal andre meine arbeit machen:

41% der deutschen leben vom staat

 

tss... war hier gesperrt... aber wozu ist man ja mod?

simple man hat mich grade auf die nächste quarks und co sendung aufmerksam gemacht, und genau das will ich mit euch gerne machen. hier bitteschön:

wird wohl sally clark sein...

und just dabei ist mir das tolle nzz-folio zum thema statistik eingefallen, hab ich das etwa noch nicht erwähnt? unbedingt anschauen!



schon das cover!

 

da muss man schon mehr als staub wegpusten...

bin grad beim durchstöbern meiner favoriten auf folgenden link gestoßen und wollte euch den nicht vorenthalten:

DENKFALLEN UND PARADOXA


hammersammlung.

auszug:

viel spaß damit.


nachtrag: und noch eins für den spaß - eine riesensammlung an statistischem

UNSINN IN DEN MEDIEN

 

lol - danke für den link!

 

es heißt zwar statistik-ecke, aber manchmal reg ich mich auch über deutsch auf...

Kinder aus vermüllter Wohnung evakuiert
Kerze im Gefrierfach: Neun Personen bei Feuer in NÖ evakuiert
300 Schiffpassagiere evakuiert
Schwelbrand auf Dach der Realschule Manching - 840 Schüler evakuiert
Chlorgas-Austritt in China - 5000 Menschen evakuiert
24 Menschen evakuiert
POL-MFR: (916) Küche ausgebrannt - 30 Personen evakuiert
Tausende nach Vulkanausbruch in Kolumbien evakuiert
Rudolfsheim: Hausbewohner in Wien evakuiert
400 Beschäftigte bei Brand in Hannover evakuiert
...

dass die journis kein mathe können, kann ich ja manchmal verstehen. aber deutsch?

e-vakuieren heißt ent-leeren. die armen menschen, erst ham se pech, dann werden sie auch noch zwangsentleert...

:-_-:

 

gebäude und gegenden werden evakuiert, aber nicht menschen.