Bewertung von Studien

An hochwertige Studien werden methodisch sehr hohe Anforderungen. Wenn diese Anforderungen erfüllt wurden, dann können die Schlussfolgerungen als sehr verlässlich angesehen werden.

Wenn Studien methodisch schwach sind, dann ist die Wahrscheinlichkeit groß, dass die Schlussfolgerungen falsch sind.

Therapien

Bei einer Therapiestudie wird zunächst die interne Validität überprüft, indem folgende Fragen beantwortet werden:

War die Therapiezuweisung randomisiert?
Wie wurde randomisiert?
Wurden alle geeigneten Patienten ausgeschlossen?
Welches waren die Ausschlusskriterien?
Blieben die Patienten auch bei der Auswertung in ihrer zugewiesenen Gruppe (intent-to-treat)?
Waren Patienten oder Untersucher geblindet?
Wurden die Patienten tatsächlich gleich behandelt?
Waren die Patientengruppen in ihren Grundcharakteristika vergleichbar?

Danach wird überprüft, ob die Ergebnisse überhaupt relevant sind?

Wie hoch ist die relative/absolute Risikoreduktion?
Wie hoch ist das 95%-Konfidenzintervall?
Wie viele Patienten müssen behandelt werden, um ein unerwünschtes Ereignis zu vermeiden?

Erst dann wird über die externe Validität entschieden.

Unterscheidet sich mein Patient wesentlich von denen in der Studie beschriebenen?
Wie groß könnte der Benefit tatsächlich für meinen Patienten sein?

Wenn die Wünsche und Erwartungen meines Patienten kompatibel zu den zu erwartenden Ergebnissen ist, dann sollte ich die Therapie meinem Patienten empfehlen.

 
Diagnosen

Bei einer Diagnosestudie wird zunächst die interne Validität überprüft, indem folgende Fragen beantwortet werden:

Wurde der Vergleich von unabhängigen und geblindeten Untersuchern vorgenommen?
Wurde als Vergleich der gegenwärtige "Goldstandard" der Diagnostik gewählt?
Wurde die Untersuchung in einem akzeptablen Spektrum von Patienten vorgenommen, in dem sie auch später durchgeführt werden soll?
Wurde der "Goldstandard" immer vorgenommen, egal welches Ergebnis die alternative Untersuchung erbrachte?

Danach wird überprüft, ob die Ergebnisse überhaupt relevant sind?

Berechne die Sensitivität und Spezifität?
Berechne die Likelihood-Ratios für ein positives und negatives Ergebnis?

 
Prognosen

Bei einer Prognosestudie wird zunächst die interne Validität überprüft, indem folgende Fragen beantwortet werden:

War die Population repräsentativ?
Setzte sie sich aus Patienten zusammen, bei denen die relevante Erkrankung früh diagnostiziert wurde?
War die Nachuntersuchungszeit ausreichend lang?
Wurden alle Patienten in die Nachuntersuchung eingeschlossen?
Waren die Ergebniskriterien klar definiert und wurden sie geblindet erfasst?
Wurden Subgruppen mit unterschiedlichen Prognosen gefunden?
Wurden die Subgruppen mit den wichtigsten prognostischen Faktoren adjustiert?
Wurden die prognostischen Kriterien an einer unabhängigen Gruppe auf ihre Wertigkeit getestet?

Danach wird überprüft, ob die Ergebnisse überhaupt relevant sind?

Wie wahrscheinlich sind die Ergebnisse über den Zeitverlauf?
Wie war das Konfidenzintervall?
Wie genau wurde die Prognose geschätzt?

Dann wird  die externe Validität überprüft:

Unterscheidet sich mein Patient wesentlich von denen in der Studie beschriebenen?
Kann ich diese Prognosekriterien sinnvoll für meine Patienten einsetzen?
Kann ich daraus Schlussfolgerungen ziehen?
Kann ich diese dem Patienten mitteilen?

 
Ätiologien

Bei einer Prognosestudie wird zunächst die interne Validität überprüft, indem folgende Fragen beantwortet werden:

Waren die Patientengruppen in ihren Grundcharakteristika vergleichbar?
Wurde die Population genau beschrieben?
Unterschieden sie sich tatsächlich nur in dem zu untersuchenden Risiko?
Wurde die Exposition und das Ergebnis in beiden Gruppen gleichartig gemessen?
Waren die Untersucher geblindet?
War die Nachbeobachtung lang genug und vollständig?
Ist ein Kausalzusammenhang wahrscheinlich?
Geht die Ursache der Folge zeitlich voran?
Gibt es eine graduelle Dosis-Wirkungs-Beziehung?
Ist die Assoziation mit anderen Studien konsistent?
Ist die Assoziation biologisch sinnvoll?

Danach wird überprüft, ob die Ergebnisse überhaupt relevant sind?

Wie hoch ist das relative Risiko in einer randomisierten Studie?
Wie hoch ist die Odds-Ratio in einer Fall-Kontrol-Studie?

Dann wird die externe Validität überprüft:

Unterscheidet sich mein Patient wesentlich von denen in der Studie beschriebenen?
Wie hoch ist das Risiko meines Patienten?

 
Systematische Reviews

Bei einer Prognosestudie wird zunächst die interne Validität überprüft, indem folgende Fragen beantwortet werden:

Thematisiert der Review die Fragestellung?
Wurden nur randomisierte Studien eingeschlossen?
Wurde beschrieben, wei alle relevanten Studien gesucht, gefunden und eingeschlossen wurden?
Wurde die Validität jeder Studie überprüft?
Waren die Ergebnisse in jeder Studie konsistent oder heterogen?

Danach wird überprüft, ob die Ergebnisse überhaupt relevant sind?

Übertrage die Odds Ratios in die Anzahl der zu behandelnden Patienten.

Dann wird die externe Validität überprüft:

Unterscheidet sich mein Patient wesentlich von denen in der Studie beschriebenen?
Wie groß könnte der Benefit tatsächlich für meinen Patienten sein?
Berechne für die eigenen Patienten das Risiko, wenn sie die übliche Behandlung erhalten.

Wenn die Wünsche und Erwartungen meines Patienten kompatibel zu den zu erwartenden Ergebnissen ist, dann sollte ich die Therapie meinem Patienten empfehlen.