Qualitätssicherung in der Psychodiagnostik

Auf dem Gebiet der Psychologischen Diagnostik gibt es verschiedenste Konzepte und Ansätze, die Qualität zu sichern bzw. zu heben. Mit entsprechenden Qualitätsinitiativen soll auch eine Abgrenzung gegenüber einem unqualifizierten Einsatz von Testverfahren (der bis zur Scharlatanerie gehen kann) erreicht werden.

Die Qualität psychodiagnostischer Verfahren ist Auftraggebern von Psychodiagnostik und Diagnostizierten nicht immer leicht ersichtlich, weil häufig nur Ergebnisse der Verfahren bekannt gegeben werden und die Funktionsweise der Instrumente intransparent bleibt. Damit ist es den Beteiligten erschwert, professionell entwickelte Instrumente von solchen zu unterscheiden, welche die Gütekriterien psychodiagnostischer Verfahren nicht oder nur teilweise erfüllen. Nach mehreren Schätzungen der Berufsverbände werden nur etwa 20% aller psychodiagnostischen Untersuchungen von qualifizierten Personen mit geeigneten Instrumenten (also mit ausreichender Qualität) vorgenommen.

Weil solche Instrumente oft und zunehmend für Entscheidungen von hoher Tragweite eingesetzt werden (Zulassungsentscheidungen für Bildungswege, Entscheidungen über Stellenbesetzungen und Karriereplanungen, Tauglichkeitsentscheidungen für bestimmte Tätigkeiten; Feststellung von Erkrankungen und Störungen und Ableitung der richtigen Behandlungsmasnahmen), beginnt sich bei allen Beteiligten ein Qualitätsbewusstsein zu entwickeln. Für die Rechtmässigkeit dieser Entscheidungen ist es notwendig, dass die zugrundeliegenden Regeln sich nicht nur den Experten erschliessen, sondern auch allgemeinverständlich und nachvollziehbar sind. Dem steht entgegegen, dass solche verbindlichen Richtlinien auf Gesetzesebene fehlen und auch nicht in Sicht sind. Das liegt nicht zuletzt auch daran, dass allseits anerkannte Kriterien für Qualität fehlen - auch im Fach selbst über die Details notwendiger Mindeststandards noch diskutiert wird.

In den letzten Jahren hat es mehrere Versuche gegeben, Kriterien zu definieren und allgemeinverständlich darzustellen. Der Prozess der Konsensfindung ist noch nicht abgeschlossen. Angemerkt sei, dass man sich allerdings über die grundsätzlichen Anforderungen innerhalb der Psychologie seit langem einig ist. Diese gehören zum psychologischen Grundwissen und deren Einhaltung zu den berufsethischen Grundlagen psychologischer Tätigkeit. Der Diagnostik-Anbietermarkt ist aber nicht auf psychologische Fachpersonen begrenzt und vor allem ausserhalb der Psychologie liegende Widerstände verzögern die Konsensfindung. Man hat innerhalb der Psychologie erkannt, dass es nicht ausreicht, wenn diese Richtlinien nur für Fachleute verständlich sind. Deren Kenntnis ist auch für Auftraggeber und Diagnostizierte wichtig, um Fehlanwendungen psychologischer Verfahren zu erkennen bzw. geeignete Anbieter zu evaluieren. Denn letztendlich entscheiden vor allem die Auftraggeber in vielen Bereichen, welche Verfahren sich am Markt durchsetzen (z.B. Personaldiagnostik).

Elemente, die der Qualitätssicherung bedürfen

Die Qualitätssicherung muss den gesamten diagnostischen Prozess umfassen, Dieser beinhaltet:

  • die Qualität der eingesetzten Verfahren, insbesondere die Erfüllung der Gütekriterien psychodiagnostischer Verfahren
  • die Qualifikation der beteiligten Personen
  • die Einhaltung von Abläufen und Regeln (Datenschutz, Wahrung der persönlichen Integrität, Art der Rückmeldung der Ergebnisse)

 

Internationale Richtlinien für die Testanwendung

Die Internationale Testkommission (ITC) hatverabschiedet, die von vielen Berufsverbänden anerkannt wird (unter anderem auch BdP Deutschland). Deutsche Fassung hier.

Inhalt:

  • 1 VERANTWORTUNG FÜR ETHISCH KORREKTE TESTANWENDUNG
    • 1.1 Handeln in professioneller und ethisch korrekter Weise
    • 1.2 Stellen sicher, dass sie für die Testanwendung fachkompetent sind
    • 1.3 Übernehmen Verantwortung für ihre Anwendung von Tests
    • 1.4 Gewährleisten die sichere Verwahrung von Testmaterial
    • 1.5 Gewährleisten die vertrauliche Behandlung von Testergebnissen
  • 2 FACHLICH KOMPETENTE PRAXIS IN DER TESTANWENDUNG
    • 2.1 Evaluation der möglichen Brauchbarkeit von Tests in einer diagnostischen Situation
    • 2.2 Auswahl technisch einwandfreier und für die Situation angemessener Tests
    • 2.3 Beachtung von Fragen der Fairness bei der Testanwendung
    • 2.4 Notwendige Vorbereitungen für die Testdurchführung
    • 2.5 Fachlich kompetente Testvorgabe
    • 2.6 Akkurate Testauswertung und Analyse der Testergebnisse
    • 2.7 Angemessene Interpretation der Testergebnisse
    • 2.8 Klare und exakte Weitergabe der Testergebnisse
    • 2.9 Überprüfung der Angemessenheit eines Tests und seiner Anwendung
  • ANHANG A: RICHTLINIEN FÜR DEN ENTWURF VON GRUNDSÄTZEN IN DER TESTANWENDUNG
  • ANHANG B: RICHTLINIEN FÜR VEREINBARUNGEN ZWISCHEN DEN AN EINEM TESTPROZESS BETEILIGTEN
  • ANHANG C: GESICHTSPUNKTE, DIE BEI TESTS MIT BEHINDERTEN ODER IN ANDERER WEISE BEEINTRÄCHTIGTEN PERSONEN BEACHTET WERDEN SOLLTEN

Initiative in Deutschland

Für die Eignungsdiagnostik gibt es eine DIN-Norm 33430, welche den ganzen Prozess betrifft. Diese soll zu einem ISO-Standard weiterentwickelt werden (siehe dort).

Übersetzung und Adaptation von Tests in andere Sprachen

Viele Tests sind stark sprach- und kulturabhängig. Das betrifft Formulierungen (die idiomatisch sein können) ebenso wie die Vergleichsnormen, die für die Auswerung gelten. Beispielsweise zeigt sich Extraversion in Amerika anders als in Europa. Es reicht nicht aus, Tests zu übersetzen. Es muss auch geprüft werden, ob noch das Gleiche gemessen wird. Ausserdem ist fast immer eine Neunormierung in den jeweils anderen Sprachen notwendig.

Technical Standards for Translating and Adapting Tests and Establishing Test Score Equivalence wurden von sechs führenden internationalen psychologischen Fachgesellschaften 1994 herausgegeben. Sie beinhalten Antworten zu allen wichtigen Fragen, die bei Testadaptationen und -übersetzungen auftreten.

Richtlinien für computer- und internetgestütztes Testen

Die Nutzung von IT in der psychologischen Diagnostik wird immer verbreiteter. Die Internationale Testkommission ITC hat deshalb Richtlinien für computer- und internetgestütztes Testen erarbeitet, welche Möglichkeiten und Grenzen dieses Zuganges berücksichtigen.

  • 1. Give due regard to technological issues in Computer-based (CBT) and Internet Testing
    • a. Give consideration to hardware and software requirements
    • b. Take account of the robustness of the CBT/Internet test
    • c. Consider human factors issues in the presentation of material via computer or the Internet
    • d. Consider reasonable adjustments to the technical features of the test for candidates with disabilities
    • e. Provide help, information, and practice items within the CBT/Internet test
  • 2. Attend to quality issues in CBT and Internet testing
    • a. Ensure knowledge, competence and appropriate use of CBT/Internet testing
    • b. Consider the psychometric qualities of the CBT/Internet test
    • c. Where the CBT/Internet test has been developed from a paper and pencil version, ensure that there is evidence of equivalence
    • d. Score and analyse CBT/Internet testing results accurately
    • e. Interpret results appropriately and provide appropriate feedback
    • f. Consider equality of access for all groups
  • 3. Provide appropriate levels of control over CBT and Internet testing
    • a. Detail the level of control over the test conditions
    • b. Detail the appropriate control over the supervision of the testing
    • c. Give due consideration to controlling prior practice and item exposure
    • d. Give consideration to control over test-taker’s authenticity and cheating
  • 4. Make appropriate provision for security and safeguarding privacy in CBT and Internet testing
    • a. Take account of the security of test materials
    • b. Consider the security of test-taker’s data transferred over the Internet
    • c. Maintain the confidentiality of test-taker results

USA: Standards for Educational and Psychological Testing

Die Amerikanische Psychologenvereinigung (American Psychological Association, APA) hat eine international stark beachtete Qualitätsrichtlinie veröffentlicht, die Standards for Educational and Psychological Testing. Die aktuelle Fassung wurde 1999 in den USA verabschiedet.

In deutscher Sprache wurde eine frühere, aber ähnliche Fassung als Supplementum 1/1998 der Zeitschriften Diagnostica und der Zeitschrift für Differentielle und Diagnostische Psychologie veröffentlicht.

  • Methodische Standards für die Testkonstruktion und -evaluation
  • Standards für eine fachlich kompetente Testanwendung
  • Standards für besondere Anwendungen (sprachliche Minderheiten, Personen mit Behinderungen)
  • Standards für Vorgehensweisen (Durchführung, Auswerung, Interpretation; Schutz der Rechte der Probanden)

USA: Code of Fair Testing Practices in Education

Diese Standards (Stand 2004) sind vor allem auf Diagnostik im Bildungsbereich ausgerichtet. Sie sind mit den vorgenannten kompatibel, sehr auf Verständlichkeit und Praktikabilität ausgerichtet.

  • A. Developing and Selecting Appropriate Tests (Testentwicklung und Testauswahl werden im Zusammenhang mit der Eignung für eine Fragestellung diskutiert)
  • B. Administering and Scoring Tests (Anwendungsempfehlungen und die richtige Auswertung)
  • C. Reporting and Interpreting Test Results (wie sollen Testergebnisse richtig interpretiert werden)
  • D. Informing Test Takers (wie sollen Testergebnisse und diagnostische Entscheidungen bekanntgegeben werden).

Informationen über Tests und diagnostische Verfahren

Nach wie vor bleibt es für Laien schwer, die Qualität psychodiagnostischer Verfahren und Vorgehensweisen einzuschätzen. Hierzu ist detaillierte Information über die Verfahren notwendig, die üblicherweise in Form von Handbüchern von den Testentwicklern bereitgestellt werden muss. Mindeststandard der Dokumentation sind Aussagen über

  • die theoretischen Grundlagen, auf denen das Verfahren beruht;
  • die einzelnen Entwicklungsschritte;
  • die Überprüfung der Gütekriterien;
  • detaillierte Richtlinien für Durchführung, Auswertung und Interpretation.


Nicht immer existieren diese Handbücher überhaupt, nicht immer werden sie frei zur Verfügung gestellt (was allerdings dann legitim ist, wenn das Verfahren zu schützen ist).

Auftraggeber, besonders von grösseren Projekten, sollten allerdings auf die Einsichtnahme in diese Handbücher bestehen. Es bleibt für Laien dann unter Umständen trotzdem schwer, die Verfahrensgüte einzuschätzen. Man kann entweder Experten für die Bewertung der Verfahren beiziehen oder aber in der Fachliteratur Rezensionen dieser Verfahren suchen. Eine Reihe wissenschaftlicher Zeitschriften veröffentlichen regelmässig solche Rezensionen, die in der Regel auch unabhängig von den Testentwicklern durchgeführt werden.

Im deutschen Sprachraum sammelt das Zentrum für Psychologische Information und Dokumentation (ZPID) in Trier Informationen über Tests und solche Testrezensionen.

Rezensionen von Tests in Fachzeitschriften

Rezensionen sind eine gute Möglichkeit, mehr über die Leistungsfähigkeit von Tests und mögliche kritische Einwände zu erfahren.

Übersicht Testrezensionen vom Server der Testzentrale

Weitere Rezensionen finden Sie vor allem in den folgenden Zeitschriften (Abstracts und Inhaltsverzeichnisse sind verfügbar)