Qualitative Medienforschung

Kohärenz qualitativer Forschung
Definition von Kohärenz

Kohärenz in der qualitativen Forschung kann sich auf verschiedene Aspekte beziehen: Einerseits kann im Rahmen einer Theoriebildung – etwa mit dem Ansatz der Grounded Theory von Glaser und Strauss (1979; → Lampert, S. 596 ff.) – die entwickelte Theorie an dem Anspruch gemessen werden, ein kohärentes Erklärungsmodell oder zumindest eine kohärente Beschreibung des untersuchten Phänomens zu liefern (vgl. hierzu Steinke 1999). Weiterhin kann in der Anwendung unterschiedlicher empirischer Zugänge – im Sinne der Triangulation (vgl. Flick 2011, 2017a; → Treumann, S. 264 ff.) – geprüft werden, ob sie ein kohärentes oder ein divergentes Bild des untersuchten Gegenstandes liefern. Schließlich kann unter einer Prozessperspektive auf den qualitativen Forschungsprozess analysiert werden, inwieweit die einzelnen Schritte und die darin angewendeten methodischen Zugänge ein kohärentes Bild ergeben. Konkreter ist damit gefragt, ob die gewählte Erhebungsmethode mit dem gewählten Sampling und der angewendeten Interpretationsmethoden für die erhobenen Daten zusammenpasst und schließlich die Form der Darstellung des Vorgehens und der Resultate dem angemessen ist.¹

Ansätze zur Realisierung von Kohärenz

Indikation qualitativer Forschung(-sansätze): Hinsichtlich der Herstellung von Kohärenz im qualitativen Forschungsprozess ist zunächst die weitere Klärung der Indikationsfrage ein Desiderat – ähnlich wie dies in der Medizin und Psychotherapie für die Eignung von Behandlungsmethoden bei bestimmten Problemen und Personengruppen geklärt wird. Auf den hier behandelten Kontext übertragen ist damit die Frage gemeint, warum eigentlich bestimmte – und nicht andere – Methoden für die jeweilige Untersuchung verwendet wurden. Nicht nur in qualitativer Forschung, sondern in empirischer Forschung generell geben Lehrbücher kaum eine Hilfestellung für die Entscheidung, wann man sich für eine bestimmte Methode in einer Untersuchung entscheiden sollte. Die meisten dieser Bücher behandeln die einzelnen Methoden oder Forschungsdesigns separat, wenn sie ihre Eigenschaften und Probleme beschreiben. In den meisten Fällen gelangen sie nicht zu einer vergleichenden oder gegenüberstellenden Darstellung verschiedener methodischer Alternativen oder zur Formulierung von Ansatzpunkten dafür, wie eine spezielle (und nicht eine andere) Methode für einen Forschungsgegenstand ausgewählt werden sollte. Entsprechend ist für die qualitative Forschung die weitere Klärung der Frage der Indikation eine Notwendigkeit. In Medizin oder Psychotherapie wird die Angemessenheit einer spezifischen Behandlung für bestimmte Probleme und Patientengruppen – die Indikation (der Behandlung) – geprüft. Die Antwort auf diese Frage lautet, ob eine spezifische Behandlung im konkreten Fall angemessen (indiziert) für ein bestimmtes Problem ist oder nicht. Überträgt man diese Prüfung auf qualitative Forschung, heißen die relevanten Fragen: Wann sind welche qualitativen Methoden angemessen – für welchen Gegenstand? Für welche Fragestellung? Für welche Untersuchungsgruppe (Population) oder welches Untersuchungsfeld etc.? Wann sind quantitative Methoden oder eine Kombination von quantitativen und qualitativen Methoden indiziert (vgl. Abb. 1)?

Die Beantwortung dieser Fragen soll einer einseitigen Festlegung auf bestimmte qualitative Methoden (die man schon immer angewendet hat) vermeiden helfen. Ein zweiter Weg der Förderung der Konsistenz im Forschungsprozess soll hier kurz vorgestellt werden.

Qualitätsmanagement in der qualitativen Forschung: Anregend für die Weiterentwicklung von Qualitätskriterien zur Beurteilung der Daten der qualitativen Forschung (→ Reichertz, S. 571 ff.) und ihrer Interpretation kann die Diskussion zum Qualitätsmanagement (Kamiske/Brauer 1995) im Bereich der industriellen Produktion, Dienstleistungen oder im Gesundheitswesen sein. Dieser Ansatz lässt sich auf die medienwissenschaftliche Forschung übertragen, um eine Diskussion über Qualität in der Forschung voranzutreiben. Über das Konzept des Auditings ergeben sich bereits erste Anknüpfungspunkte. So wird für die Überprüfung der Verlässlichkeit qualitativer Daten von Lincoln/Guba (1985) ein Prozess des »Auditings« vorgeschlagen, der am Vorgang der Buchprüfung im Finanzwesen orientiert ist. Dafür wird ein »Überprüfungspfad« (»auditing trail«) skizziert: Ein Auditing Trail erfasst

• die Rohdaten, ihre Erhebung und Aufzeichnung;

• Datenreduktion und Ergebnisse von Synthesen durch Zusammenfassung, theoretische Notizen, Memos etc., Summarys, Kurzdarstellungen von Fällen etc.;

• Datenrekonstruktionen und Ergebnisse von Synthesen anhand der Struktur entwickelter und verwendeter Kategorien (Themen, Definitionen, Beziehungen), Erkenntnisse (Interpretationen und Schlüsse) sowie die erstellten Berichte mit ihren Integrationen von Konzepten und den Bezügen zu existierender Literatur;

• Prozessnotizen, d. h. methodologische Notizen und Entscheidungen auch hinsichtlich der Herstellung von Vertrauens- und Glaubwürdigkeit der Erkenntnisse;

• Materialien in Bezug auf Absichten und Anordnungen wie die Forschungskonzeption, persönliche Aufzeichnungen und Erwartungen der Beteiligten;

• Informationen über die Entwicklung der Instrumente einschließlich der Pilotversionen und vorläufigen Pläne (vgl. Lincoln/Guba 1985, S. 320 f.).

Damit ist bereits die Prozessperspektive angelegt, die alle relevanten Schritte des Forschungsprozesses umfasst, der zu den Daten und ihrer Interpretation geführt hat. Im Kontext des Qualitätsmanagements ist ein Audit »die systematische, unabhängige Untersuchung einer Aktivität und deren Ergebnisse, durch die Vorhandensein und sachgerechte Anwendung spezifizierter Anforderungen beurteilt und dokumentiert werden« (Kamiske/Brauer 1995, S. 5). Insbesondere das »Verfahrensaudit« ist für die Forschung interessant. Ein Verfahrensaudit soll sicherstellen, »dass die vorgegebenen Anforderungen eingehalten werden und für die jeweilige Anwendung zweckmäßig sind. […] Vorrang hat immer das nachhaltige Abstellen von Fehlerursachen, nicht die einfache Fehleraufdeckung« (ebd., S. 8). Solche Qualitätsbestimmungen werden nicht abstrakt – etwa an bestimmten Methoden per se – vorgenommen, sondern mit Blick auf die Kundenorientierung und die Mitarbeiterorientierung (ebd., S. 95 f., S. 110 f.). Dabei ergibt sich die Frage, wer eigentlich die Kunden medienwissenschaftlicher Forschung sind. Im Qualitätsmanagement wird zwischen internen und externen Kunden unterschieden. Während Letztere die Abnehmer des jeweiligen Produktes sind, gehören zu den Ersteren die Beteiligten an der Herstellung im weiteren Sinn (z. B. Mitarbeiter anderer Abteilungen). Für die Forschung lässt sich diese Unterteilung übersetzen in diejenigen, für die das Ergebnis nach außen produziert wird (Auftraggeber, Gutachter etc. als externe Kunden), und diejenigen, für die und an denen das jeweilige Ergebnis zu erzielen gesucht wird (Interviewpartner, untersuchte Institutionen etc. als interne Kunden). Zur Überprüfung lassen sich beide Aspekte explizit analysieren: Inwieweit ist die Untersuchung so verlaufen, dass sie die Fragestellung beantwortet (externe Kundenorientierung) und den Perspektiven der Beteiligten ausreichend Raum lässt (interne Kundenorientierung)?

Die Mitarbeiterorientierung will berücksichtigen, dass »Qualität unter Anwendung geeigneter Techniken, aber auf der Basis einer entsprechenden Geisteshaltung entsteht«, wobei die »Übertragung von (Qualitäts-) Verantwortung auf die Mitarbeiter durch die Einführung von Selbstprüfung anstelle von Fremdkontrolle« (ebd., S. 110 f.) ein weiterer Ansatzpunkt ist. Entsprechend bezeichnet Qualitätsmanagement »Tätigkeiten […], die die Qualitätspolitik, die Ziele und Verantwortlichkeiten festlegen sowie diese durch Mittel wie Qualitätsplanung, Qualitätslenkung, Qualitätssicherung/Qualitätsmanagement-Darlegung und Qualitätsverbesserung verwirklichen« (ISO 1994; zit. nach Kamiske/Brauer 1995, S. 149).

Qualität im qualitativen Forschungsprozess (→ Reichertz, S. 27 ff.; Flick 2018b) wird sich nur realisieren lassen, wenn sie mit den beteiligten Forschern gemeinsam hergestellt und überprüft wird. Zunächst wird gemeinsam festgelegt, was eigentlich unter Qualität in diesem Zusammenhang zu verstehen ist und verstanden wird:

• eine möglichst klare Festlegung der zu erreichenden Ziele und einzuhaltenden Standards des Projekts; daran müssen alle Forscher und Mitarbeiter beteiligt werden;

• eine Festlegung, wie diese Ziele und Standards und allgemeiner die angestrebte Qualität zu erreichen sind; damit sind eine Einigung über die Weise der Anwendung bestimmter Methoden und ihre Umsetzung, etwa durch gemeinsame Interviewtrainings und deren Auswertung, Voraussetzungen für Qualität im Forschungsprozess;

• die klare Festlegung der Verantwortlichkeiten für die Herstellung von Qualität im Forschungsprozess und

• die Transparenz der Beurteilung und Sicherstellung der Qualität im Prozess.

Dabei sind die Bestimmung, was Qualität ist, deren Herstellung und Sicherstellung im Prozess und die Erfahrung, dass Qualität sich nur in der Kombination von Methoden und einer entsprechenden Haltung realisieren lässt, Anknüpfungspunkte zur Diskussion um Qualitätsmanagement in der medienwissenschaftlichen Forschung. Im Unterschied zu anderen Ansätzen der Qualitätsprüfung in der qualitativen Forschung wird beim Qualitätsmanagement zunächst mit allen Beteiligten geklärt, was unter Qualität verstanden wird, welche Qualitätsziele sich daraus ableiten lassen und wie diese im Einzelnen zu erreichen sind. Hier wird der Gedanke, Forschungsqualität ließe sich allgemein, abstrakt und von außen bestimmen, zu Gunsten einer gemeinsamen Klärung des Qualitätskonzeptes und seiner Umsetzung aufgegeben (vgl. hierzu ausführlicher Flick 2016, Kap. 29; → Reichertz, S. 27 ff.).

Validität qualitativer Forschung

Validität (vgl. Kvale 1995) wird für die qualitative Forschung häufig diskutiert. Die Frage der Validität lässt sich auch darin zusammenfassen, ob »der Forscher sieht, was er […] zu sehen meint« (Kirk/Miller 1986, S. 21). Bei der Übertragung und unmittelbaren Anwendung klassischer Validitätskonzeptionen in der qualitativen Forschung ergeben sich verschiedene Probleme. Die interne Validität soll z. B. erhöht bzw. sichergestellt werden, indem man ausschließt, dass andere als die in der Untersuchungshypothese enthaltenen Variablen den beobachteten Zusammenhang bestimmen (z. B. Bortz/Döring 2001, S. 53). In diesem Verständnis liegen bereits die Probleme bei der Übertragung auf qualitative Forschung begründet: Die interne Validität soll durch eine möglichst umfassende Kontrolle der Kontextbedingungen in der Untersuchung erhöht werden. Dazu dient die weitgehende Standardisierung der Erhebungs- bzw. Auswertungssituation. Der dafür notwendige Grad an Standardisierung ist jedoch mit dem größten Teil der gängigen qualitativen Methoden nicht kompatibel bzw. stellt ihre eigentlichen Stärken in Frage. Ähnlich lässt sich für die anderen Formen der Validität aufzeigen, warum sie nicht direkt auf qualitative Forschung übertragen werden können (vgl. hierzu Steinke 1999).

Insgesamt betrachtet wird der Anspruch formuliert, qualitative Forschung müsse sich zumindest den Fragen stellen, die mit Konzepten wie Reliabilität und Validität (z. B. bei Morse 1999, S. 717) oder Objektivität (Madill u. a. 2000) verknüpft sind (vgl. hierzu Flick 2018b). In der Umsetzung überwiegt jedoch die Modifikation oder Reformulierung der Konzepte.² Generell stellt sich bei der Übertragung der klassischen Kriterien quantitativer Forschung das Problem, dass deren Umsetzung dort wesentlich auf der Standardisierung (des Vorgehens, der Methoden und ihrer Anwendung) beruht, was sich auf qualitative (bzw. nicht-standardisierte) Forschung aufgrund ihres expliziten Verzichts auf Standardisierung nicht übertragen lässt.

Reformulierung der Validität

Daher wird Validität in verschiedener Hinsicht neu gefasst. Legewie (1987) schlägt eine spezifische Validierung der Interviewsituation (zur Methode des Interviews → Keuneke, S. 302 ff.) ausgehend von den verschiedenen Geltungsansprüchen in Habermas’ »Theorie des kommunikativen Handelns« (1981) vor. Demnach sind als Geltungsansprüche, die ein Sprecher im Interview erhebt, zu differenzieren (und damit differenziert zu überprüfen), »(a) dass der Inhalt des Gesagten zutrifft […]; (b) dass das Gesagte in seinem Beziehungsaspekt sozial angemessen ist […]; (c) dass das Gesagte in seinem Selbstdarstellungsaspekt aufrichtig ist.« Ansatzpunkt für die Validierung biographischer Äußerungen ist die Untersuchung der Interviewsituation daraufhin, inwieweit »die Voraussetzungen nicht-strategischer Kommunikation« gegeben waren und »Ziele und Besonderheiten des Interviews […] in Form eines mehr oder weniger expliziten […] ›Arbeitsbündnisses‹ […] ausgehandelt werden« (Legewie 1987, S. 145 ff.).

Zur zentralen Frage wird hier, ob Interviewpartner in der Interviewsituation einen Anlass hatten, bewusst oder unbewusst eine spezifische, d. h. verfälschende Version ihrer Erfahrungen zu konstruieren, die sich nicht (oder nur begrenzt) mit ihren Sichtweisen bzw. dem erzählten Geschehen deckt. Die Interviewsituation wird nach Hinweisen für solche Verzerrungen untersucht. Dies soll Anhaltspunkte dafür liefern, welche systematischen Verzerrungen oder Täuschungen Bestandteil des aus dem Interview entstandenen Textes sind und inwieweit und wie genau diese bei der Interpretation zu berücksichtigen sind. Dieser prüfende Ansatz des Forschers lässt sich durch die Einbeziehung der Interviewpartner weiter ausbauen.

Kommunikative Validierung in einem zweiten Termin nach Abschluss des Interviews und der Transkription (→ Ayaß, S. 421 ff.) ist hier ein entsprechender Ansatz (vgl. Scheele/Groeben 1988). Gelegentlich wird die kommunikative Validierung auch in Bezug auf die Ergebnisse der Interpretation von Texten bzw. Daten diskutiert (vgl. Heinze 1987). Aufgrund der bei der Konfrontation mit Interpretationen auftretenden ethischen Probleme (vgl. hierzu Köckeis-Stangl 1982) hat dieses Verständnis kommunikativer Validierung an Bedeutung verloren. Baumeler (2003) greift diese Verwendungsweise der kommunikativen Validierung im Kontext einer ethnographischen Studie wieder auf und demonstriert die Probleme, die sich dabei ergeben. Vor einer allgemeineren Anwendung solcher Strategien sollten Antworten auf zwei Fragen gesucht werden:

1) Wie sollte das methodische Vorgehen bei der kommunikativen Validierung gestaltet werden, damit es den untersuchten Sachverhalten und der Sicht der Subjekte tatsächlich gerecht wird?

2) Wie lässt sich die Frage der Geltungsbegründung jenseits der Zustimmung der Subjekte weitergehend beantworten? Hierzu sind andere Qualitätsprüfungen notwendig, die eine kommunikative Validierung ergänzen (vgl. als Überblick Flick 1987 und 2010).

Mit dem Konzept der Prozeduralen Validierung in der Reformulierung des Konzepts der Validität geht Mishler (1990) einen Schritt weiter. Sein Vorschlag fokussiert den Prozess der Validierung und nicht den Zustand der Validität. Mishler definiert Validierung als »soziale Konstruktion von Wissen« (1990, S. 417), durch die wir »Behauptungen über die ›Vertrauenswürdigkeit‹ berichteter Beobachtungen, Interpretationen und Verallgemeinerungen aufstellen und diese bewerten« (ebd., S. 419). Schließlich lassen sich durch »Validierung, verstanden als der soziale Diskurs, durch den Vertrauenswürdigkeit hergestellt wird, solche vertrauten Konventionen wie Reliabilität, Falsifikation und Objektivität« umgehen. Als empirische Basis für diesen Diskurs und die Konstruktion von Vertrauenswürdigkeit erörtert Mishler die Verwendung von Beispielen aus narrativen Studien.

Wolcott (1990, S. 127 f.) formuliert für den Prozess ethnographischer Forschung neun Punkte, deren Realisierung der Sicherung von Validität dienen sollen:

(1) Der Forscher soll im Feld weniger selbst reden, sondern möglichst viel zuhören. Er soll (2) möglichst genaue Aufzeichnungen erstellen und (3) frühzeitig zu schreiben beginnen, und zwar (4) in einer Form, die es dem Leser seiner Aufzeichnungen und Berichte ermöglicht, selbst zu sehen, d. h. soviel an Daten mitzuliefern, dass Leser ihre eigenen Schlüsse ziehen und die des Forschers nachvollziehen können. Der Bericht soll möglichst (5) vollständig und (6) offen sein. Der Forscher soll im Feld oder bei seinen Kollegen (7) Feedback zu seinen Ergebnissen und Darstellungen suchen. Darstellungen sollen eine Balance (8) zwischen den verschiedenen Aspekten aufweisen und (9) durch Genauigkeit im Schreiben gekennzeichnet sein.

Diese Schritte zur Sicherstellung der Validität im Forschungsprozess lassen sich einerseits als Versuch des sensiblen Agierens im Feld und andererseits als Verlagerung des Problems der Validität in der Forschung in den Bereich des Schreibens über Forschung sehen.

Altheide und Johnson (2011, S. 586 f.) formulieren das Konzept der »Validität-als-reflexive-Erklärung«. Darin setzen sie die Forscher, den Gegenstand und den Prozess der Sinnfindung in Beziehung und machen Validität am Prozess der Forschung und den verschiedenen Beziehungen fest:

1) der Beziehung zwischen dem, was beobachtet wird (Verhaltensweisen, Rituale, Bedeutungen), und den größeren kulturellen, historischen und organisatorischen Kontexten, innerhalb derer die Beobachtungen durchgeführt werden (die Materie);

2) den Beziehungen zwischen dem Beobachter, dem bzw. den Beobachteten und dem Setting (der Beobachter);

3) der Frage der Perspektive oder der Sichtweise, ob diejenige des Beobachters oder die der Mitglieder des Feldes verwendet werden, um eine Interpretation der ethnographischen Daten anzufertigen (die Interpretation);

4) der Rolle des Lesers im Endprodukt (die Leserschaft);

5) der Frage des darstellenden rhetorischen oder schriftstellerischen Stiles, der von dem oder den Autoren verwendet wird, um eine Beschreibung und/oder Interpretation anzufertigen (der Stil) (ebd., S. 586 f.).

Validierung wird hier unter der Perspektive des gesamten Forschungsprozesses und der beteiligten Faktoren behandelt. Die Vorschläge bleiben dabei jedoch eher auf der Ebene der Programmatik, als dass konkrete Kriterien oder Anhaltspunkte formuliert werden, anhand derer sich einzelne Studien oder Bestandteile davon beurteilen lassen. Versuche, Validität und Validierung in der qualitativen Forschung zu verwenden oder zu reformulieren, haben insgesamt betrachtet mit verschiedenen Problemen zu kämpfen: Formale Analysen des Zustandekommens von Daten in der Interviewsituation beispielsweise können noch nichts über Inhalte und ihre angemessene Behandlung im weiteren Verlauf der Forschung aussagen. Das Konzept der kommunikativen Validierung (oder auch: Member Checks; vgl. Lincoln/Guba 1985) ist mit dem Problem konfrontiert, dass die Zustimmung dort als Kriterium schwierig ist, wo die Sicht des Subjekts systematisch überschritten wird – in Interpretationen, die ins soziale oder psychische Unbewusste vordringen wollen oder sich gerade aus der Unterschiedlichkeit verschiedener subjektiver Sichtweisen ableiten. Entsprechend gab es hierzu eine heftige Kritik an solchen Ansätzen seitens der Vertreter der Objektiven Hermeneutik (→ Hagedorn, S. 580 ff.). Insgesamt betrachtet zeichnen sich die behandelten Reformulierungen des Validitätskonzepts durch eine gewisse Unschärfe aus. Sie bieten der Forschungspraxis durch ihre generelle Problematisierung und Programmatik nicht unbedingt eine Lösung für die Frage der Geltungsbegründung an. Als gemeinsame Tendenz bleibt jedoch eine Verlagerung von Validität zur Validierung und von der Beurteilung des einzelnen Schritts oder Bestandteils der Forschung zur Herstellung von Transparenz über den Forschungsprozess festzuhalten.

Schließlich wird die Anwendung klassischer Kriterien auf qualitative Forschung in Frage gestellt, da »das Wirklichkeitsverständnis« beider Forschungsrichtungen dafür »zu unterschiedlich« (Lüders/Reichertz 1986, S. 97) sei. Ähnliche Vorbehalte formulieren schon Glaser und Strauss (1979, S. 92).

Sie »bezweifeln, ob der Kanon quantitativer Sozialforschung als Kriterium […] auf qualitative Forschung […] anwendbar ist. Die Beurteilungskriterien sollten vielmehr auf einer Einschätzung der allgemeinen Merkmale qualitativer Sozialforschung beruhen – der Art der Datensammlung […], der Analyse und Darstellung und der […] Weise, in der qualitative Analysen gelesen werden.«