Schreibkompetenzen in der Fremdsprache

Hinweise zum Weiterlesen

Bachman & Palmer (2010) sehen die primäre Funktion des Einsatzes von Evaluationsinstrumenten in der datengestützten Begründung von kontextspezifischen Entscheidungen (vgl. auch Purpura, 2016). Moss (2016) zeigt, dass intendierte Funktion und faktischer Einsatz in der Praxis häufig auseinanderfallen.

Ein weiter Begriff von DiagnoseDiagnose liegt z.B. Handbüchern zur Pädagogischen DiagnostikDiagnose (vgl. z.B. Ingenkamp & Lissmann, 2008, S. 13f.) und Psychologischen DiagnostikDiagnose (vgl. z.B. Petermann & Eid, 2006) zugrunde. Folgt man dieser Verwendungsweise, ist auch der Begriff der DiagnoseaufgabeDiagnose prinzipiell weiter als der Begriff der TestaufgabeAufgabenTestaufgaben.

Eine unterrichtliche DiagnoseDiagnose spezifischer Stärken und Schwächen kann mit oder ohne den Einsatz formeller Messinstrumente wie z.B. Tests erfolgen (z.B. anhand von Beobachtungen) oder auch mit Hilfe von Dokumentationsverfahren wie Portfolios. Auch formelle SprachtestsEvaluationformell können mit dem Ziel einer spezifischen DiagnoseDiagnose und Rückmeldung konzipiert sein. Ein Beispiel ist das auf die Kompetenzstufen des GERGemeinsamer europäischer Referenzrahmen bezogene DIALANG-Testsystem (vgl. www.dialang.org sowie Alderson, 2005; Huhta, 2008; Lee, 2015). Speziell mit der DiagnoseDiagnose von Schreibkompetenzen beschäftigt sich Knoch (2009). Weitere Funktionen von DiagnoseaufgabenDiagnose werden in Caspari, Grotjahn & Kleppin (2010, S. 63f.) angesprochen.

Einen kurzen, informativen Überblick über Formen unterrichtlicher Evaluation geben Katz & Gottlieb (2013). Hinweise zum Unterschied zwischen FremdevaluationEvaluationFremdevaluation, SelbstevaluationEvaluationSelbstevaluation und Peer-EvaluationEvaluationPeer-Evaluation finden sich bei Harsch (2009), Kleppin (2008), Oscarson (2014), Roche (2010) und Suomela-Salmi (2010). Eine Reihe unterschiedlicher Typen formativer unterrichtlicher EvaluationEvaluationformativ werden in Tsagari & Csépes (2011) beschrieben. Weitere unterrichtsrelevante Informationen zur formativen EvaluationEvaluationformativ fremdsprachlicher Kompetenzen und zum diagnostischen Feedback enthalten u.a. Dlaska & Krekeler (2009), Grotjahn & Kleppin (2015), Hamp-Lyons (2016), Huhta (2008), Jang & Wagner (2014), Kieweg (2010) und Lee (2015).

Der GERGemeinsamer europäischer Referenzrahmen (Europarat, 2001) unterscheidet – allerdings wenig trennscharf – zwischen kontinuierlicher und punktueller Beurteilung (Kapitel 9.3.4) sowie formativerEvaluationformativ und summativer BeurteilungEvaluationsummativ (Kapitel 9.3.5). Wichtige Charakteristiken eines assessment for learningassessmentassessment for learning (Evaluation im Dienste des Lernens) hat u.a. bereits die Assessment Reform Group (2002) formuliert (vgl. für weiterführende Hinweise Jones & Saville, 2016). Über den Stand der Diskussion zum (unterrichtlichen) Stellenwert von cognitively based assessment of, for, and as learning sowie formativer und summativer EvaluationEvaluationsummativEvaluationformativ informiert Bennett (2010, 2011). Einen kurzen, fundierten Überblick über die formative EvaluationEvaluationformativ findet man auch unter: http://en.wikipedia.org/wiki/Formative_assessment.

Aktuelle fremdsprachenspezifische Darstellungen unterschiedlicher Formen eines assessmentlearning-orientedlearning-oriented assessment finden sich in Jones & Saville (2016) sowie Turner & Purpura (2016).

Eine ausführliche Darstellung der kriteriumsorientierten EvaluationEvaluationkriteriumsorientiert fremdsprachlicher Kompetenzen geben z.B. Brown & Hudson (2002) sowie Hudson (2014). Wichtige Unterschiede zwischen einer normorientierten und einer kriteriumsorientierten TestwertinterpretationEvaluationkriteriumsorientiert beschreiben Goldhammer & Hartig (2012) und Sawaki (2016). Speziell zum standardbasierten Testen informieren Hudson (2012) und Fulcher (2016).

Einen kurzen Überblick über Aspekte der Standardorientierung beim Lernen und Lehren von Fremdsprachen an deutschen Schulen gibt Harsch (2016). Aktuelle Hinweise zu Funktionen und Auswirkungen von (zentralen) Sprachprüfungen vor dem Hintergrund von fremdsprachlichen BildungsstandardsBildungsstandards und bildungspolitischem Monitoring-Paradigma finden sich bezogen auf den deutschen Kontext z.B. in Rossa (2016a). Pižorn & Huhta (2016) behandeln das Thema aus einer internationalen Perspektive.

Literatur

Alderson, J. Charles. (2005). Diagnosing foreign language proficiency: The interface between learning and assessment. London: Continuum.

Alderson, J. Charles, Brunfaut, Tineke & Harding, Luke. (2015). Towards a theory of diagnosis in second and foreign language assessment: Insights from professional practice across diverse fields. Applied Linguistics, 36(2), 236–260. doi: 10.1093/applin/amt04

Assessment Reform Group. (2002). Assessment for learning: 10 principles. [abrufbar unter http:// www.aaia.org.uk/afl/assessment-reform-group/]

Bachman, Lyle F. & Palmer, Adrian S. (2010). Language assessment in practice: Developing language assessments and justifying their use in the real world. Oxford: Oxford University Press.

Bennett, Randy E. (2010). Cognitively Based Assessment of, for, and as Learning (CBAL): A preliminary theory of action for summative and formative assessment. Measurement: Interdisciplinary Research and Perspectives, 8(2–3), 70–91. doi: 10.1080/15366367.2010.508686

Bennett, Randy E. (2011). Formative assessment: a critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5–25. doi: 10.1080/0969594X.2010.513678

Brown, James D. & Hudson, Thom. (2002). Criterion-referenced language testing. Cambridge: Cambridge University Press.

Caspari, Daniela, Grotjahn, Rüdiger & Kleppin, Karin. (2010). Testaufgaben und Lernaufgaben. In Raphaela Porsch, Bernd Tesch & Olaf Köller (Hrsg.), Standardbasierte Testentwicklung und Leistungsmessung: Französisch in der Sekundarstufe I (S. 46–68). Münster: Waxmann.

DESI-Konsortium [Eckhard Klieme, Wolfgang Eichler, Andreas Helmke, Rainer H. Lehmann, Günter Nold, Hans-Günter Rolff, Konrad Schröder, Günther Thomé & Heiner Willenberg]. (Hrsg.). (2008). Unterricht und Kompetenzerwerb in Deutsch und Englisch: Ergebnisse der DESI-Studie. Weinheim: Beltz. [abrufbar unter http://www.pedocs.de/volltexte/2010/3149/pdf/978_3_407_25491_7_1A_D_A.pdf]

Dlaska, Andrea & Krekeler, Christian. (2009). Sprachtests: Leistungsbeurteilungen im Fremdsprachenunterricht evaluieren und verbessern. Baltmannsweiler: Schneider Verlag Hohengehren.

Europarat. (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Berlin: Langenscheidt. [abrufbar unter http://www.coe.int/lang und http://student.unifr.ch/pluriling/assets/files/Referenzrahmen2001.pdf]

Fulcher, Glenn. (2016). Standards and frameworks. In Dina Tsagari & Jayanti Banerjee (Hrsg.), Handbook of second language assessment (S. 29–44). Boston: De Gruyter.

Goldhammer, Frank & Hartig, Johannes. (2012). Interpretation von Testresultaten und Testeichung. In Helfried Moosbrugger & Augustin Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (2., aktual. und überarb. Aufl., S. 173–201). Heidelberg: Springer.

Groß Ophoff, Jana. (2013). Lernstandserhebungen: Reflexion und Nutzung. Münster: Waxmann.

Grotjahn, Rüdiger. (2008). Tests und Testaufgaben: Merkmale und Gütekriterien. In Bernd Tesch, Eynar Leupold & Olaf Köller (Hrsg.), Bildungsstandards Französisch: konkret. Sekundarstufe I: Grundlagen, Aufgabenbeispiele und Unterrichtsanregungen (S. 149–186). Berlin: Cornelsen Scriptor.

Grotjahn, Rüdiger & Kleppin, Karin. (2015). Prüfen, Testen, Evaluieren. München: Klett-Langenscheidt.

Hamp-Lyons, Liz. (2016). Purposes of assessment. In Dina Tsagari & Jayanti Banerjee (Hrsg.), Handbook of second language assessment (S. 13–27). Boston: De Gruyter.

Harsch, Claudia. (2009). Externe Evaluation: Verhältnis zum fremdsprachlichen Unterricht. Praxis Fremdsprachenunterricht, 1, 9–14.

Harsch, Claudia. (2016). Standardorientierung im Kontext des Lernens und Lehrens von Sprachen. In Eva Burwitz-Melzer, Grit Mehlhorn, Claudia Riemer, Karl-Richard Bausch & Hans-Jürgen Krumm (Hrsg.), Handbuch Fremdsprachenunterricht (6., völlig überarb. und erweiterte Aufl., S. 88–92). Tübingen: Francke.

Hudson, Thom. (2012). Standards-based testing. In Glenn Fulcher & Fred Davidson (Hrsg.), Routledge handbook of language testing (S. 479–494). New York: Routledge.

Hudson, Thom. (2014). Criterion-referenced approach to language assessment. In Antony J. Kunnan (Hrsg.), The companion to language assessment. Vol. II: Approaches and development (S. 561–577). Chichester: Wiley-Blackwell.

Huhta, Ari. (2008). Diagnostic and formative assessment. In Bernard Spolsky & Francis M. Hult (Hrsg.), The handbook of educational linguistics (S. 469–482). Malden, MA: Blackwell.

Ingenkamp, Karlheinz & Lissmann, Urban. (2008). Lehrbuch der Pädagogischen Diagnostik (6. Aufl.). Weinheim: Beltz.

Jang, Eunice E. & Wagner, Maryam. (2014). Diagnostic feedback in the classroom. In Antony J. Kunnan (Hrsg.), The companion to language assessment. Vol. II: Approaches and development (S. 693–711). Chichester: Wiley-Blackwell. doi: 0.1002/9781405198431.wbeal0042

Jones, Neil & Saville, Nick. (2016). Learning oriented assessment: A systemic approach. Cambridge: Cambridge University Press.

Katz, Anne & Gottlieb, Margo. (2013). Assessment in the classroom. In Carol A. Chapelle (Hrsg.), The encyclopedia of applied linguistics (S. 1–8). Chichester: Wiley-Blackwell. doi: 0.1002/9781405198431.wbeal0042

Kieweg, Werner. (Hrsg.). (2010). Diagnostizieren und fördern [Thementeil]. Der Fremdsprachliche Unterricht Englisch, 44(105).

Kleppin, Karin. (2008). Selbstevaluation. In Bernd Tesch, Eynar Leupold & Olaf Köller (Hrsg.), Bildungsstandards Französisch: konkret. Sekundarstufe I: Grundlagen, Aufgabenbeispiele und Unterrichtsanregungen (S. 205–215). Berlin: Cornelsen Scriptor.

KMK [Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland]. (Hrsg.). (2004). Bildungsstandards für die erste Fremdsprache (Englisch/Französisch) für den Mittleren Schulabschluss. Beschluss vom 4.12.2003. Neuwied: Luchterhand. [abrufbar unter http://www.kmk.org/‌bildung-schule/qualitaetssicherung-in-schulen/bildungsstandards/dokumente.html]

Kniffka, Gabriele. (2016). Verfahren der Lernstandserhebung. In Eva Burwitz-Melzer, Grit Mehlhorn, Claudia Riemer, Karl-Richard Bausch & Hans-Jürgen Krumm (Hrsg.), Handbuch Fremdsprachenunterricht (6., völlig überarb. und erweiterte Aufl., S. 403–407). Tübingen: Francke.

Knoch, Ute. (2009). Diagnostic writing assessment: The development and validation of a rating scale. Frankfurt am Main: Lang.

Köller, Olaf, Knigge, Michel & Tesch, Bernd. (Hrsg.). (2010). Sprachliche Kompetenzen im Ländervergleich. Münster: Waxmann.

Lee, Yong-Won. (2015). Diagnosing diagnostic language assessment. Language Testing, 32(3), 299–316. doi: 0.1177/0265532214565387

Moss, Pamela A. (2016). Shifting the focus of validity for test use. Assessment in Education: Principles, Policy & Practice, 23(2), 236–251. doi: 10.1080/0969594X.2015.1072085

Oscarson, Mats. (2014). Self-assessment in the classroom. In Antony J. Kunnan (Hrsg.), The companion to language assessment. Vol. II: Approaches and development (S. 712–729). Chichester: Wiley-Blackwell.

Petermann, Franz & Eid, Michael. (Hrsg.). (2006). Handbuch der Psychologischen Diagnostik. Göttingen: Hogrefe.

Pižorn, Karmen & Huhta, Ari. (2016). Assessment in educational settings. In Dina Tsagari & Jayanti Banerjee (Hrsg.), Handbook of second language assessment (S. 239–254). Boston: De Gruyter.

Purpura, James E. (2016). Second and foreign language assessment. The Modern Language Journal, 100(Supplement S1), 190–208. doi: 10.1111/modl.12308

Roche, Jörg. (2010). Fremdevaluation und Selbstevaluation. In Wolfgang Hallet & Frank G. Königs (Hrsg.), Handbuch Fremdsprachendidaktik (S. 228–231). Seelze-Velber: Kallmeyer.

Rossa, Henning. (2016a). Wie verändern Bildungsstandards und zentrale Prüfungen den Fremdsprachenunterricht? Skizze eines Forschungsdesiderats zu intendierten und beobachteten Effekten der Standard- und Kompetenzorientierung. Zeitschrift für Fremdsprachenforschung, 27(1), 99–122.

Rossa, Henning. (2016b). Testen und Prüfen. In Eva Burwitz-Melzer, Grit Mehlhorn, Claudia Riemer, Karl-Richard Bausch & Hans-Jürgen Krumm (Hrsg.), Handbuch Fremdsprachenunterricht (6., völlig überarb. und erweiterte Aufl., S. 399–403). Tübingen: Francke.

Sawaki, Yasuyo. (2016). Norm-referenced vs. criterion-referenced approach to assessment. In Dina Tsagari & Jayanti Banerjee (Hrsg.), Handbook of second language assessment (S. 45–60). Boston: De Gruyter.

Stanat, Petra, Böhme, Katrin, Schipolowski, Stefan & Haag, Nicole. (Hrsg.). (2016). JQB – Bildungstrend 2015: Sprachliche Kompetenzen am Ende der 9. Jahrgangsstufe im zweiten Ländervergleich. Münster: Waxmann. [abrufbar unter http://www.iqb.hu-berlin.de/bt/BT2015/Bericht]

Suomela-Salmi, Eija. (2010). What is alternative assessment? In Fred Dervin & Eija Suomela-Salmi (Hrsg.), New approaches to assessing language and (inter-)cultural competences in higher education/Nouvelles approches de l’évaluation des compétences langagières et (inter-)culturelles dans l’enseignement supérieur (S. 209–233). Frankfurt am Main: Lang.

Tsagari, Dina & Csépes, Ildikó. (Hrsg.). (2011). Classroom-based language assessment. Frankfurt am Main: Lang.

Turner, Carolyn E. & Purpura, James E. (2016). Learning-oriented assessment in second and foreign language classrooms. In Dina Tsagari & Jayanti Banerjee (Hrsg.), Handbook of second language assessment (S. 255–273). Boston: De Gruyter.

Yin, Muchun. (2014). Portfolio assessment in the classroom. In Antony J. Kunnan (Hrsg.), The companion to language assessment. Vol. II: Approaches and development (S. 659–676). Chichester: Wiley-Blackwell.

4 GütekriterienGütekriterien bei der Evaluation von Schreibkompetenzen

Rüdiger Grotjahn & Karin Kleppin

Die Qualität einer Evaluation wird üblicherweise anhand von bestimmten GütekriterienGütekriterien beurteilt. Nur wenn diese hinreichend erfüllt sind, lassen sich die Interpretationen (z.B. von Punktwerten im Hinblick auf die Kompetenzstufen des GERGemeinsamer europäischer Referenzrahmen) und die auf der Basis der Punktwertinterpretationen getroffenen Entscheidungen (z.B. hinsichtlich unterrichtlicher Maßnahmen) rechtfertigen. In welchem Ausmaß die einzelnen GütekriterienGütekriterien erfüllt sein müssen, hängt von den mit der Evaluation verbundenen Zielen und Konsequenzen ab. Sollen z.B. spezifische Aussagen über einzelne Individuen formuliert werden, sind in der Regel höhere Ansprüche an die Messgenauigkeit zu stellen, als wenn globale Aussagen über Gruppen gemacht werden sollen. Handelt es sich darüber hinaus um eine High-Stakes-Evaluation, d.h. um eine Evaluation mit weitreichenden Konsequenzen für die Betroffenen wie z.B. im Fall des Abiturs (vgl. Kapitel 3), sind ebenfalls höhere Ansprüche an die Präzision der Messung zu stellen als im Fall einer Evaluation ohne gravierende Konsequenzen.

Mittlerweile besteht Einigkeit darüber, dass die jeweilige Verwendung eines Evaluationsinstruments sowie die sich hieraus ergebenden Konsequenzen bei der Beurteilung der Qualität einer Evaluation stets mit zu berücksichtigen sind. Auf diesen Sachverhalt weist auch Purpura (2016) in einem aktuellen Überblicksartikel zur Evaluation von zweit- und fremdsprachlichen Kompetenzen explizit hin:

Most now recognize that assessments are used to make decisions in real-world contexts, involving factors outside the assessmentassessment itself, where the probability of making the ‘right’ decision about individual attributes or research questions is not only a function of the quality of the assessment and the related interpretations, but also a function of the use of the assessment for some intended purpose, together with the consequences of making those decisions. (S. 192f.)

4.1 Evaluation von Schreibkompetenzen: Spezifika

Während zur Evaluation von Lese- und HörverstehenskompetenzenHörverstehen zumeist geschlossene und (weitgehend) objektiv auswertbare AufgabenAufgaben zum Einsatz kommen, ist ein Spezifikum einer kompetenz- und handlungsorientierten Überprüfung von Schreibfähigkeiten,1KompetenzTestkonstrukt dass in der Regel offene AufgabenformateAufgabenformate mit einem beträchtlichen Bewertungsspielraum eingesetzt werden. Ein entscheidendes Merkmal ist dabei, dass die Aufgaben wesentliche Merkmale der lebensweltlichen Schreibhandlungen simulieren oder zumindest prototypisch abbilden, die die Testteilnehmenden außerhalb der Testsituation bewältigen sollen (vgl. auch die Bemerkungen zur AuthentizitätAuthentizität in Kapitel 4.2.4.2). Von den SchreibaktivitätenSchreibaktivitäten in der Testsituation – in diesem Zusammenhang auch als Performanz (engl. performance) bezeichnet – soll dann auf die Fähigkeit zur Realisierung ähnlicher SchreibaktivitätenSchreibaktivitäten außerhalb der Testsituation und/oder auf hierfür wichtige Kompetenzen zurückgeschlossen werden (vgl. auch die Ausführungen zum TestkonstruktTestkonstrukt in Kapitel 5).

Ein entsprechendes performanzbasiertes Vorgehen wird auch als performanzbasierte Evaluation (performance-basedassessmentperformance-based assessment/testing) bezeichnet und das eingesetzte Instrument als PerformanztestPerformanztest (performance assessment/test). Zur performanzbasiertenEvaluationperformanzbasiert Evaluation sind auch Formen der aufgabenbasierten Evaluation (task-basedassessmenttask-based language assessment) und der aufgabenzentrierten Evaluation (task-centeredassessmenttask-centered language assessment) zu rechnen (vgl. Purpura, 2016, S. 195f.). Dies gilt insbesondere dann, wenn die Bearbeitung der AufgabenAufgaben als eine funktionale Aktivität angesehen wird, in der ein Individuum Sprache in einem bestimmten Kontext zur Erreichung eines Ziels einsetzt (vgl. Van Gorp & Deygers, 2014, S. 579 sowie Bachman, 2007; Brindley, 2013; Fischer, Chouissa, Dugovičová & Virkkunen-Fullenwider, 2011a, 2011b und Norris, 2016).

Performanzbasierte Evaluationsformen zielen auf eine (relativ) direkte Messung von Schreibleistungen und stehen damit im deutlichen Gegensatz z.B. zu einer indirekten Messung von Schreibleistungen anhand von geschlossenen AufgabenAufgaben zu GrammatikGrammatik und LexikLexik. Mit Hilfe einer performanzbasierten EvaluationEvaluationperformanzbasiert soll zum einen eine höhere ValiditätValidität (Gültigkeit) der Messung von Schreibleistungen erreicht werden (vgl. Kapitel 4.2.3 sowie Kapitel 5). Zum anderen ist häufig auch eine positive RückwirkungRückwirkung auf den Unterricht und eine intrinsische Motivierung der Testteilnehmenden intendiert (vgl. Yu, 2014). Dem steht allerdings u.a. als Nachteil gegenüber, dass eine zuverlässige und gültige Messung von Fähigkeiten und Fertigkeiten anhand von PerformanztestsPerformanztest in der Regel relativ aufwändig ist. Dies gilt z.B. im Hinblick auf die zur Testdurchführung benötigte Zeit oder bezüglich der Beurteilung der gezeigten Leistung (vgl. die Hinweise zur PraktikabilitätPraktikabilität und Ökonomie in Kapitel 4.2.4.4). Aus den genannten Gründen müssen in der Praxis u.a. bei der Zahl der eingesetzten Aufgaben und bei der Beurteilung der erbrachten Leistungen in der Regel Abstriche gemacht werden.

Bei einem PerformanztestPerformanztest zur Messung von Schreibkompetenzen kann es sich z.B. um ein durch Vorgaben gesteuertes Schreiben einer Anfrage bei einem Hostel (zu Zimmern, Leistungen und Aktivitäten), um eine komplexe Argumentation auf der Basis einer vorgegebenen Grafik oder auch um das Ausfüllen eines Formulars handeln. Die Schreibleistungen werden anhand von vorher festgelegten Kriterien durch entsprechend ausgebildete Beurteilende (z.B. Lehrerinnen und Lehrer) bewertet. Die von den Testteilnehmenden gezeigte Leistung und das abschließende Urteil über die Schreibkompetenz hängen damit nicht nur von der zu messenden KompetenzKompetenz und zusätzlichen konstruktirrelevanten Merkmalen der Testteilnehmenden (z.B. Prüfungsangst, soziokultureller Hintergrund) selbst ab. Vielmehr spielen u.a. auch Merkmale der Schreibaufgabe (z.B. kognitive Anforderungen), die verwendeten BeurteilungskriterienBeurteilungskriterien (z.B. fokussierte Bewertungsaspekte, Präzision, Eindeutigkeit) sowie Merkmale der Beurteilenden (z.B. Strenge/Milde, Verhaltenskonsistenz, Ausmaß an Schulung) eine Rolle. Diese komplexen Wechselwirkungen insbesondere zwischen den Merkmalen der verwendeten AufgabenAufgaben, BeurteilungskriterienBeurteilungskriterien und Beurteilenden machen die Bewertung von Schreibkompetenzen zu einem anspruchsvollen Unterfangen und stellen hohe Ansprüche an die eingesetzten Aufgaben, die verwendeten Kriterienraster und die Kompetenzen der Beurteilenden.