Keywords
design-based research
critical media literacy
propaganda
How to Cite
License
Copyright (c) 2023 Christian Seyferth-Zapf
This work is licensed under a Creative Commons Attribution 4.0 International License.
Abstract
This paper addresses the use of mixed methods as part of design-oriented educational research. After introducing in basic characteristics, motives and designs of mixed methods research different strategies of integration are examined. Next, the systematic combination of quantitative and qualitative methods as part of design-oriented educational research is elaborated based on different exemplarily chosen approaches from that field. Finally, a research project on fostering critical media literacy skills, which was developed on the principles of practice- and theory-oriented development and evaluation of teaching concepts (Tulodziecki, Grafe, and Herzig 2013), serves as a best-practice example for demonstrating the implementation of mixed method designs and the application of integration strategies.
References
Altrichter, Herbert, Waltraud Aichner, Katharina Soukup-Altrichter, und Heike Welte. 2013. «PraktikerInnen als ForscherInnen: Forschung und Entwicklung durch Aktionsforschung». In Handbuch Qualitative Forschungsmethoden der Erziehungswissenschaft, herausgegeben von Barbara Fiebertshäuser, Antje Lange, und Annedore Prengel, 803–18. 4. Aufl. Weinheim: Beltz Juventa.
Altrichter, Herbert, Andreas Feindt, und Stefan Zehetmeier. 2014. «Lehrerinnen und Lehrer erforschen ihren Unterricht: Aktionsforschung». In Handbuch der Forschung zum Lehrerberuf, herausgegeben von Ewald Terhart, Hedda Bennewitz, und Martin Rothland, 285–307. 2., überarb. und erw. Aufl. Münster: Waxmann.
Altrichter, Herbert, und Peter Posch. 2007. Lehrerinnen und Lehrer erforschen ihren Unterricht. 4. Aufl. Bad Heilbrunn: Klinkhardt.
Altrichter, Herbert, Peter Posch, und Harald Spann. 2018. Lehrerinnen und Lehrer erforschen ihren Unterricht. 5., überarb. Aufl. Bad Heilbrunn: Klinkhardt.
Anderson, Terry und Julie Shattuck. 2012. «Design-Based Research: A Decade of Progress in Education Research?» Educational Researcher. 41 (1): 16–25. https://doi.org/10.3102/0013189X11428813.
Baur, Nina, Udo Kelle, und Udo Kuckartz. 2017. «Mixed Methods – Stand der Debatte und aktuelle Problemlagen». Kölner Zeitschrift für Soziologie und Sozialpsychologie. 69: 1–37. https://doi.org/10.1007/s11577-017-0450-5.
Bazeley, Patricia. 2018. Integrating Analyses in Mixed Methods Research. Thousand Oaks, CA: Sage.
Bloom, Benjamin S., Max D. Engelhart, Edward J. Furst, Walker H. Hill, und David R. Kratwohl. 1974. Taxonomie von Lernzielen im kognitiven Bereich. Weinheim: Beltz.
Brown, Ann L. 1992. «Design Experiments: Theoretical and Methodological Challenges in Creating Complex Interventions in Classroom Settings». The Journal of Learning Sciences. 2 (2): 141–78. https://doi.org/10.1207/s15327809jls0202_2.
Byram, Alan. 2006. «Integrating Quantitative and Qualitative Research: How is it Done?» Qualitative Research 6 (1): 97–113. https://doi.org/10.1177/1468794106058877.
Collins, Allan, Diana Joseph, und Katerine Bielaczyc. 2004. «Design Research: Theoretical and Methodological Issues». The Journal of the Learning Sciences. 13 (1): 15–42. https://doi.org/10.1207/s15327809jls1301_2.
Creswell, John W. 2014. Research Design: Qualitative, Quantitative and Mixed Methods Approaches. 5. Aufl. Thousand Oaks, CA: Sage.
Creswell, John W. 2015. A Concise Introduction to Mixed Methods Research. Thousand Oaks, CA: Sage.
Creswell, John W., und J. David Creswell. 2018. Research Design: Qualitative, Quantitative, and Mixed Methods Approaches. 5. Aufl. Thousand Oaks, CA: Sage.
Creswell, John W., Vicki L. Plano Clark, Michelle L. Gutmann und William E. Hanson. 2003. «Advanced Mixed Methods Research Designs». In Handbook of Mixed Methods in Social and Behavioral Research, herausgegeben von Abbas Tashakkori, und Charles Teddlie, 209–40. Thousand Oaks, CA: Sage.
Creswell, John W., und Vicki L. Plano Clark. 2007. Designing and Conducting Mixed Methods Research. Thousand Oaks, CA: Sage.
Creswell, John W., und Vicki L. Plano Clark. 2018. Designing and Conducting Mixed Methods Research. 3. Aufl. Thousand Oaks, CA: Sage.
Denzin, Norman K. 1970. The Research Act: A Theoretical Introduction to Sociological Methods. Chicago, IL: Aldine.
Design-Based Research Collective. 2003. «Design-based Research: An Emerging Paradigm for Educational Inquiry». Educational Researcher 32 (1): 5–8.
Döring, Nicola, und Jürgen Bortz. 2016. Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 5. Aufl. Berlin: Springer.
Eccles, Jacquelynne S., und Allan Wigfield. 2002. «Motivational Beliefs, Values, and Goals». Annual Review of Psychology. 53, 109–32.
Edwards, Jeffrey R. 2011. «The Fallacy of Formative Measurements». Organizational Research Methods 14 (2): 370–88. https://doi.org/10.1177/1094428110378369.
Eickelmann, Birgit, Wilfried Bos, und Amelie Labusch. 2019. «Die Studie ICILS 2018 im Überblick – Zentrale Ergebnisse und mögliche Entwicklungsperspektiven». In ICILS 2018: Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking, herausgegeben von Birgit Eickelmann, Wilfried Bos, Julia Gerick, Frank Goldhammer, Heike Schaumburg, Knut Schwippert, Martin Senkbeil, und Jan Vahrenhold, 7–32. Münster: Waxmann. https://kw.uni-paderborn.de/fileadmin/fakultaet/Institute/erziehungswissenschaft/Schulpaedagogik/ICILS_2018__Deutschland_Berichtsband.pdf.
Euler, Dieter. 2014. «Design Research – A Paradigm Under Development». In Design-based Research, herausgegeben von Dieter Euler, und Peter F. E. Sloane, 14–44. Zeitschrift für Berufs- und Wirtschaftspädagogik, Beiheft 27. Stuttgart: Franz Steiner.
Fetters, Michael D., Leslie A. Curry und John W. Creswell. 2013. «Achieving Integration in Mixed Methods Designs – Principles and Practices». Health Services Research, 48 (6): 2134–56. https://doi.org/10.1111/1475-6773.12117.
Flick, Uwe. 2011. Triangulation: Eine Einführung. 3. akt. Aufl. Qualitative Sozialforschung, Bd. 12. Wiesbaden: VS.
Gorard, Stephen, Karen Roberts, and Chris Taylor. 2004. «What Kind of Creature is a Design Experiment?» British Educational Research Journal. 30 (4): 575–90.
Greene, Jennifer C., Valerie J. Caracelli, und Wendy F. Graham. 1989. «Toward a Conceptual Framework for Mixed-Method Evaluation Designs». Educational Evaluation and Policy Analysis. 11 (3): 255–74.
Guettermann, Timothy C., Sergi Fàbregues, und Rae Sakakibara. 2021. «Visuals in Joint Displays to Represent Integration in Mixed Methods Research: A Methodological Review». Methods in Psychology 5: 1–8. https://doi.org/10.1016/j.metip.2021.100080.
Hagenauer, Gerda, und Michaela Gläser-Zikuda. 2019. «Mixed Methods». In Handbuch Schulpädagogik, herausgegeben von Marius Harring, Carsten Rohlfs, und Michaela Gläser-Zikuda, 801–12. Münster: Waxmann.
Hobbs, Renee. 2017. «Teaching and Learning in a Post-Truth World». Educational Leader-ship. 75 (3), 26–31.
Ipsen, Flemming, Julian Bollhöfner, Christina Seitz, und Michael Wörner-Schappert. 2019. 2018/2019 Bericht: Rechtsextremismus im Netz. Mainz: Jugendschutz.net. https://www.jugendschutz.net/fileadmin/download/pdf/Bericht_2018_2019_Rechtsextremismus_im_Netz.pdf.
Johnson, Burke R., Anthony J. Onwuegbuzie, und Lisa A. Turner. 2007. «Toward a Definition of Mixed Methods Research». Journal of Mixed Methods Research 1 (2): 112–33. https://doi.org/10.1177/1558689806298224.
Johnson, Burke R., und Lisa A. Turner. 2003. «Data Collection Strategies in Mixed Methods Research». In Handbook of Mixed Methods in Social and Behavioral Research, herausgegeben von Abbas M. Tashakkori, und Charles M. Teddlie, 297–319. Thousand Oaks, CA: Sage.
Klaß, Susi, und Michaela Gläser-Zikuda. 2018. «Analyse medienpädagogischer Kompetenz von Lehramtsstudierenden – Ein Mixed-Methods Ansatz». In Forschungswerkstatt Medienpädagogik. Projekt – Theorie – Methode, herausgegeben von Thomas Knaus, 505–40. München: kopaed. https://doi.org/10.25526/fw-mp.14.
Klimmt, Christoph, Alexandra Sowka, Dorothée Hefner, Fenja Mergel, und Daniel Possler. 2014. Testinstrument zur Messung von Medienkritikfähigkeit: Dokumentation der Testentwicklung und der Testaufgaben. https://www.ijk.hmtm-hannover.de/fileadmin/www.ijk/pdf/Forschung/Testdokumentation_Die_Messung_von_Medienkompetenz.pdf.
Kuckartz, Udo. 2014. Mixed Methods: Methodologie, Forschungsdesigns und Analyseverfahren. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-531-93267-5.
Kuckartz, Udo. 2017. «Datenanalyse in der Mixed-Methods-Forschung: Strategien der Integration von qualitativen und quantitativen Daten und Ergebnissen». Kölner Zeitschrift für Soziologie und Sozialpsychologie 69: 157–83. https://doi.org/10.1007/s11577-017-0456-z.
Kuckartz, Udo, und Julia, Busch. 2012. «Mixed Methods in der Evaluation». In Erziehungswissenschaftliche Evaluationspraxis: Beispiele, Konzepte, Methoden, herausgegeben von Udo Kuckartz, und Stefan Rädiker, 142–55. Weinheim: Beltz Juventa.
Kuckartz, Udo, und Stefan Rädiker. 2019. Analyse qualitativer Daten mit MAXQDA: Text, Audio und Video. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-22095-2.
Lewin, Kurt. 1946. «Action Research and Minority Problems». Journal of Social Issues 11: 34–46.
Mayring, Philipp. 2001. «Kombination und Integration qualitativer und quantitativer Analyse». Forum Qualitative Sozialforschung 2 (1). https://doi.org/10.17169/fqs-2.1.967.
Mayring, Philipp. 2015. Qualitative Inhaltsanalyse: Grundlagen und Techniken. 12. Aufl. Weinheim: Beltz.
McKenney, Susan, und Thomas C. Reeves. 2013. «Systematic Review of Design-Based Research Progress: Is a Little Knowledge of a Dangerous Thing?» Educational Researcher 42 (2): 97–100. https://doi.org/10.3102/0013189X12463781.
Morris, Scott B. 2008. «Estimating Effect Sizes From Pretest-Posttest-Control Group Designs». Organizational Research Methods 11 (2): 364–86.
Morris, Scott B., und Richard P. Deshon. 2002. «Combining Effect Size Estimates in Meta-Analysis with Repeated Measures and Independent-Groups Design». Psychological Methods 7 (1): 105–25.
Morse, Janice M. 1991. «Approaches to Qualitative-Quantitative Methodological Triangulation». Nursing Research 40 (2): 120–23. https://doi.org/10.1097/00006199-199103000-00014.
Morse, Janice M., und Linda, Niehaus. 2009. Mixed Method Design: Principles and Procedures. Walnut Creek, CA: Left Coast Press.
Reinmann, Gabi. 2017. «Design-based Research». In Gestaltungsorientierte Forschung – Basis für soziale Innovationen: Erprobte Ansätze im Zusammenwirken von Wissenschaft und Praxis, herausgegeben von Dorothea Schemme, und Hermann Novak, 49–61. Bonn: Bundesinstitut für Berufsbildung.
Sandelowski, Margarete, Corinne J. Voils, und George Knafl. 2009. «On Quantitizing». Journal of Mixed Methods Research 3 (3): 208–22. https://doi.org/10.1177/1558689809334210.
Schmitt, Josephine B., Diana Rieger, Julian Ernst, und Hans-Joachim Roth. 2018. «Critical Media Literacy and Islamist Online Propaganda: The Feasibility, Applicability and Impact of Three Learning Arrangements». International Journal of Conflict and Violence 12: 1–19.
Schoonenboom, Judith und R. Burke Johnson. 2017. «How to Construct a Mixed Methods Research Design». Kölner Zeitschrift für Soziologie und Sozialpsychologie 69: 107–31. https://doi.org/10.1007/s11577-017-0454-1.
Schreier, Margit. 2013. «Mixed Methods: Begriffsklärungen». In Forschungsmethoden in Psychologie und Sozialwissenschaften für Bachelor, herausgegeben von Walter Hussy, Margit Schreier, und Gerald Echterhoff, 287–97. 2., überab. Aufl. Berlin: Springer. https://doi.org/10.1007/978-3-642-34362-9.
Schreier, Margit, und Özen Odağ. 2020. «Mixed Methods». In Handbuch Qualitative Forschung in der Psychologie, herausgegeben von Günter Mey, und Katja Mruck, 1–26. Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-18387-5_22-2.
Seyferth-Zapf, Christian. 2021. Förderung von Medienkritikfähigkeit unter besonderer Berücksichtigung zeitgenössischer Propaganda. Praxis- und theorieorientierte Entwicklung und Evaluation eines fächerübergreifenden und fachspezifischen Unterrichtskonzepts für die Sekundarstufe I. Diss., Universität Würzburg. https://doi.org/10.25972/OPUS-24578.
Seyferth-Zapf, Christian, und Silke Grafe. 2019a. «Förderung von Medienkritikfähigkeit im Kontext zeitgenössischer Propaganda: Praxis- und theorieorientierte Entwicklung und Evaluation eines medienpädagogischen Unterrichtskonzepts für die Sekundarstufe I». Medienimpulse 57 (3): 1–51. https://doi.org/10.21243/mi-03-19-10.
Seyferth-Zapf, Christian, und Silke Grafe. 2020a. «Die Gestaltung von Counter-Narrativen aus Perspektive der Medienkritikfähigkeit». Medienimpulse 58 (3): 1–72. https://doi.org/10.21243/mi-03-20-14.
Seyferth-Zapf, Christian, und Silke Grafe. 2020b. «Förderung propagandaspezifischer Medienkritik- und Analysefähigkeit: Entwicklung und Evaluation eines praxis- und theorieorientierten fächerübergreifenden Unterrichtskonzepts». MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung 38: 43–68. https://doi.org/10.21240/mpaed/38/2020.10.03.X.
Seyferth-Zapf, Maria, und Silke Grafe. 2019b. «Förderung interkultureller Kompetenz von Schülerinnen und Schülern der Sekundarstufe I: Praxis- und theorieorientierte Entwicklung und Evaluation eines Unterrichtskonzepts unter Verwendung digitaler Medien». Medienimpulse 57 (4): 1–43. https://doi.org/10.21243/mi-04-19-09.
Sowka, Alexandra, Christoph Klimmt, Dorothée Hefner, Fenja Mergel, und Daniel Possler. 2015. «Die Messung von Medienkompetenz: Ein Testverfahren für die Dimension ‹Medienkritikfähigkeit› und die Zielgruppe ‹Jugendliche›». M&K Medien & Kommunikationswissenschaft 63 (1): 62–82. https://doi.org/10.5771/1615-634x-2015-1-62.
Tashakkori, Abbas, R. Burke Johnson, und Charles Teddlie. 2021. Foundations of Mixed Methods Research. Integrating Quantitative and Qualitative Approaches in the Social and Behavioral Sciences. 2. Aufl. Thousand Oaks, CA: Sage.
Tashakkori, Abbas, und Teddlie Charles. 2003. «Major Issues and Controversies in the Use of Mixed-Methods in the Social and Behavioral Sciences». In Handbook of Mixed Methods in Social and Behavioral Research, herausgegeben von Abbas Tashakkori, und Charles Teddlie, 3–50. Thousand Oaks, CA: Sage.
Tulodziecki, Gerhard. 2017. «Praxis- und theorieorientierte Entwicklung und Evaluation von Konzepten für pädagogisches Handeln – dargestellt am Beispiel einer Untersuchung zum fall- und problemorientierten Lernen in hybriden Lernarrangements». In Forschungswerkstatt Medienpädagogik: Projekt – Theorie – Methode – Spektrum medienpädagogischer Forschung, herausgegeben von Thomas Knaus, 155–79. München: kopaed. https://doi.org/10.25526/fw-mp.18.
Tulodziecki, Gerhard. 2019. «Gestaltungsorientierte Ansätze der Evaluation von Unterricht». In Handbuch Unterrichten an allgemeinbildenden Schulen, herausgegeben von Ewald Kiel, Bardo Herzig, Uwe Maier, und Uwe Sandfuchs, 493–501. Bad Heilbrunn: Klinkhardt.
Tulodziecki, Gerhard, Silke Grafe, und Bardo Herzig. 2013. Gestaltungsorientierte Bildungsforschung und Didaktik: Theorie – Empirie – Praxis. Bad Heilbrunn: Klinkhardt.
Tulodziecki, Gerhard, Silke Grafe, und Bardo Herzig. 2014. «Praxis- und theorieorientierte Entwicklung und Evaluation von Konzepten für medienpädagogisches Handeln als gestaltungsorientierte Bildungsforschung». In Jahrbuch Medienpädagogik 10: Methodologie und Methoden medienpädagogischer Forschung, Anja Hartung, Bernd Schorb, Horst Niesyto, Heinz Moser, und Petra Grell, 213–29. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-04718-4_11.
Tulodziecki, Gerhard, Bardo Herzig, und Silke Grafe. 2014. «Medienpädagogische For-schung als gestaltungsorientierte Bildungsforschung vor dem Hintergrund praxis- und theorierelevanter Forschungsansätze in der Erziehungswissenschaft». MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung (Occasional Papers) 1–18. https://doi.org/10.21240/ mpaed/00/2014.03.10.X.
Tulodziecki, Gerhard, Bardo Herzig, und Silke Grafe. 2018. «Gestaltungs- und entwicklungsorientierte Forschung als Forschungsrichtung für die Medienpädagogik». In Forschungswerkstatt Medienpädagogik. Projekt – Theorie – Methode, herausgegeben von Thomas Knaus, 423–48. München: kopaed. https://doi.org/10.25526/fw-mp.37.
Tulodziecki, Gerhard, Bardo Herzig, und Silke Grafe. 2019. Medienbildung in Schule und Unterricht: Grundlagen und Beispiele. 2., vollst. überarb. u. akt. Aufl. Bad Heilbrunn: Klinkhardt.
Wineburg, Sam, Sarah McGrew, Joel Breakstone, und Teresa Ortega. 2016. Evaluating Information: The Cornerstone of Civic Online Reasoning. Stanford, CA: Stanford History Education Group. https://purl.stanford.edu/fv751yt5934.