Proceso de elaboración y validación de una herramienta de evaluación de materiales digitales para el aprendizaje de la lengua alemana

Begoña Velasco Arranz; Santos Urbina Ramírez

doi:10.51302/tce.2023.1022

Authors

Begoña Velasco Arranz Profesora ayudante de Filología Alemana de la Universidad de las Islas Baleares (España) https://orcid.org/0000-0002-9169-4970
Santos Urbina Ramírez Profesor titular de Pedagogía Aplicada y Psicología de la Educación de la Universidad de las Islas Baleares (España) https://orcid.org/0000-0003-2184-1303

DOI:

https://doi.org/10.51302/tce.2023.1022

Keywords:

teaching material, educational multimedia, language teaching, evaluation tool, validation process, certification exams, CEFR levels

Abstract

Choosing the adequate teaching material for a specific goal is a key factor to studying the German language successfully. The reliability of the method chosen to evaluate and compare the materials determines the adequacy of the choice and depends on the procedural rigor applied to its development and application. Such a method may consist in a quantitative evaluation tool for teaching materials for German and this article presents a methodology for its development. The criteria the tool must meet and that determine the development process are defined first. The items to be measured based on these criteria are identified considering the knowledge and fluency to be acquired, and, in a broad sense, the corresponding didactic requirements and the limitations and possibilities of digital materials. The procedure used for grouping the identified items and the way of measuring, evaluating and comparing them is explained as well as the validation process through experts and the changes applied on its results. The technological implementation is commented. The viability is tested through the exemplary application of three materials offered by renowned publishing houses. The tool allows evaluating to what extent the digital material prepares students (men and women) to take the official German exams for levels A1-B2 defined by the Common European Framework of Reference for Languages (CEFR). The results have shown areas for improvement regarding their suitability as digital materials. The three materials evaluated have obtained 33, 39 and 47 points out of 100. The application of the tool is simple, facilitates a detailed analysis and requires the dedication of a considerable amount of resources.

Supporting Agencies

El contenido de este estudio de investigación procede de la tesis doctoral "Elaboración de una herramienta de análisis y evaluación de software para el aprendizaje de la lengua alemana", elaborada por Begoña Velasco Arranz, autora principal de este artículo. Santos Urbina Ramírez ha sido codirector de la citada tesis doctoral.

Downloads

Download data is not yet available.

Author Biographies

Begoña Velasco Arranz, Profesora ayudante de Filología Alemana de la Universidad de las Islas Baleares (España)

Doctora en Tecnología Educativa por la Universidad de las Islas Baleares. Licenciada en Filología Alemana por la Universidad de Valladolid (España). Desde 2017 es profesora ayudante en la Universidad de las Islas Baleares. Cooperación en proyectos de innovación docente: Aplicación de Internet en el Aprendizaje de Alemán para la Facultad de Turismo de la Universidad de las Islas Baleares (2008); Elaboración y Desarrollo de un COMA (MOOC) de Alemán para el Turismo en la Universidad de las Islas Baleares (2019). Publicaciones relacionadas con la didáctica de las lenguas y las nuevas tecnologías aplicadas a la enseñanza de idiomas.

Santos Urbina Ramírez, Profesor titular de Pedagogía Aplicada y Psicología de la Educación de la Universidad de las Islas Baleares (España)

Imparte asignaturas relacionadas con la tecnología educativa en diferentes estudios de la Facultad de Educación de la Universidad de las Islas Baleares. Miembro del Grupo de Tecnología Educativa (GTE) de la Universidad de las Islas Baleares. Principales líneas de investigación: diseño, producción y uso de materiales didácticos, entornos de aprendizaje enriquecidos con tecnología e inserción curricular de las TIC.

References

Aguilar Juárez, I. y Morales Gamboa, R. (2011). Análisis de los Modelos de producción de CODIE (contenidos digitales educativos). En T. Morales Reynoso, C. Serrano Barquín, J. M. Serrano García, D. A. Miranda Gracía, E. Estrada Laredo, P. Troche Hernández y A. Rojas García (Eds.), 1.^er Coloquio Internacional Aplicaciones Educativas de las Tecnologías de la Información y la Comunicación (pp. 569-583). Universidad de Guadalajara. https://www.academia.edu/11874006/An%C3%A1lisis_delos_Modelos_de_producci%C3%B3n_de_CODIE_Contenidos_Digitales_Educativos_

Akhvlediani, N. (2018). Analyse und Beurteilung von Lehrwerken für Deutsch als Fremdsprache im Sprachenzentrum der Staatlichen Schota Rustaveli Universität Batumi. Journal of Foreign Languages, Cultures and Civilizations, 6(1), 25-32. https://doi.org/10.15640/jflcc.v6n1a3

Akins, R. B., Tolson, H. y Cole, B. R. (2005). Stability of response characteristics of a Delphi panel: application of bootstrap data expansion. BMC Medical Research Methodology, 5, 1-12. https://doi.org/10.1186/1471-2288-5-37

Ausubel, D. P. (1968). Educational Psychology: A Cognitive View. Rinehart and Winstons.

Bernstein, N. y García Llampallas, C. (2015). Ein Verfahrensvorschlag zur Lehrwerkanalyse für DaF-Sprachenzentren. Deutsch Als Fremdsprache, 52(2), 103-113. https://www.fachportal-paedagogik.de/literatur/vollanzeige.html?FId=1064029#verfuegbarkei

Bhushan, N. y Rai, K. (2004). Strategic decision making: Appling the Analytic Hierarchy Process. Springer.

Bloomfield, L. (1933). Language. Holt.

Cabero Almenara, J. y Llorente Cejudo, M.ª C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC). Eduweb. Revista de Tecnología de Información y Comunicación en Educación, 7(2), 11-22. https://dialnet.unirioja.es/servlet/articulo?codigo=4857163

Council of Europe. (2018). Common European Framework of Reference for Languages: Learning, Teaching, Assesment. Companion Volume with New Descriptors. https://www.coe.int/en/web/common-european-framework-reference-languages

Cova, Á., Arrieta, X. y Aular de Duran, J. (2008). Revisión de modelos para la evaluación de software educativos. Revista Electrónica de Estudios Telemáticos, 7(1), 93-114. http://ojs.urbe.edu/index.php/telematique/article/view/1969/1866

Eisenführ, F. y Weber, M. (1999). Rationales Entscheiden. Springer.

Figueras, N. (2008). El MCER, más allá de la polémica. Monográficos MarcoELE, 7, 26-35. https://marcoele.com/el-mcer-mas-alla-de-la-polemica/

Fries, C. (1955). American linguistics and the teaching of English. Language Learning, 6(1-2), 1-22. https://doi.org/10.1111/j.1467-1770.1955.tb00828.x

Funk, H. (2004). Qualitätsmerkmale von Lehrwerken prüfen-ein Verfahrensvorschlag. Babylonia-Zeitschrift Für Sprachunterricht Und Sprachenlernen, 3, 41-47. http://babylonia.ch/de/archiv/anni-precedenti/2004/nummer-3-04/qualitaetsmerkmale-von-lehrwerken-pruefen-ein-verfahrensvorschlag/

Galvis, A. (1992). Ingeniería de software educativo. Ediciones Uniandes.

García García, F. (2006). Contenidos educativos digitales: construyendo la sociedad del conocimiento. Red Digital: Revista de Tecnologías de la Información y Comunicación Educativas, 6, 1-29. https://dialnet.unirioja.es/servlet/articulo?codigo=1983578

Gisbert, M., Adell, J., Anaya, L. y Rallo, L. A. R. (2007). Entornos de formación presencial virtual y a distancia. Boletín de Rediris. https://www.rediris.es/difusion/publicaciones/boletin/40/enfoque1.html

Halbes, S. (2003). Der vergleichende Warentest zur Unterstützung des nachhaltigen Konsums Inhaltsverzeichnis. Lehr-und Forschungsbericht, 52. https://docplayer.org/184121440-Der-vergleichende-warentest-zur-unterstuetzung-des-nachhaltigen-konsums.html

Hennemann, D. y Verff, F. van der. (2013). Goethe-Zertifikat A2. Fit in Deutsch 2: Prüfungsziele. Testbeschreibung (3.ª ed. revisada). Goethe-Institut. https://www.goethe.de/pro/relaunch/prf/es/Pruefungsziele_Testbeschreibung_A2_Fit2.pdf

Holmberg, B. (1995). Enseñanza a distancia y autoaprendizaje de lenguas modernas: el uso de las nuevas tecnologías. En G. Ruipérez (Ed.), Enseñanza de lenguas y traducción con ordenadores (pp. 11-23). Ediciones Pedagógicas.

Hymes, D. (1972). On communicative competence. En J. B. Pride y J. Holmes (Eds.), Sociolinguistics: Selected Readings (Vol. 565, pp. 269-293). Penguin.

Ishizaka, A. y Nemery, P. (2013). Multi-Criteria Decision Analysis: Methods and Software. John Wiley & Sons Ltd. https://doi.org/10.1002/9781118644898

Krashen, S. (1981). Second Language Acquisition and Second Language Learning. Pergamon Press.

Littlewood, W. (1981). Communicative Language Teaching. Cambridge University Press.

Long, M. H. (1983). Native speaker/non-native speaker conversation and the negotiation of comprehensible input. Applied Linguistics, 4(2), 127-141. https://doi.org/10.1093/applin/4.2.126

Maijala, M. (2017). Was ein Lehrwerk können muss-Thesen und Empfehlungen zu Potenzialen und Grenzen des Lehrwerks im Unterricht Deutsch als Fremdsprache. Informationen Deutsch Als Fremdsprache, 34(6), 543-561. https://doi.org/10.1515/infodaf-2007-0602

Marquès Graells, P. R. (2002). Evaluación y selección de software educativo. Comunicación y pedagogía: Nuevas Tecnologías y Recursos Didácticos, 185, 31-37. https://dialnet.unirioja.es/servlet/articulo?codigo=306631

McLaughlin, B. (1990). Restructuring. Applied Linguistics, 11(2), 113-128. https://doi.org/10.1093/applin/11.2.113

Pastor Cesteros, S. (2004). Aprendizaje de segundas lenguas: lingüística aplicada a la enseñanza de idiomas. Publicaciones de la Universidad de Alicante.

Piaget, J. (1965). The Language and Thought of the Child. World Publishing Company.

Robles Garrote, P. y Carmen Rojas, M. del. (2015). La validación por juicio de expertos: dos investigaciones cualitativas en lingüística aplicada. Revista Nebrija, 9(18), 124-139. https://doi.org/10.26378/rnlael918259

Rommelfanger, H. J. y Eickemeier, S. H. (2002). Entscheidungstheorie. Springer Verlag.

Rösler, D. y Schart, M. (2017). Die Perspektivenvielfalt der Lehrwerkanalyse-und ihr weißer Fleck. Einführung in zwei Themenhefte. Informationen Deutsch Als Fremdsprache, 43(5), 483-493. https://doi.org/10.1515/infodaf-2016-0502

Schneider, W. (2007). Marketing. Physica-Verlag.

Sierra Bravo, R. (1991). Diccionario práctico de estadística. Paraninfo.

Skinner, B. F. (1957). Verbal Behaviour. Free Press.

Söhnen, S. (n. d.). Ordinal oder Intervall? Die Metrik von Ratingskalen. https://statistik-support-söhnen.de/2018/10/19/ordinal-oder-intervall-die-metrik-von-ratingskalen/

Soto Pérez, F. J. y Gómez Villa, M. (2000). EVALÚA: un instrumento de evaluación de recursos multimedia para la atención a la diversidad. http://diversidad.murciaeduca.es/tecnoneet/docs/2002/5-22002.pdf

Thangaratinam, S. y Redman, C. W. (2011). The Delphi technique. The Obstetritian & Gynaecologist, 7, 120-125. https://doi.org/10.1576/toag.7.2.120.27071

Velasco Arranz, B. (2019). Elaboración de una herramienta de análisis y evaluación de software para el aprendizaje de la lengua alemana. https://www.educacion.gob.es/teseo/mostrarRef.do?ref=1913679

Vögel, B. y Morita, M. (2005). Lehrwerkforschung, lehrwerkanalyse, Lehrwerkkritik, Lehren ohne lehrwerk. Neue Beiträge Zur Germanistik, 126, 74-93.

Vygotsky, L. S. (1978). Mind in Society: The Development of Higher Psychological Processes. President and Fellow of Harvard College.

Wilkins, D. A. (1972). Linguistic in Language Teaching. Arnold.