De métodos de investigación y de modas en la educación: el caso de los MOOCs

Hacia el final del invierno del 2014 me encontraba trabajando en un proyecto del que les voy a hablar más adelante, siempre en relación a temas de desarrollo profesional académico, en el Istituto per le Tecnologie Didattiche del Consiglio Nazionale delle Ricerche .

Durante largas conversaciones a la hora del té con Donatella Persico (Investigador Senior de esa estructura), llegamos a la conclusión de que algo no nos gustaba respecto al tema que en ese momento conquistaba la atención de congresos y medios en temas educativos, es decir, el tema MOOC (Massive Open Online Courses).  Y lo que no nos gustaba era justamente el hecho que desde su eclosión en el año 2012 parecía que era mucho más lo que se imaginaba y se esperaba de los MOOCs de lo que realmente se sabía a partir de evidencia empírica de buena calidad. En efecto, la falta de evidencia empírica podía generar un resultado muy grave: que se invirtiera mucho dinero en “experimentos” (así los habían denominado inicialmente varios “influencers” del ámbito de la educación superior) que no eran tales pues no había alguna forma de control ni de focus de estudio acordado lentamente por una comunidad científica internacional. Mi interés por el tema ya había surgido mientras trabajaba con Patrizia Ghislandi, en referencia justamente a la calidad del aprendizaje en los contextos masivos y en línea propuestos por los MOOCs. En particular, parecía un modelo extremadamente atractivo por:

• La baja presencia docente.
• Materiales que se consideraban de “alta calidad” (pues serían generados por universidades de reconocida fama internacional, o como mínimo, provenientes de países desarrollados).
• El acceso abierto y a bajísimo costo o gratuidad completa para numerosísimos estudiantes del Sud Global.
• La suposición que cualquier persona, independientemente de la posesión de un título universitario, pudiera acceder a estos itinerarios de formación.
• La suposición de que con sólo un celular sería posible seguir uno de estos cursos.
• El impacto en el mejoramiento de habilidades de alumnos que difícilmente tendrían acceso a ciertos contenidos.

Cada uno de estos postulados configuraban una experimentación didáctica que de haber sido seria hubiera requerido el testeo sistemático de los mismos. Sin embargo, el espectacular resultado de uno de los primeros MOOCs verdaderamente masivos, por parte de Coursera, a cargo de Peter Norvig “Design of Computer Programs” fue la base para un boom de bloggers, notas periodísticas y charlas TED (he aquí la charla del mísmisimo Peter Norvig “The 100000 student classroom“).

Ese boom fue acompañado de una serie de rápidos estudios generalmente basados en las analíticas de aprendizaje, los cuestionarios de satisfacción de los alumnos, el análisis de foros online (donde para decirlo abiertamente los alumnos de cursos masivos suelen participar muy poco) y análisis de redes sociales (especialmente Twitter). También, más lentamente, comenzaron a surgir estudios etnográficos como el que conduje yo misma en colaboración con Nan Yang y Patrizia Ghislandi: “Quality as perceived by learners: is it the dark side of the MOOC?”.

No se puede decir que en esos estudios no empezaran a emerger perspectivas críticas: la alta tasa de abandono con bajísimos porcentajes de completamiento de los MOOCs; la sensación de caos o de estar perdido o de no poseer las competencias necesarias para poder seguir plenamente un tema de interés; las dificultades tecnológicas o de acceso a un buen WiFi para quien se conectaba desde un móvil. Estas primeras observaciones indicaban algunos de los aspectos críticos más graves de los MOOCs, pero en el 2013 esto importaba poco. La onda entusiasta estaba en su fase creciente y la investigación buscaba más los aspectos que confirmaban el experimento social MOOC más que refutarlo. Muchos estudios se concentraron entonces en la belleza de los datos masivos generados por MOOCs y la posibilidad de generar predicciones a partir de las analíticas recabadas…para decirnos cosas algo banales como por ejemplo que las personas con menor capital social y cultural (menor nivel educativo, provenientes de zonas pobres, con bajo nivel de inglés) habrían fracasado en el intento.  Otros estudios trataban de indagar cómo los participantes se apropiaban de los conocimientos en relación a sus propias actividades profesionales, enfatizando el valor de impacto de los MOOCS. Lástima que generalmente habláramos de jóvenes blancos, varones, de alto nivel educativo e insertados generalmente en el área STEM. Los estudios etnográficos y discursivos justamente empezaron a echar luz sobre dinámicas que si bien no confirmaban los presupuestos de los MOOCs, sí descubrían usos insospechados en relación a comunidades locales o integración en actividades universitarias.

El debate estaba abierto y se observaba la necesidad de seguir produciendo evidencia empírica. Para el 2012 y el 2013 ya teníamos los primeros estudios de síntesis (o revisiones bibliográficas) como el de Lyanagunawardena et al.

Fue así que decidimos, con Donatella, de emprender un trabajo intenso de revisión sistemática focalizado en los métodos de investigación. Nuestra pregunta de investigación era: La evidencia empírica existente sobre los MOOCs a Mayo de 2014 ¿Es de suficiente calidad metodológica? Trabajamos arduamente con la gran ayuda de Stefania Cucchiara, entonces asistente de investigación post-doctoral, sobre una base de datos que yo ya estaba teniendo actualizada, sobre la literatura en tema MOOCs.

Una loca idea mía, muy discutida, fue la de dar un título metafórico al artículo, que ha sido recientemente publicado: Methodological approaches in MOOC research: Retracing the myth of Proteus. ¿Por qué ese título? Proteo, personaje mitológico del agua era un ser fluido y esquivo, el cual había que perseguir continuamente para que las verdades de las cuáles éste era portador fueran develadas a quién lo perseguía. Esta imágen representa perfectamente el esfuerzo por la calidad metodológica. Si la comunidad científica ajusta y mejora sus métodos de investigación “cazará a Proteo”, es decir, producirá resultados fiables, válidos o bien relevantes en un dado contexto social, y esa evidencia será “el conocimiento revelado por Proteo”.

De esto se trató nuestro estudio. Exploramos los enfoques metodológicos más comúnmente adoptados en la literatura académica sobre Cursos en línea masivos y abiertos (MOOC), publicados durante el período de enero de 2008 a mayo de 2014. Analizamos 60 artículos seleccionados en cuatro bases de datos científicas relevantes más una revista en el sector de aprendizaje electrónico que publicó un número especial sobre este tema. Hallamos así que en esta muestra de artículos se puede hablar de un campo de investigación en su infancia, que se basa en gran medida en la investigación teórica y los estudios de casos, que apenas comienza a identificar métodos adecuados para tratar con grandes grupos de estudiantes, grandes cantidades de datos y nuevas formas de aprendizaje. El estado del arte también es bastante fragmentario, debido a las diferentes concepciones epistemológicas y ontológicas de los autores de los artículos sobre la naturaleza de los problemas que se enfrentan y la forma en que deben estudiarse. La naturaleza esquiva de Proteo en toda su esencia, por lo que parece.

Estos resultados llaman claramente a moverse con gran cautela respecto de las hipótesis formuladas por los estudios realizados sobre MOOCs, y a profundizar mayormente sea constructos teóricos utilizados, así como métodos e instrumentos de análisis.

=====

Nota de Febrero de 2017!

Me alejé del tema MOOC por motivos de focalización de otra de mis líneas principales, la Digital Scholarship.

Sin embargo, siguió a este trabajo una presentación en París a l’École normale supérieure Paris-Saclay por invitación del Prof. Eric Bruillard. En este encuentro evarios de los participantes, entre los cuáles Justin Reich de edX (MIT), estuvieron de acuerdo en la debilidad de muchos de los preceptos aducidos por la comunicación mediática sobre los MOOCs, y la necesidad de usar enfoques, incluso de investigación basada en diseño educativo, donde cada una de las hipótesis sea testeada a fuego.

He aquí aquella presentación realizada en Septiembre 2015.