Empezando el 2020, me preparo al desafío que el INSTITUT DE DESENVOLUPAMENT PROFESSIONAL de la Universidad de Barcelona me ha invitado a llevar a cabo, es decir, acompañar un itinerario de reflexión e innovación didáctica basado en la implementación de un sistema básico de analíticas de aprendizaje. Naturalmente, esta colaboración nace sea de la visión de los líderes y grupo de trabajo del ICE, y mi particular interés por comprender los problemas de adopción de este tipo tecnología en el marco de procesos de enseñanza y aprendizaje en la educación superior.
Comenzaremos con un nivel informativo, sencillamente comentando definiciones, casos e instrumentos ofrecidos por la UB. Veamos qué impacto genera este tema en la comunidad docente UB: ¿Curiosidad? ¿Interés? ¿Escepticismo?
En más de 15 años de trabajo en formación al uso de tecnologías, las reacciones no son nunca uniformes, nos encontramos siempre de frente a los tecno-entusiastas (que ya han experimentado una tecnología o quieren hacerlo), los tecno-escépticos (que temen el avance/imposición de la misma tecnología en su vida profesional) y una amplia franja que se va acomodando a lo largo del continuum entre esos dos polos.
Por eso el título: Analíticas de Aprendizaje: ¿Un continente oscuro?
¿Cómo prepararme a este desafío?
Queriendo prepararme al desafío, para no introducir banalmente un tema que ya abunda en descripciones y producción científica me pareció interesante comentar el último número especial del Journal of Learning Analytics, publicado en Noviembre del 2019. El aspecto particular de este número radica en su estrategia dialógica, desde el primer artículo que presenta la Keynote de Neil Selwyn “What’s the Problem with Learning Analytics” y los cinco artículos que discuten la posición de Selwyn acercándose o alejándose a la posición del autor, más el óptimo artículo editorial de Simon Buckinham Shum tratando de crear un puente entre las seis contribuciones.
STOP!
Antes de comenzar con esta lectura, ¿te interesa informarte mejor sobre qué son las analíticas de aprendizaje y cómo se ha ido desarrollando el tema? Pues yo comenzaría con el artículo en Wikipedia. Sea el artículo en español (basado en la versión en inglés) son correctos y completos en las definiciones y bibliografía citada.
Respecto a la problemática de adopción y diseminación de esta tecnología en la práctica educativa, leería el report del Joint Research Center del 2016, que trabaja informando la Comisión Europea. El report original, en inglés “Research evidence on the use of learning analytics”, ha sido traducido para el contexto español por INTEF (Instituto de Nacional de Tecnologías Educativas y Formación de Profesorado) con el título “Las analíticas de aprendizaje: evidencias e investigación sobre su uso”
Si la base informativa está asegurada, podemos seguir 🙂
¿Por qué me pareció relevante la operación de comentar el número especial del Journal of LA?
Dos motivos, uno evidente y el otro de índole más personal.
El primer motivo es sin dudas que esta revista ha sido lanzada y coordinada por la SOLAR (Society of Learning Analytics Research / Sociedad de Investigación en Analíticas de Aprendizaje), que ha visto el nacimiento de la comunidad internacional en relación al tema allá por el 2011. La actividad más importante de esta sociedad han sido sus conferencias y escuelas de verano, así como el Journal LA que ha ido dando forma a la discusión y enfoques sobre la temática. Me atrevería a decir que han sido el punto de referencia para la formación de una generación de investigadores que han hecho su carrera y dado forma a investigaciones básicas y aplicadas. Han permitido a todos nosotros, que los seguíamos, ver los espacios de posibilidad y hacernos preguntas sobre el futuro.
Y este número especial, es de verdad especial. Al entusiasmo original del 2011, ligado a la abundancia de datos trazables a través de plataformas y nuevos métodos de minería de datos; a un crecimiento exponencial del interés y la investigación sobre el tema, ha seguido muy recientemente el escepticismo. Dicha incerteza se conecta mayormente con dos aspectos: los daños colaterales que los mecanismos de trazado y uso de datos sensibles a la base del esquema de las analíticas; y las dudas sobre la “escalabilidad” de modelos eficaces de analíticas, con la impresión de que sólo pocas compañías y universidades con los medios y una élite de data scientists o investigadores bien formados podrán distribuir productos fácilmente usables por instituciones educativas y educadores. Este número abre la discusión sobre esos puntos, y más: reorganiza el campo, le da una vuelta, y propone una mirada al futuro. O por lo menos así lo veo yo 😀
El segundo motivo, más personal, ha sido mi propia reflexión sobre las varias percepciones de la tecnología en los expertos mismos, al colocarse en un continuo que refleja todavía los problemas de las dos culturas de Snow (1959[1987]] o en un modo un poco más refinado en el pensamiento de Umberto Galimberti en su “Psiche e Tekné”: del humanismo a la ingeniería, la estadística y la matemática. De la focalización sobre el impacto de la evolución tecnológica a su apoyo esperanzado. División que no necesariamente orienta a una visión objetivista o construccionista de la realidad, como indico más adelante. Cada uno de los autores ha buscado también su propio equilibrio, mostrando sus propios itinerarios culturales y de estudio: lo que es un regalo para quien no sólo observa la evolución del conocimiento, sino también sus condiciones de producción, que también regulan fuertemente el avance o bloqueo de ese conocimiento.
En diálogo: Una discusión sobre la perspectiva crítica de las analíticas de aprendizaje
Nuestro viaje comienza con la Keynote de Neil Selwyn, quien es un reconocido autor en la materia de enfoques críticos sobre la tecnología educativa (recientemente una académica hispanoparlante, Linda Castañeda, ha editado un volúmen en colaboración en el que emerge esta perspectiva). Su artículo posiciona las analíticas del aprendizaje de acuerdo con una serie de factores sociales, culturales, políticos y económicos, lo que el autor denomina una perspectiva “socio-técnica”. De esta manera, se Selwyn expone varias inquietudes con respecto a la propensión de esta tecnología a afianzar y profundizar el status quo (particularmente para quien está detrás de las interfaces, recogiendo y tratando los datos). El resultado es que en lugar de promover formas eficaces de aprendizaje se podría llegar a desempoderar y privar de derechos a los grupos vulnerables (estudiantes en dificultad, docentes que no responden a un determinado canon institucional), y subyugar aún más la educación pública a las maquinaciones dirigidas por las ganancias de la floreciente “economía de datos”. En particular Selwyn pone reflectores a lo que el llama “a new behaviorism” una ciencia del comportamiento basada y activada con la ciencia de datos, que lleva a explotar la susceptibilidad de los individuos a las influencias externas, como son los sistemas de recomendación. Sin embargo Selwyn también considera brevemente algunas posibles áreas de cambio. Mi tabla más abajo recoge las preocupaciones y propuestas del autor.
Para Selwyn, estos riesgos se basan en una serie de valores que, según el autor, abrazan los exponentes del sector: una fe ciega en los datos o “dataphilia”; la oportunidad de negocios que ofrece la educación, no obstante ser un sector de servicios esenciales para la sociedad y la persona (Como George Siemens lo indicaba en un reciente Tweet sobre su visión de la educación hacia el futuro: será un campo donde la industria penetrará más y más). Sin embargo, Selwyn ve una vía de salida. Son los investigadores que deben comenzar a hablar más abiertamente sobre los valores y la política de las tecnologías de análisis basadas en datos a medida que se implementan a lo largo de líneas masivas en contextos escolares y universitarios. Si conectamos esta recomendación a la visión del report del JCR que yo indicaba más arriba como pieza base, la encontraremos coherente. Por ahora, la investigación se ha preocupado mucho más en desarrollar sistemas, y ya tenemos una buena parte de dichas innovaciones en la industria, que también produce la propia innovación. Pero no tenemos todavía buenas investigaciones de uso masivo, estudios de caso longitudinales, para comprender el verdadero impacto de la tecnología, lo que nos expone a las problemáticas analizadas por Selwyn.
El primer comentario en el continuum de pensamiento más cercano al más lejano de Selwyn, es el de Paul Prinsloo. Paul, IMHO (mi humilde opinión!) es un académico carismático, un pensador polifacético e increíblemente informado. Su enfoque en el artículo “Learning Analytics: Mapping a Critique and Agenda” indudablemente humanista lo lleva a citar el nacimiento reciente de los estudios en análisis crítico de datos o Critical Data Studies. Este enfoque, según Prinsloo, provee un método sistemático, de contro-discurso, que cuestiona los métodos y la modalidad en que la verdad es representada a través de los datos. En el artículo de Prinsloo (como en los míos a decir verdad :D) abundan los términos complejos como epistemología y ontología, caracterizaciones punzantes como “sonambulismo tecnológico”, y la constante insistencia sobre el reduccionismo que implica el representar los procesos de aprendizaje a través de paneles de comando o “dashboards”. Prinsloo está íntimamente ligado a la crítica sociológica y cultural (que quienes estudiamos ciencias sociales recibimos) y no me extraña su tono. Sin lugar a dudas, este autor no está en desacuerdo con Selwyn, en cierto modo su comentario refuerza el mensaje y como propuesta lanza la necesidad de generar una línea de estudios crítica, que se funde en los principios de la CDS. La pregunta que puede y debe hacerse a los estudios críticos es: una vez que hemos deconstruido, ¿cómo construiremos? Esa es exactamente la pregunta de Buckingham Shum.
Toca el turno siguiente a Rebecca Fergusson, que desde hace años se empeña desde su bastión en la Open Education of UK en el promover una mirada amplia sobre las analíticas de aprendizaje. Su texto del 2012 ha sido uno de los más citados para quien se acercara al tema. Desde su rol institucional, ha promovido la actividad de experimentación y desarrollo, así como la exploración de políticas institucionales que no piensen sólo a la tecnología sino a su implementación en procesos de calidad y desarrollo institucional. Para la Ferguson, en su artículo “Ethical Challenges for Learning Analytics” existen seis retos fundamentales para la ética aplicada al campo de las analíticas de aprendizaje:
- El deber de actuar: desde que recogemos datos sin parar en los entornos virtuales de aprendizaje, no podemos dejar de reaccionar a cuidarlos, curarlos y generar servicios potencialmente beneficiosos.
- El consenso informado: se requiere una mayor comprensión de lo que implica que los propios datos sean utilizados, o alfabetización en datos.
- Preservación de la seguridad de los usuarios: los requerimientos de desarrollo no pueden olvidar los intereses y derechos de los usuarios, incluyendo usuarios vulnerables, la publicidad de los mecanismos, métodos y técnicas de datos para que los usuarios puedan corregir errores. En particular, dos cosas muy importantes: no reemplazar el conocimiento humano sino integrarlo y apoyarlo.
- Equidad y Justicia: En las AdA, habrá que abrir un campo de investigación dedicado a identificar inequidades de la datificación como el reforzamiento del status quo de ciertos usuarios (los mejores estudiantes) o la exposición de las inequidades (como los estudiantes que presentan dificultades).
- Posesión y protección de los datos por parte del usuario: el mal uso se basa en la falta de transparencia o la manipulación de la tecnología de AdA, no en el concepto en sí mismo.
Para todo ello, la Ferguson observa que hay una serie de acciones a tomar a nivel institucional:
- Diseñar analíticas que contribuyan al éxito de los estudiantes
- Alfabetizar en datos educativos, como necesaria parte de una alfabetización pedagógica general, que lleve a una mayor conciencia sobre qué se puede hacer con el uso eficaz de estos sistemas.
- Identificar riesgos potenciales en los sistemas de analíticas propuestos, considerando la mayor visibilidad de mecanismos y procesos y la posibilidad de generar órganos de consultación sobre la equidad y la justicia de datos.
- Incrementar la comprensión del valor de los datos ofrecidos por el usuario y su control.
La tercer voz es la de Carolyn Penstein Rosé, de la Carnegie Mellon, que posee una increíble trayectoria en relación al análisis del discurso en sus etapas iniciales (y que recuerdo allá por los ’90 ser un foco de euforia, es decir, la posibilidad de investigación del discurso en la red, dada la ingente cantidad de discurso que podía extraerse de foros y sitios con técnicas no invasivas); seguida por un agudo desarrollo de técnicas de minería de textos (text mining) y de automatización de detección de patrones discursivos asociados a la generación de analíticas de aprendizaje, hasta cultivar en modo pionero el tema de la discourse analytics. Su artículo Monolith, Multiplicity or Multivocality: What do we stand for and where do we go from here? plantea la posición de quien las analíticas las vive desde su corazón, desde el estudio de procesos extractivos y la automatización de la codificación del lenguaje. Acompaño a Carolyn en su cauto pero firme entusiasmo: habiéndola seguido en un MOOC allá por el 2014 y luego en sus desarrollos sobre el text mining; y habiendo sido yo misma una asistente de investigación dedicada por horas a codificar mensajes en forum online, no puedo que ver la riqueza y la potencialidad del campo.
El título de Carolyn invoca la necesidad de un pensar interdisciplinario. Se sorprende del hecho que Selwyn indique el ámbito de las analíticas de aprendizaje como un “campo”, como una entidad monolítica, subrayando en cambio la necesidad de multiplicidad de disciplinas y multivocalidad de actores desde el proceso de diseño a su testeo.
La investigadora puntualiza luego dos aspectos de la crítica de Sewlyn: la reductividad de las AdA y el riesgo de sesgo (inequidad) en las AdA. De hecho el segúndo apartado de su artículo se denomina “A Reflection on Quantification” y presenta una narrativa que denota su propia identidad y reflexión quasi-epistemológica como lingüista abocada a la lingüística computacional aplicada a la educación. Entonces, para contestar estos aspectos, la Rosé comenta la importancia en la ciencia de realizar inferencias causales, sólo posibles a través de la conversión de los fenómenos naturales y sociales en procesos matemáticos y estadísticos computables. El valor de dichos procesos deviene de la yuxtaposición de niveles, que van de la construcción conceptual de variables a su procesamiento y uso en representaciones gráficas. El sesgo puede aparecer en cualquier momento de ese proceso, según la autora: en la recolección, muestreo, organización en tablas, elaboración, modelado y visualización. Pero la Rosé nos invita pensar: si no sintetizamos, no comprendemos, no extraemos los patrones del caos informativo. Múltiples métodos o voces científicas pueden superar dicho proceso reductivo y los riesgos que conlleva a nivel de bias. La Rosé misma ha escrito otros artículos de crítica citados en el presente escrito, pero es evidente su participación directa en el desarrollo tecnológico con una mirada compleja y abierta a la comprensión de riesgos.
El artículo de Alfred Essa, de la MacMillan Learning fue el que abordé con más desconfianza, pues su pertenencia al ámbito industrial y sus controversias en la relación con los servicios educativos, me preparó para una perspectiva naïf sobre el impacto social (como las que suelo ver en algunos congresos de tecnologías educativas donde hay más videos atractivos y poster de sponsor que resultados de verdadero impacto educativo!). El título me generaba gran curiosidad: Is Data Dark? Lessons from Borges’s “Funes the Memorius” Naturalmente he leído ese cuento de Borges y me preparaba a ver cómo habría sido usado como metáfora.
Tengo que decir a favor del autor, que su argumentación me pareció, aunque algo barroca (a Borges se agregó Yeats, Eliot y Goethe), una elegantísima contra-argumentación al discurso de Selwyn. En principio, Essa se dedicó a deconstruir la idea de que habitamos “tiempos oscuros de datos oscuros”, en los que el uso de datos en las analíticas comporta sólo riesgos. Y he aquí la famosa metáfora: Funes recuerda todo, cada segundo y cada perspectiva de su existencia, sin poder conectar cada elemento recordado dandole un sentido unificador: “Pensar es Olvidar”, abre Essa su segundo apartado del artículo. No lejos de la Rosé, el autor reclama la necesidad de generar niveles de elaboración de lo particular hacia niveles de abstracción que permiten seleccionar y accionar. Y si esas operaciones se cumplen normalmente en la vida cotidiana sin orden, en la ciencia se han desarrollado complejos instrumentos y aparatos matemáticos para transformar los conceptos en operaciones que permiten la formalización y la comprensión de patrones. Dos de estos instrumentos son el razonamiento estadístico y la generación de modelos formales, a través de los cuáles se trata de goernar la casualidad, el error y la incertidumbre para hacer emerger el modelo que orienta la práctica humana futura. O por lo menos la apoya, como en el caso de las analíticas se apoyan procesos de enseñanza y aprendizaje.
Pero Essa se mueve más allá de esta metáfora y presenta dos ejemplos (que agradecí!) que demuestran cómo el uso de las analíticas de aprendizaje puede mejorar la equidad. Essa menciona dos tipos de equidad: macro y micro. Para el primer nivel, Essa cita un trabajo de (Chetty, 2014) sobre la movilidad social debida a títulos universitarios. A través de una combinación compleja de minería datos socio-demográficos y de rendimiento del sistema escolar, Chetty va a demostrar la falsedad del “Sueño Americano” a través de dicho trabajo, es decir, la no factibilidad de que cualquier persona que lo desee pueda avanzar en su nivel económico de origen. Respecto de la micro-equidad, Essa cita el trabajo de Glymour (2010) mostrando como sistemas automatizados de aprendizaje adaptativo, a través de sistemas de trazado de datos, identificación de patrones, modelización y generación de un sistema de recomendaciones (el aprendizaje adaptativo) van a orientar en modo eficaz el aprendizaje de alumnos afroamericanos (tradicionalmente marginalizados).
La reflexión del autor es: dos estudios que demuestran que la ciencia de datos puede usarse en favor de los que están en situación de desventaja. Un estudio longitudinal sobre millones de “data points” originados en casi un siglo y elaborados para mostrar su respuesta ante la pregunta: ¿es el sueño americano una realidad? Un desarrollo basado en la intervención didáctica que mejora las condiciones de participación en clase. Más allá de la crítica que podría hacerse a la visión algo naïf de Essa sobre la definición de inequidad y marginalidad (estamos tratando de integrar al sistema existente, no de comprender cómo generar experiencias que promuevan la identidad diversificada ante los grupos dominantes), es indudable que la síntesis generada a través de la estadística y los nuevos enfoques computacionales produce formas de comprensión y de acción eficaces.
Reflexiones conclusivas
Los cinco artículos me propusieron el reto de posicionarme y buscar alianzas conceptuales. No pude menos que alinearme con las perspectivas críticas de Selwyn y Prinsloo. Sin embargo, los artículos de Rosé y de Essa me retrotajeron al proceso de investigación mismo, al esfuerzo de dar sentido en modo metódico a fenónemos y procesos, que requiere la síntesis y la conceptualización. En cualquier caso, considero que los datos no son una verdad per sé, sino que se trata de un sistema de representación (como el gráfico) en el cuál dejamos caer la “responsabilidad” del proceso interpretativo sobre un método de tratación del dato y sus procesos automatizados. Esto es lo que genera la ilusión (mencionada por Selwyn) de objetividad. Esto me llevó a pensar en ese continuum que plantea la Rosé entre cualitativo (enfocado en la particularidad y la riqueza de la experiencia vivida) y lo cuantitativo (enfocado en el descubrimiento de patrones emergentes). No me adentraré aquí en las luchas intestinas de la comunidad científica en relación a la guerra de paradigmas cual-cuan. Lo cierto es que es tan banal la necesidad de búsqueda de un equilibrio entre el desarrollo tecnológico y la crítica social, como presente la resistencia de quién está de un lado o del otro a trabajar en modo interdisciplinario. Es decir, que quien desarrolla algoritmos e interfaces “dashboard” para las analíticas generalmente está encantado con hallar soluciones para obtener más datos que alimenten “la máquina”. Y quien trabaja desde lo social frecuentemente se queda en un espacio de crítica crea poco espacio de acción. Me planteé los artículos (incluyendo la editorial de Backinhum Shum) en una tensión de fuerzas, en una búsqueda de equilibrio cuyo baricentro es la intervención, el diseño y la estrategia de desarrollo institucional con sus espacios de aprendizaje organizacional. Es decir, un baricentro que genera equilibrio al dejar espacio al desarrollo si se conecta con una lógica de contextualización institucional. Dicha contextualización implica poner en relación el nivel de infraestructura tecnológica con estrategias institucionales participativas y consultivas (desde el diseño distribuido y a código abierto de software, a los procesos de alfabetización en datos). Esta perspectiva me pareció avanzada y bien representada en el trabajo de Buckinghum Shum y de la Ferguson. Desde mi modesta contribución, insisto (como lo hacen Selwyn y la Ferguson) sobre la alfabetización en datos a varios niveles, como lo trato en el artículo «Datificación» y Educación Superior: Hacia la construcción de un marco para la alfabetización en datos del profesorado universitario. Tratar de capturar dinámicamente la complejidad del sistema a través de conocimiento y competencias (con una fuerte dosis de capacidad reflexiva y crítica) para abrazar la innovación tecnológica usandola como medio (en el mejor sentido vygotskiano) de transformación social.
Representé a los autores en su esfuerzo de posicionamiento en una imagen, retomando la conceptualización de Umberto Galimberti en su “Psiche e Techne“.
Galimberti dice que hoy en día la humanidad no está a la altura de la tecnología producida por ella misma y, tal vez por primera vez en la historia, las sensaciones, percepciones, imaginación y sentimientos humanos demuestran ser inadecuados para abrazar el fenómeno tecnológico.
De hecho, la capacidad de producción (tekné) que es ilimitada ha excedido la capacidad de imaginación (psyché) que es limitada y, en cualquier caso, ya no nos permite comprender, y en la medida en que consideramos “nuestra”, los efectos que el desarrollo técnológico irreversible es capaz de producir. Sin embargo, esto se traduce en una búsqueda continua de equilibrio, en comprender la limitación del propio enfoque (la euforia de la productividad y el pesismismo de la deconstrucción crítica). Y en un acompañamiento exploratorio que seguramente hace más lento el desarrollo tecnológico, pero lo afianza sobre sólidas bases de aceptación e impacto social en general y educativo en nuestro caso.
REFERENCIAS
Buckingham Shum, S. (2019). Critical Data Studies, Abstraction & Learning Analytics: Editorial to Selwyn’s LAK keynote and invited commentaries. Journal of Learning Analytics, 6(3), 5–10. https://doi.org/10.18608/jla.2019.63.2
Selwyn, N. (2019). What’s the Problem with Learning Analytics?. Journal of Learning Analytics, 6(3), 11–19. https://doi.org/10.18608/jla.2019.63.3
Prinsloo, P. (2019). Commentary on Neil Selwyn’s LAK18 Keynote Address. Journal of Learning Analytics, 6(3), 20–24. https://doi.org/10.18608/jla.2018.63.4
Ferguson, R. (2019). Ethical Challenges for Learning Analytics. Journal of Learning Analytics, 6(3), 25–30. https://doi.org/10.18608/jla.2019.63.5
Rose, C. P. (2019). Monolith, Multiplicity or Multivocality: What do we stand for and where do we go from here?. Journal of Learning Analytics, 6(3), 31–34. https://doi.org/10.18608/jla.2019.63.6
Essa, A. (2019). Is Data Dark? Lessons from Borges’s “Funes the Memorius”. Journal of Learning Analytics, 6(3), 35–42. https://doi.org/10.18608/jla.2019.63.7
Galimberti, U. (1999) Psiche e tecne. L’uomo nell’età della tecnica. Milano, Feltrinelli.
En el jardín net 
One thought on “Analíticas de Aprendizaje: ¿Un continente oscuro?”