La contribución de la semiótica a la visualización de datos

Este post ha sido inspirado (y es una síntesis comentada) por la brillante presentación de Daniela Panosetti en el Workshop sobre Data Visualization ESS 2019

Mi recorrido por las corrientes divergentes de la data visualization despertó un día con el bellísimo trabajo de Stephanie Posavec y Giorgia Lupi, “Dear Data”.  Si del Data Storytelling puede enfatizarse su lado más técnico y tecnológico (tratamiento de datos a nivel estadístico y de uso de herramientas informáticas para presentar resultados)  también hay quien pudo verlo desde un punto de vista artístico, desde un mundo íntimo y lúdico, como es el caso del bellísimo trabajo de Stephanie y Giorgia. Me enamoré de su trabajo de cuantificación artística del yo: estas diseñadoras, por un año, intercambiaron postales representando aspectos de la vida cotidiana, como cuántas veces has llegado tarde, o los tipos de puertas a través de las cuáles pasas en una semana. Las autoras enfatizaron la cuantificación como operación de conexión con el mundo íntimo, diseñando sus visualizaciones manualmente, con lápices y marcadores de colores. Lo que hacen surgir con fuerza como mensaje es el proceso emotivo, cultural, alrededor de la construcción de visualizaciones datificadas.

Es a partir de esas reflexiones que conecté el tema de la visualización de datos a un tema dejado atrás en mis años universitarios: la semiótica. Estaba convencida de que las imágenes generadas y presentadas como visualizaciones consideradas “objetivas” eran en cualquier caso un producto cultural. Y por otro lado, me preocupaba mucho la manipulación y la dominación del público al cuál estas visualizaciones se dirigen.

Sin embargo, fue la charla dada por Daniela Panosetti al ESS 2019 que refrescó una serie de conceptos y conexiones necesarias. Muy necesarias, diría, a la hora de entrar en el mundo de la Data Visualization, abrazando una perspectiva teórica (la de la semiótica) que, ay! lamentablemente olvidada en el armario como un vestido viejo, no está siendo aplicada para leer críticamente las imágenes en una ola (hype) de entusiasmo neofílico.

En gran parte este post se conecta con mis preguntas: ¿Por qué buscamos tan desesperadamente las métricas que nos confirmen una versión simplificada de la realidad? ¿Qué buscamos en las métricas? ¿Qué rol juegan las imágenes/gráficos a la hora de mostrar esas métricas?

El frecuente snobbismo que rodea todo el mundo empresarial ha llevado hoy a conectar la data visualization como una parte fundamental de la data science. Ha entrado hasta el punto que he escuchado decir por un amigo que se desempeña en el sector de formación de pequeñas y medianas empresas “no sé muy bien para qué queremos un data scientist, ni sé muy bien que es un data scientist, pero necesitamos algunos por aquí). En cambio, el escándalo de Cambridge Analytica a nivel político, y las discusiones que sigo atentamente en Twitter sobre la inteligencia artificial aplicada a la educación han llevado concretamente a pensar que un exceso de data scientists también podría ser perjudicial. Y en esto entran en juego las bellas visualizaciones persuasivas.

Desde la educación, encuentro en la semiótica una herramienta fundamental para una cultura de la imágen, para una lectura crítica y emancipadora de las mismas. Naturalmente, el pasaje desde al semiótica a la data visualization no es fácil y en esto Daniela me dió una mano enorme.

Mi pregunta como educadora, en síntesis es:

¿Cómo tenemos que preparar a las personas a interpretar visualizaciones de datos?

Es decir, qué tiene que hacer la educación para que las visualizaciones de datos se conviertan en herramientas de comunicación humana transformadora y no en instrumentos de manipulación y poder.

Para contestar esta pregunta, me dí cuenta que necesitaba servirme de por lo menos dos líneas de pensamiento teórico: a) la semiótica, en su esfuerzo de deconstrucción de la imagen, cargada de significado cultural y contextual; b) la pedagogía crítica, que puede llevar a través del proceso de alfabetización (técnico) a la emancipación y la justicia social a través de la apropiación del recurso comunicativo por parte de quien es educado.

Armada de esta idea, recorrí la presentación de Daniela extrayendo los mensajes y referencias más importantes para mi reflexión.

El viaje parte desde la teoría semiótica, que si bien se genera temprano entre el siglo XIX y XX con Ferdinand de Saussure y Charles Pierce, va a tener su explosión en los años ’60, con una generación de filósofos y científicos sociales críticos de la manipulación que realizaban los medios masivos. Nos referiremos en primer lugar a Umberto Eco, quien nos enseña que la semiotica es la teoría de la mentira: cómo cualquier tipo de información, configurada como sea, puede ser usada para comunicar un mensaje intencional.

…”La semiótica se ocupa de cualquier cosa que pueda CONSIDERARSE como signo. Signo es cualquier cosa que pueda considerarse como substituto significante de cualquier otra cosa. Esa cualquier otra cosa no debe necesariamente existir ni debe subsistir de hecho en el momento en que el signo la represente. En ese sentido, la semiótica es, en principio, la disciplina que estudia todo lo que puede usarse para mentir.  // Tratado de Semiótica General – Umberto Eco P, 1976.21

Otro importante teórico de la semiótica, Roland Barthes, enseñaba que el significado  no es natural, sino que se trata de una construcción. Profundamente influenciado por Jacques Derrida, filósofo postmoderno, comprendía que el significado de los textos, y mas aún de la imágen, debía ser meticulosamente deconstruido. Barthes se va a ocupar particularmente de la interpretación de las imágenes, convirtiéndose en un teórico de la imágen. Ya en 1961, a través de su artículo “El mensaje fotográfico“, aclaraba que:

La fotografía periodística es un mensaje. El conjunto de ese mensaje está
constituido por una fuente emisora, un canal de transmisión y un medio receptor.
La fuente emisora es la redacción del diario, el grupo de técnicos, algunos de los
cuales sacan la fotografía, otros la seleccionan, la componen, la tratan y otros, por
fin, le ponen un título, le agregan una leyenda y la comentan. El medio receptor es
el público que lee el diario. Y el canal de transmisión, el diario mismo, o más
precisamente, un complejo de mensajes concurrentes, cuyo centro es la fotografía
y cuyos contornos están representados por el título, la leyenda, la compaginación,
y de manera más abstracta, pero no menos , el nombre mismo del diario…

…Si bien es cierto que la imagen no es lo
real, es por lo menos su analogon perfecto, y es precisamente esa perfección
analógica lo que, para el sentido común, define la fotografía. Aparece así la
característica particular de la imagen fotográfica: es un mensaje sin código,
proposición de la cual es preciso deducir de inmediato un corolario importante: el
mensaje fotográfico es un mensaje continuo.

Barthes invitaba a separar y analizar una por una las “capas” de significado, desde las más superficiales asociadas a lo aparentemente visible y real, hasta toda la construcción cultural alrededor de elementos particulares en una fotografía, como la luz, la pose, el encuadre, la vestimenta e inclusive la selección de los participantes.  A Barthes debemos la comprensión de la paradoja de la fotografía: aunque retrata en modo inmediato la “realidad” su producción implica una construcción de sentido. No es natural.

El esfuerzo de estos dos teóricos, entre otros, era el de llevar a comprender que las imágenes no eran meros retratos de la realidad, y en particular, podían convertirse en instrumentos de vehiculización de sentido potentes, a través de su síntesis y su polisemia.

Mucha agua pasó debajo del puente luego, y volvimos, de aquellos años críticos, a enfrentar una corriente de objetivismo potenciada por los avances de las neurociencias. ¿Está el sentido de lo que vemos originado por nuestra capacidad biológica de decodificar colores, luz, orientación espacial?

En un estudio experimental (mencionado por Daniela),  se informa sobre el funcionamiento de una interfaz de visualización de información industrial para medir “los mecanismos neurocognitivos en relación al estilo de información percibida, la complejidad de la información y la complejidad de la tarea en el procesamiento de la información humana”. El estudio se basa en el método de seguimiento ocular (eye tracking), proponiendo como elemento activo (variables independientes), la complejidad de la información y la complejidad de la tarea; y como elemento reactivo (variables dependientes) el tiempo desde la primera fijación ocular y los sentimientos expresados por los 40 participantes involucrados. El estudio halló efectivamente que el estilo de información, la complejidad de la información y la complejidad de la tarea influyeron significativamente en el tiempo transcurrido hasta la primera fijación ocular; que existe una interacción significativa entre el estilo/complejidad de información y la complejidad de la tarea;  y que hay ciertos tipos de gráficos (de viñetas) que permiten una lectura   más eficiente que los gráficos de indicadores.

heat_map
He aquí el mapeo visual (mapas de calor, las áreas de color rojo muestran más concentración de la vista en esos puntos) en relación a los distintos gráficos y tareas dadas. [The heat maps of AOI based on the eye tracking device W640]
Así, el estudio pretendía orientar enfoques de presentación de la información visual y su análisis a través de métodos de seguimiento ocular como método objetivo y científico para orientar la visualización de la información de evaluación en áreas industriales relevantes.

Hay una suposición, en el enfoque neurocientífico de este estudio, sobre la posibilidad de categorizar la información en base a métodos de seguimiento ocular, clasificando las dificultades de tarea y la performance respecto al tipo de información. Independientemente de lo que estos gráficos representen.  Y es ello lo que nos lleva a un afán clasificatorio, de indicación de “cuáles visualizaciones funcionan mejor según qué casos”, que reducen el universo de la significación humana respecto a contextos culturales en grado sumo, objetivizando el proceso de visualización.

El camino parece ser inverso. Daniela mencionaba el trabajo de Lera Boroditsky, que podemos seguir en esta TED talk.  A partir de los estudios de Lera, se puede concluir que el lenguaje en el que hayamos nacido sí que configura nuestro cerebro y nuestra capacidad de percibir. En uno de los ejemplos citados, la percepción del color azul implica tiempos de reacción diferentes en ruso-hablantes respecto a los anglo-parlantes, pues los primeros tienen por lo menos dos conjuntos de términos para representar el color azul claro y oscuro (para el español también se trata de un solo color, más claro o más oscuro). Lera también menciona el caso de los idiomas donde hay género masculino y femenino y presenta el caso del Sol y la Luna (masculino/femenino en español, y femenino/masculino en alemán). La reacción emotiva, las descripciones asociadas a la luz y a las influencias de estos dos astros cambian de un idioma a otro. Y así la configuración neurocognitiva (por ejemplo las áreas activadas en reacciones emotivas).

Esta reflexión nos permite comprender que no es el cerebro que configura la percepción de las imágenes, sino la interacción entre cerebro y cultura, que dan lugar a una decodificación de lo que vemos. Sin embargo, el entusiasmo neurocognitivo enfatiza la primera relación, y raramente cubre la segunda, en un acto de determinismo biológico de la visualización.

La ecuación que se ha hecho, criticada entonces por los semióticos post-modernos ya mencionados, pero aparentemente inamovible en el sentido común, es que las imágenes no mienten. Y sin embargo, la construcción de una imágen, incluso una que intenta representar “la realidad” como objetivo principal, es tan compleja que require varias capas de organización y representación. Este es el caso, traído por Daniela, de la foto del agujero negro capturada por el Telescopio Event Horizon. Esta imágen, como ha sido descripto en la TEDTalk de una de las principales autoras, Katie Bouman, requirió un enorme esfuerzo de procesamiento de información, escritura de código informático y distintos niveles de ensamblaje, para representar “lo real” y darnos la idea de cómo luce un agujero negro visto en una galaxia a varios años luz. Lo que vemos, no es el agujero negro, sino su representación.

black-hole
Evento principal: la imagen del agujero negro en el centro de la galaxia Messier 87 muestra el efecto del disco de acreción, así como la sombra del agujero negro en el centro. (Cortesía: Akiyama et al. Y ApJL en https://physicsworld.com/a/seeing-the-unseeable-the-impact-and-legacy-of-the-first-black-hole-images/ )

Detrás de esa imagen, que si se basa en la realidad allá afuera, hay una elaboración gigantesca de datos. Los datos tienen ese poder, pero, en palabras muy pobres, hay que ir a buscarlo. Desde la configuración de la extracción de dato (su definición!) hasta su agregación y su composición para que nos de algo que tiene un sentido: ¡El sentido que quiere darle quien cumple estas operaciones!

En el recorrido, Daniela nos llevó a conocer el comentario semiólogo de Paolo Fabbri. En esta entrevista realizada en el 2015, Fabbri comentaba que

El del big data es un proceso positivista y cuantitativo que ciertamente inquieta a los vigilados, pero también a quienes recogen los (¿meta?) datos con objetivos de vigilancia. Ellos no saben nunca hasta qué punto es necesario saber aquel dato suplementario e imprevisible que faltó, por ejemplo, en el caso de un accidente o de un atentado. De allí su necesidad continua de acumular otros datos, o mejor, de dirigirse a los little data provistos por las ciencias del hombre –como la semiótica-que tendrían la pretensión de sustituir.

Las operaciones realizadas en las elaboraciones de macrodatos (big data), para generar visualizaciones atractivas, comprensibles, y sobre todo influyentes de la opinión pública, en definitiva, requieren un círculo de construcción de significado:

  1. Un concepto (cualitativo) que vehicula la búsqueda específica de datos
  2. La minería de datos y el procesamiento a través de la elaboración de algoritmos
  3. Que genera un output cuantitativo
  4. Que puede ser transformado en una visualización
  5. Que produce como efecto final un proceso de elaboración informativa …que influye la conceptualización…
  6. A través de su interpretación

Si nos saltamos  los pasos 2 y 3, una elaboración cualitativa y conceptual, siguiendo la Arendt, se basa en el mismo proceso: idea o pre-comprensión de un fenómeno, búsqueda de información en el mundo que activa un proceso comprensivo, interpretación y comprensión.

Es el momento pre-comprensivo, en el que frecuentemente se presentan los prejuicios y las desviaciones culturales, que orienta la búsqueda y elaboración de significado. Y aunque vistamos de datos y de objetividad el momento de la búsqueda (minería y algoritmos) y de la elaboración (visualizaciones) éstas *no muestran la realidad objetiva*. Son métricas de la subjetividad. 

El efecto estético de la visualización hace la conexión entre dato, creencia en la objetividad, y construcción de sentido, mucho más potente.  En las imágenes analizadas por los semióticos hay contenido analógico (fotografía) o hay imágen generada desde los creativos de una empresa (logos). Pero es siempre un tipo de información que consideramos impreciso. Cuando hablamos de data visualization, la información observada se basa en datos y algoritmos matemáticos. De ahí la presunción de certeza, de objetividad. Sin embargo, sigo a Daniela aunque comento, hay una retórica visual, que se basa en analogías, simbolismos, comparaciones, abstracciones, iconismo, ritmo, y sobre todo narrativa o storytelling.  Aconsejo ver las distintas tipologías de efectos en la data visualization en la presentación misma de Daniela (citada en referencias).

Pero me voy a concentrar en las visualizaciones más recientes, interactivas y dinámicas, que nos permiten construir nuestros propios caminos de significados a través de la visualización. Veamos el caso por ejemplo de los “Valores Globales“, visualización construida por la BBC.

global_values
Visualización progresiva de la flor “Global Values”.

Mientras respondemos un cuestionario, la visualización de una flor con nuestros valores va tomando forma. Detrás de cada pétalo hay una escala, colores y una composición que van dando forma a un símbolo (la flor) de los valores como algo a cultivar en la diversidad.

Mi resultado es “Explorador post-materialista”.

global_values_jr

Hay una alineación entre lo que creo que soy y el test, pero también es verdad que respondo a la escala que tengo por delante, y veo representado mi mundo como lo ha decidido el diseñador.

Hay muchísimos efectos que pueden perseguirse (veamos la galería de Tableau Public de las mejores visualizaciones producidas con dicho software, por ejemplo), y los niveles de manipulación serán distintos.

En particular, y esto hubiera sido visto ya, en su momento por Darrell Huff en su excelente libro ilustrado “How to lie with Statistics” .  Porcentajes que omiten los números absolutos sobre los que se basan; relaciones entre fenómenos (correlaciones de variables) que omiten el hecho que no hay causalidad (éste fenómeno causa aquel) sino sólo su mera coexistencia; la omisión de las muestras sobre las que se basan ciertos estudios que luego sacan conclusiones universales…estos son sólo algunos de los ejemplos que Huff nos prepara a leer. Todo queda en lo “no escrito”, en la letra pequeña que indica el contexto de un estudio…es decir, en todo eso que miramos en segundo lugar, si somos lectores preparados para decir: “un momento…aquí hay algo que no me cierra…!”

En síntesis: la semiótica nos permite comprender que ninguna visualización es verdadera, ni son “verdaderos” los datos seleccionados para construirla. Y que el lector tiene que ser preparado para comprender la visualización, pero sobretodo, para no ser manipulado por la misma.

Y este es el desafío del educador. Pero ¿cómo afrontarlo?

Para ello, me muevo a otro post

 

_________________________

 

Referencias

Panosetti, D. (2019) Visualizations, Conventions, Creativity: A semiotic look on infographics and dataviz. European Statistical System visualisation workshop , Milan 6-7 May 2019.

Busso, M. P. (2015) La semiótica del camuflaje. Entrevista a Paolo Fabbri. Revista LIS. Letra Imagen Sonido. Ciudad Mediatizada, Equipo UBACyT S094, Ciencias de la Comunicación, Facultad de Ciencias Sociales-UBA, año 7, nº 13, primer semestre 2015.

 

3 thoughts on “La contribución de la semiótica a la visualización de datos

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.