La
comprensión de múltiples textos multimodales. ¿Un proceso de construcción de
representaciones simbólicas o corpóreas?
|
Tomás Moreno-de-León [1] https://orcid.org/0000-0003-4931-971X Escuela Normal Federal de Educadoras “Mtra. Estefanía Castañeda” (ENFEMEC) Universidad Autónoma de Tamaulipas (UAT) Tamaulipas, México
|
Esperanza de León Arellano https://orcid.org/0000-0001-5335-4863 Escuela Normal Federal de Educadoras “Mtra. Estefanía Castañeda” (ENFEMEC) Universidad Autónoma de Tamaulipas (UAT) Tamaulipas, México
|
|
|
Norma Alicia Vega López https://orcid.org/0000-0001-5219-8133 Universidad Autónoma de Tamaulipas (UAT) Tamaulipas, México
|
|
|
RESUMEN
La comprensión de múltiples textos multimodales es una actividad que requiere la representación de variables externas al lector a través de las variables internas del lector. Al respecto, la teoría simbólica y la teoría corpórea han hecho sustanciales contribuciones. Comparativamente, los aportes desde el enfoque de la comprensión multimodal han sido sustancialmente menores al igual que desde la teoría de comprensión de múltiples documentos. Aunado a lo anterior, la noción de texto y la de los formatos de representación mental no han sido ahondadas con la rigurosidad necesaria en los dos últimos marcos teóricos. Así, en este artículo buscamos contribuir a reflexionar acerca de la naturaleza cognitiva con que se representan a las variables propias de los textos. Para ello revisamos y contrastamos siete modelos, prestando atención a las nociones teóricas relacionadas a los textos y sus representaciones mentales.
Palabras clave: Representaciones mentales, Formatos de representación, Comprensión multimodal, Comprensión de múltiples textos, Modelos de comprensión.
Comprehension of multiple multimodal texts
A process of construction of symbolic or corporeal representations?
ABSTRACT
Comprehension of multiple multi-modal texts is an activity that requires the representation of external variables to the reader through the reader's internal variables. In this respect, symbolic theory and corporeal theory have made substantial contributions. Comparatively, the contributions from the multimodal comprehending approach have been substantially less, as well as from the theory of multiple document comprehension. In addition, the notion of text and the notion of mental representation formats has not been developed with the necessary rigor in the last two theoretical frameworks. Thus, in this article, we seek to contribute to a reflection on the cognitive nature with which the variables inherent to the texts are mentally represented. To this end, we review and contrast seven models, paying special attention to the theoretical notions related to texts and their mental representations.
Keywords: Mental representations, Formats of representation, Multimodal comprehension, Multiple texts comprehension, Comprehension models.
Artículo recibido 15 abril 2023Aceptado para publicación: 07 mayo 20231. INTRODUCCIÓN
Leer, comprender y aprender de varios textos exige una diversa gama de representaciones mentales que los lectores deben construir (Goldman, 1997; Buchholz y Pyles, 2018; Ainsworth, 2018). Por un lado, las variables internas al lector son descritas como los factores que pertenecen propiamente a la cognición del lector (e.g., conocimiento previo, memoria, atención). Por otro lado, las variables externas están asociadas a las características textuales y contextuales en las que el lector participa (e.g., tarea de lectura, multimodalidad[2], relación entre textos). A grandes rasgos, las variables internas permiten generar representaciones de la información textual y contextual, es decir, de las variables externas. Ambos tipos de variables -internas y externas- han recibido poca atención en el sentido de desarrollar una teoría integral que permita describir los procesos lectores como una actividad cognitiva que implica la representación mental de diferentes tipos de variables externas.
Posiblemente, esta limitada atención se deba a que una teoría que busque explicar cómo ocurre la lectura de varios textos -que a su vez son multimodales- debe afrontar el reto de considerar que la representación de las variables internas al lector y las variables externas al lector requieren distintos modos -o formatos- de representación de dicha información. Dos teorías que han personificado un álgido debate en las últimas décadas acerca de cómo es que la información o el conocimiento es representado por el sistema cognitivo humano son la perspectiva simbólica (Fodor, 1983) y la perspectiva corpórea (Barsalou, 1999a).
Este debate también se ha suscitado en el marco de la comprensión de textos. A pesar de los avances que ha hecho cada uno de estos enfoques, en los modelos de comprensión de palabras tampoco se ha logrado llegar a un consenso acerca de si la información textual es un proceso de construcción proposicional, o si más bien la representación es simbólica perceptual (de Vega, Glenberg y Graesser, 2012). Junto a esta controversia, creemos que en los modelos de comprensión multimodal y en los modelos de comprensión intertextual no se ha ahondado lo suficiente y no queda totalmente claro cuál es la concepción que adoptan para explicar la representación de los diferentes rasgos textuales que poseen los textos. Es así que coincidimos con la propuesta de Parodi (2011) cuando sostiene que:
A pesar de que se habla de supuestos no-controversiales en la literatura de los últimos años, no existe un consenso definitivo acerca de cuántos ni cuáles serían exactamente los niveles de representación que el lector construiría durante la lectura de un texto. Tampoco se ha llegado a un acuerdo definitivo respecto de los formatos de estas representaciones (p. 152).
En este contexto, consideramos que es necesario hacer una revisión teórica de algunos de los modelos de comprensión textual más influyentes con miras a revisar cuáles son y cómo son definidos los formatos o unidades de representación mental de los textos. Específicamente, este artículo tiene como objetivo comparar siete modelos que buscan explicar cómo se representa mentalmente el sistema verbal (Kinstch, 1998; Zwaan, 2004), el sistema verbal en conjunto con otros sistemas semióticos (Sadoski y Paivio, 2004, Mayer 2005, Schnotz y Wagner, 2018; Parodi, 2014) y la intertextualidad (Britt, Rouet y Braasch, 2012). Esto nos motiva a contribuir al área con una discusión que permita hipotetizar cómo es que el sistema cognitivo humano construye la representación mental de dos o más textos que son multimodales y si es que las nociones de estos modelos se alinean a una visión simbólica (Fodor, 1983) o a la del enfoque corpóreo (Barsalou, 1999a, 1999b). Con este aporte, buscamos integrar un marco teórico que sirva como una línea base de partida para su posterior estudio empírico.
2. MARCO TEÓRICO
2.1 Dos teorías de la representación mental del conocimiento
Las teorías de la representación mental son descritas como explicaciones -hipotéticas o empíricas- acerca de los factores biológicos, cognitivos o del entorno que influyen en la capacidad que tiene el ser humano para entender y organizar la información a la que está expuesto (Stich, 1992). Dos de los enfoques más influyentes son el computacionalismo simbólico de Jerry Fodor (1983) y la aproximación corpórea de Lawrence Barsalou (1999a). La Tabla 1 condensa los elementos nucleares de ambas propuestas.
|
Tabla 1. Elementos básicos del simbolismo y del corpóreo. |
||
|
Elemento |
Fodor (1983) |
Barsalou (1999a) |
|
Arquitectura |
Computacional |
Estructurado metafóricamente |
|
Representación |
Mental, abstracta, discreta, arbitraria, amodal |
Mental, concreta, no discreta, metafórica, modal |
|
Unidad de representación |
Proposición |
Símbolo perceptual |
|
Procesamiento de estímulos |
Bottom-up |
Bottom-up y top-down |
|
Nota. Elaboración propia. |
||
A grandes rasgos, en la propuesta de Fodor (1983) se suele hablar de la representación mental del sistema cognitivo como un lenguaje proposicional. Desde este marco teórico, la arquitectura de la mente está constituida por módulos que permiten la entrada de datos (Bottom-up). Estos sistemas vienen preconfigurados y especializados genéticamente, en donde su funcionamiento es independiente uno de otro. De esta manera, cada módulo tiene una exclusividad en los datos que codifica y que procesa. En esta traducción de información, Fodor (1983) sostiene que los transductores sensoriales son los encargados de llevar la información de los estímulos externos al lenguaje proposicional de la mente.
Contradictoriamente, Barsalou (1999b) argumenta que la idea de una representación proposicional es absurda y que la representación mental consiste en símbolos perceptuales que dependen de los sistemas sensoriomotores. Además de esto, Barsalou (1999a) apunta que las representaciones son ambas, “At one extreme, bottom-up input activates sensory-motor representations in the absence of top-down processing (“pure” perception). At the other extreme, top-down processing activates sensory-motor representations in the absence of bottom-up processing (imagery and conception)” (p. 590). De este modo, los simuladores permiten la construcción de la representación de los símbolos perceptuales, es decir, la construcción modal de un objeto o evento.
Estas dos posturas han influido sustancialmente en el desarrollo de las teorías que están en búsqueda de entender cómo es que el sistema cognitivo humano se representa la información textual (Kintsch, 1998; Zwaan, 2004; Sadoski y Paivio, 2004, Mayer 2005, Schnotz y Wagner, 2018; Parodi, 2014; Britt, Rouet y Braasch, 2012). Sin embargo, no en todos los casos quedan suficientemente claras las posiciones que estos modelos verbales, multimodales o intertextuales adoptan. Por ello, en el tercer apartado de este artículo se profundizará en dicho aspecto, buscando revelar su posicionamiento a la luz de los enfoques de Fodor (1983) y Barsalou (1999a).
2.2 Los textos y sus rasgos de textualidad
Es innegable el amplio desarrollo teórico que la perspectiva simbólica y corpórea han hecho al campo de la comprensión. Pese a ello, es evidente que los modelos de comprensión textual han prestado mayor atención a la parte cognitiva y han desatendido a las características intrínsecas de los textos (Parodi y Moreno-de-León, 2021). Esta falta de atención puede ser una de las causas del debate que sostienen los investigadores que defienden a cada perspectiva.
Dentro de los modelos que describen la comprensión de las palabras, parece ser que quienes defienden una postura simbólica consideran como texto a un conjunto de palabras interconectadas gramatical y cohesivamente con la que se accede a diferentes niveles de representación de redes semánticas (e.g., superficial o profunda) (Kinstch, 1998). Los defensores de la perspectiva corpórea asumen que los textos también están constituidos por lo que ellos denominan características no lingüísticas, por ejemplo, acciones, secuencias, relaciones, configuración espacial, etc. (Zwaan, 1999; Zwaan, 2004). Desde la óptica de los modelos de comprensión multimodal, su posicionamiento no es tan claro como los anteriores. La ambigüedad versa en la definición de los diversos sistemas semióticos que constituyen a los textos, por ejemplo, se habla del texto como un artefacto semiótico constituido solo por palabras y el resto de artefactos (e.g., diagramas, gráficos, fotografías) no son concebidas como parte del texto (Sadoski y Paivio, 2004; Mayer 2005, Schnotz y Wagner, 2018) y, por consecuencia, no existe claridad en los tipos de formatos en que se representan estos artefactos[3]. Al respecto de los modelos intertextuales, se suele emplear el término fuente o documento para dar cuenta de características que van más allá del texto, por ejemplo, la entidad del autor, género, medio y año de publicación (Rouet y Britt, 2014). Sin embargo, esta definición no permite precisar cuáles son las características y límites de los textos.
Como se aprecia, el significado de texto es polisémico e impreciso. Pese a ello, estas nociones de texto no son necesariamente excluyentes o contradictorias, sino que cada una busca explicar la representación de alguno de los diversos rasgos textuales. Al respecto, Harari (2014) afirma que el ser humano desarrolló la necesidad de registrar, calcular y reportar las actividades derivadas de la agricultura, caza y comercio con otras comunidades. En la misma línea, Kress y van Leeuwen (1996) señalan que:
At a particular stage in the history of certain cultures, there developed the need to make records of transactions of various kinds, associated usually with trade, religion or (governing) power. These records were initially highly iconic; that is, the relation between the object to be recorded and the forms and means of recording was close and transparent. For instance, the number of notches in a stick would represent the number of objects stored or traded or owed. The representation of the object would usually also be transparent: a wavy line eventually became the Chinese ideogram for ‘water’; the hieroglyphic image of the ox’s head which initially ‘stood for’ ‘ox’ eventually became the letter aleph (א), alpha (α), a. (p. 21).
Esta evolución del sistema de escritura que va de un conjunto de líneas y marcas a un sistema limitado de unidades que se combinan infinitamente no ha sido una limpia carrera de relevos en la que líneas, puntos, marcas y colores se hayan eliminado de los textos. Por el contrario, estas prácticas discursivas se han sistematizado y propagado igualmente que en el sistema verbal. Más específicamente en la Figura 1, las líneas de este artefacto son vestigios de los esfuerzos que hicieron los primeros seres humanos para representar el aumento o decremento de sus productos. Junto a lo anterior, se observa cómo es que un aumento es representado por la continuidad de la línea hacía arriba y un decremento se representa cuando una línea se dirige hacia abajo. Asimismo, a través de este artefacto, se considera la noción temporal en donde el tiempo transcurre de izquierda a derecha. Ante este fenómeno textual, quien comprenda el gráfico debe combinar las representaciones que evocan la dirección de las líneas y, a pesar de que no hay flechas, se sabe que las líneas tienen una dirección hacia la derecha y que, en general, se espera un aumento en el PIB.
Figura 1.
Texto multimodal.
Nota: La imagen muestra el ejemplo de un texto multimodal. Fuente: Adaptado de Parodi, Moreno-de-León y Julio (2020).
Por otra parte, si bien es cierto que Kress y van Leeuwen (1996) afirman que existe una gramática de lo que ellos llaman diseño visual, también reconocen que no es una gramática mental o universal, sino un conjunto de descripciones de las estructuras en las que se configuran los textos, prestando especial atención a las reglas de combinación que existen entre imágenes, gráficos, íconos, etc. Es así que, la representación mental de las palabras de textos -escritos y estáticos- y sus posibles combinaciones parece ser mejor explicada por una propuesta simbólica y que responda a las características gramaticales de este sistema semiótico. No es de sorprender que, como mostraremos en el siguiente apartado, los modelos multimodales tienen mayor afinidad con el enfoque corpóreo, pues permite un mayor poder explicativo en la representación de los sistemas semióticos distintos al verbal.
Concretamente, la propuesta que se esboza en este artículo requiere de una definición de texto más precisa que las anteriores. Es así que, en este trabajo se parte de la premisa que los textos son comunicativos y cuentan con -al menos- ocho rasgos de textualidad: cohesión, coherencia, intencionalidad, aceptabilidad, informatividad, situacionalidad, intertextualidad (de Beaugrande y Dressler, 1981) y multimodalidad (Kress y van Leeuwen, 2001). Bajo esta perspectiva, todos los textos están constituidos por artefactos multimodales como, por ejemplo, gráficos, diagramas, fotografías, párrafos, etc. (Parodi, 2010; Moreno-de-León, de León y Bautista, 2023). Dichos artefactos pueden ser entendidos como un conjunto de sistemas modales (e.g., color, forma, palabras) que son combinados bajo un tipo de práctica social particular para cumplir un fin determinado. Para explicar este argumento, considere el siguiente ejemplo.
Como se observa en la Figura 1, el texto multimodal, que pertenece al género de reporte de economía, está constituido por un título, un párrafo y un gráfico. En el párrafo, constituido mayoritariamente por el sistema verbal, se dice que se realiza una proyección, es decir, se estima cómo es que los valores de un producto (PIB) se comportarán en un periodo futuro. Similarmente, en el gráfico, constituido por los sistemas matemático, del color, de la forma, verbal, otros, se realiza una proyección, pero se incorporan los valores no solo de un país (España) sino las informaciones de otros tres países. Además de ello, bajo la óptica de la Teoría Retórica Estructural (RST por sus siglas del inglés), se establece que la relación retórica entre el párrafo y el gráfico no es sinonímica, sino que el núcleo de este texto es la proyección que se encuentra en el párrafo y el resto de los componentes funcionan como satélites (Mann y Thomson, 1988). Así, este segmento textual permite apreciar que la proyección que se hace en el párrafo no es igual que la que se hace en el gráfico. No es de sorprender que, además de las diferentes definiciones de textos, los modelos de comprensión debaten acerca de cómo es su representación debido a que la naturaleza implica muchos rasgos de textualidad. De esta forma, en concordancia con el objetivo del presente trabajo, buscamos revelar el enfoque de algunas teorías de comprensión de textos para determinar hasta qué punto su noción de representación mental es simbólico o es corpóreo; y con ello avanzar hacia un modelo más integrador que considera estas variables de manera sistemática.
2.3 La comprensión de múltiples textos multimodales
La comprensión de múltiples textos multimodales es descrita como la construcción de un nuevo conocimiento, creencia u opinión basada en dos o más textos (Rouet y Britt, 2014; List y Alexander, 2018). Este tipo de comprensión es muy habitual en casi todos los ámbitos, desde el comparar dos o más etiquetas nutricionales de productos alimenticios, hasta la integración de informaciones de dos reportes de economía. Asimismo, esta comprensión puede ser influenciada por lo que hemos denominado como variables externas al lector y variables internas al lector (Figura 2). Este modelo hipotético busca integrar los modelos de a) la comprensión de un único texto de palabras, b) la comprensión de un único texto multimodal y c) la comprensión de múltiples textos de palabras, los cuales explican las habilidades que subyacen, en parte, en la comprensión de múltiples textos multimodales.
Figura 2.
Variables internas y variables externas implicadas en la comprensión de múltiples textos multimodales.
Nota: La imagen muestra diferentes tipos de variables implicadas en textos multimodales. Fuente: Rediseñado a partir de Moreno-de-León (2018).
En primer lugar, los modelos que se han enfocado en la comprensión de un único texto de palabras explican cómo influye la macroestructura textual en la comprensión, la construcción estratégica micro y macro proposicional, la construcción de significados integrándolos con el conocimiento previo del lector como un proceso cíclico y recursivo (Kintsch y van Dijk, 1978; van Dijk y Kintsch, 1983; Kintsch, 1998). Otros modelos, de manera más específica, han indagado en el procesamiento de inferencias en textos narrativos (Graesser, Singer y Trabasso, 1994; Zwaan, Magliano y Graesser, 1995).
En segundo lugar, los modelos de comprensión de textos multimodales van más allá de comprensión de textos constituidos solo por palabras. Algunos de los tipos de textos y su influencia en la comprensión que se han investigado son aquellos que se encuentran en la web, constituidos por texto oral, imágenes con sonido, palabras e ilustraciones (Mayer, 2005), textos estáticos constituidos por palabras y gráficos estadísticos (Parodi, 2011) textos con palabras e imágenes (Sadoski y Paivio, 2004), entre otros (Schnotz y Wagner, 2018).
En tercer lugar, los modelos de comprensión de múltiples textos de palabras buscan explicar cómo es que se construye la representación mental de dos o más textos considerando la evaluación del contenido de los textos, procesos de lectura guiados por la tarea, asimismo, cómo el conocimiento previo, la motivación y la contradicción del contenido de los textos afectan la integración y resolución de problemas de lectura generados por el lector (Britt, Perfetti, Sandak y Rouet, 1999; Rouet, 2006; Britt, Rouet y Braasch, 2012; Richter, 2011; Richter y Maier, 2017; List y Alexander, 2017; Braasch y Bråten, 2017; Rouet y Britt, 2011; Rouet, Britt y Durik, 2017).
Combinando los aportes de estos modelos, definimos la comprensión de múltiples textos multimodales como la integración entre las informaciones provenientes de diversos artefactos multisemióticos que constituyen a los textos (Parodi, 2010; Mayer,2005), como lo son el procesamiento de las palabras (Kintsch, 1998), el color (Rim y Yoon, 2015), los números (Weber, 2018), los gráficos (Acarturk y Ozcelik, 2016) y las ilustraciones o diagramas (Mason, Tornatora y Pluchino, 2013; Jian, 2015). Aunado a ello, los lectores se enfrentan a objetivos de lectura como, por ejemplo, integrar, sintetizar, comparar y memorizar la información de múltiples textos para construir la representación mental del modelo situacional a partir de ellos (Goldman, 1997; Britt, Perfetti y Rouet 1999; Britt, Rouet y Braasch, 2012; Rouet, Britt y Durik, 2017). Este proceso de aprendizaje ocurre en la interacción entre la memoria de trabajo (Baddeley, 2000) y la memoria de largo plazo, ya sea para acceder a conocimiento previo o para almacenar nuevos aprendizajes (Mayer, 2005).
Esta construcción de conocimientos basados en dos o más textos que son de naturaleza multisemiótica requiere la representación de variables externas como la información textual, por ejemplo, la relación que dos o más textos tienen entre sí (e.g., contradictoria, complementaria, redundante), así como, por mencionar otro ejemplo, la representación de quien solicita la tarea de lectura (e.g., un profesor, un economista, el propio lector). Tal como la literatura ya ha proporcionado evidencias, las variables internas también juegan un papel importante en las representaciones de la información, por ejemplo, la representación mental de un texto se actualiza e influye en la construcción del modelo de situación (Kintsch, 1998). Cabe señalar que este es un primer esfuerzo en el que se busca diagramar esta comprensión y que variables como la motivación, creencias, hábitos, entre otras, aún no han sido integradas. La primera fase, creemos, que debe considerarse para afrontar el estudio de este fenómeno es revisar cómo es que otros modelos han abordado algunos de estos factores. En este artículo, nos centraremos en la representación de las variables externas que están relacionadas a los textos.
2.4 El sistema verbal, el sistema verbal y otros sistemas y la intertextualidad: ¿Una representación mental simbólica o corpórea?
Las variables externas pueden ser subdivididas en variables relacionadas a los textos y las variables relacionadas al contexto. A continuación, se discutirán las nociones de siete de los modelos de compresión textual más influyentes con el fin de determinar hasta qué punto su enfoque se alinea con el enfoque simbólico (Fodor, 1983) o con el enfoque corpóreo Barsalou (1999a).
2.4.1 La representación mental del sistema verbal
Por un lado, una de las propuestas con mayor tradición es la de Kintsch y colegas (Kintsch y van Dijk, 1978; van Dijk y Kintsch, 1983; Kintsch, 1998; Ericsson y Kintsch, 1995) quien defiende que para comprender las palabras es necesario ejecutar una traducción hacia un lenguaje mental, más específicamente, una transformación de las estructuras sintácticas a proposiciones, es decir, predicados y sus respectivos argumentos. Esta perspectiva concibe a las palabras como evocadores de símbolos que son: mentales, abstractos, discretos, arbitrarios y amodales, lo que concuerda ampliamente con la aproximación simbólica (Fodor, 1983). Con relación a las últimas dos características, se afirma que la arbitrariedad del símbolo se refiere a que no existe una conexión entre la forma de una palabra y su referente y la amodalidad hace alusión a que no hay una dependencia de la modalidad sensorial de dónde se descodifican los símbolos, por ejemplo, la visión o la audición.
Otra perspectiva igualmente importante y altamente aceptada es la desarrollada por Zwaan y colegas (Zwaan, Langston y Graesser, 1995; Zwaan, Stanfield y Yaxley, 2002; Zwaan, Madden, Yaxley y Aveyard, 2004). Desde la óptica de Zwaan (2004), contraria a la visión de Kintsch (1998), se sostiene que los símbolos de la representación de las palabras son perceptuales, es decir, también reconocen que la representación de enunciados lingüísticos es mental, pero tiene una relación directa con el conocimiento y experiencia del mundo al que los lectores han estado expuestos. Este posicionamiento, más alineado a la corporeidad (Barsalou, 1999a, 1999b), supone que los símbolos son concretos, modales y no discretos. Asimismo, los investigadores adscritos a este enfoque defienden el supuesto de que no existe una traducción de las palabras a un lenguaje mental, tal como sostiene Kinstch (1998), sino que, en su lugar, la construcción de la representación mental de los símbolos es un proceso que ocurre directamente sin necesidad de un símbolo abstracto. Por ejemplo, retomando el ejemplo de la figura 1, se dice que el párrafo de ese texto está constituido por tres oraciones, tal como se aprecia en (1).
(1)
(1a) España, uno de los países más afectados por la crisis financiera mundial en la zona del euro[4], ha tenido una recuperación extraordinaria.
(2b) La economía creció más de 3% tanto en 2015 como en 2016,
(3c) y se espera que en 2017[5] recupere el nivel de crecimiento del PIB previo a la crisis (gráfico 1.15).
Desde el enfoque de Kintsch (1998), quien retoma la teoría de casos de Fillmore (1968), cada oración es traducida en proposiciones en donde cada una de estas cuentan con una predicación y sus respectivos argumentos:
1a: TENER [experimentador: España; tema: una recuperación extraordinaria]
2b: CRECER [experimentador: La economía; modo: más de 3%; tiempo: tanto en 2015 como en 2016]
3c: ESPERAR [tema: que recupere el nivel de crecimiento del PIB previo a la crisis; tiempo: en 2017]
Desde una orientación corpórea se sostiene la tesis de que “El texto es el vehículo que induce en el lector/oyente la representación de la situación, pero no tiene porqué definirla ni imprimirle sus reglas formales (v.g., gramaticales).” (de Vega, 2002,160). Consecuencia de esta visión, Zwaan (2004) y Zwaan y Madden (2005) defienden la idea de que la representación de las palabras es isomórfica y, por tanto, no existe una formalización de la representación mental como la que propone Kintsch (1998). En su lugar, se proporcionan algunas características como, por ejemplo, el principio de composicionalidad (Barsalou, 1999a). Desde este enfoque, los significados que son complejos y están configurados por los valores de sus partes. De esta manera, retomando el ejemplo de (1), cuando se comprenda el párrafo de ese texto deberá, en uno de los múltiples procesos, hacer una inferencia para establecer que la representación de “España” hace una contribución similar a la de “la economía”. Como se ha dejado ver, parece más que evidente que la propuesta de Kintsch (1998) se alinea al simbolismo de Fodor (1983) y la de Zwaan (Zwaan 2004; Zwaan y Madden, 2005) a la de Barsalou (1999a, 1999b).
2.4.2 La representación mental del sistema verbal y otros sistemas semióticos
Pese al gran aporte científico que se ha hecho desde la perspectiva simbólica y corpórea para entender cómo se comprenden los textos, el debate se ha centrado mayormente en cómo se procesan los textos que contienen solo palabras. El propio Kintsch (2013) reconoce que “This deficiency is a major reason why much of the research on text comprehension has focused on the verbal aspects, neglecting the role of mental imagery for all its acknowledged significance” (p. 809). Es así que, ninguno de los seguidores, ya sea de la propuesta de Kintsch (1998) o de Zwaan (2004) ha explorado sistemáticamente la representación mental de textos que contienen más que solo palabras. Algunas propuestas que buscan explicar cómo se comprende un texto constituido por varios artefactos multisemióticos son las de Sadoski y Paivio (2004), Mayer (2005), Schnotz y Wagner (2018) y Parodi (2014).
En la primera de estas, Sadoski y Paivio (2004) postularon la Teoría del Código Dual en la que se defiende la existencia de un canal cognitivo que representa la información de las palabras y otro que representa la información de lo no verbal, a lo que denominaron logogens e imagens, respectivamente. Estas representaciones de la información, según señalan, son “concrete as opposed to being abstract and amodal” (Sadoski y Paivio, 2004, 7). A pesar de no haber una mención explícita, es posible hacer una asociación con el principio de composicionalidad propuesto por Barsalou (1999a), es decir, en la Teoría del Código Dual se conciben a las representaciones mentales de palabras e imágenes como un fenómeno influido por su concreción (del inglés concreteness). Bajo esta visión, la Teoría del Código Dual rechaza una propuesta gramatical como la de Fillmore (1968), fundamental en la teoría simbólica de Kintsch (1998), y adopta un enfoque más de la lingüística cognitiva como la de Langacker (1990) para explicar la comprensión del sistema verbal. Esta crítica revela aún más la visión corpórea que Sadoski y Paivio (2004) han adoptado.
Siguiendo el argumento de esta teoría, Sadoski y Paivio (2004), explican que, en lugar de la proyección de los rasgos formales de las unidades léxicas en la estructura de las oraciones, lo que en realidad sucede es que “A hierarchy characterizes the verbal system such that smaller units can be sequentially synthesized into larger units (e.g., letters to words) or larger units can be sequentially analyzed into smaller units (e.g., words to letters)” (p. 9). Es así que en concordancia con el principio de composicionalidad (Barsalou, 1999a), la representación del significado del sistema verbal se construye a partir de los valores de sus partes. En cuanto al imagens, los autores afirman que esta representación es cualitativamente diferente y que no puede ser comparada a las unidades del sistema verbal (e.g., fonemas, letras, palabras). Para explicarlo, Sadoski y Paivio (2004) mencionan que:
We can synthesize images of smaller units (a baseball bat) into embedded or nested units (a bat in the hands of a batter) to still larger sets (the batter in a stadium with a roaring crowd), or we can analyze the scene in reverse (p. 10).
De esta manera, la representación mental de imágenes, por ejemplo, es concebida como una imagen holística y simultánea, contraria a la fuerte jerarquía que existe en las unidades del sistema verbal. Una segunda propuesta es la Teoría Cognitiva del Aprendizaje Multimedia. En ella, Mayer (2005) afirma que:
For purposes of the cognitive theory of multimedia learning, I have opted for a compromise in which I use the sensory-modality approach to distinguish between visually presented material (such as pictures, animations, video, and on-screen text) and auditorily presented material (such as narration and background sounds), as well as a representation-mode approach to distinguish between the construction of pictorially based and verbally based models in working memory (p 48).
A partir de esta cita es posible inferir que en esta teoría se considera tanto a la postura simbólica como la postura corpórea y, más específicamente, la unidad de representación que se utiliza en esta teoría es el esquema (del inglés schema) que es definida como “sophisticated structures that permit us to perceive, think, and solve problems”. Para construir esta representación mental, Mayer (2005) propone cinco tipos de representaciones de las palabras e imágenes.
En un primer momento, el lector se enfrenta a los estímulos textuales que, en esta propuesta, son representados como palabras e imágenes. Posteriormente, estos estímulos impactan en los oídos u ojos, respectivamente. Es en este nivel que se obtiene una representación acústica (sonidos) y una representación visual (imágenes) en la memoria sensorial. Una vez llevado a cabo lo anterior, el lector selecciona algunas de las palabras e imágenes para su procesamiento posterior en la memoria de trabajo. De esta forma, se construye una representación de los sonidos y de las imágenes en la memoria de trabajo. De acuerdo con Mayer (2005), es aquí donde el lector construye la representación del conocimiento que, en el caso de las palabras es su contenido y en el caso de las imágenes es su constitución o materialidad en términos de Bateman (2008) (e.g., formas, colores y trazos). En el cuarto peldaño del proceso se construye un modelo verbal y un modelo pictórico en el que se combinan las informaciones de ambos sistemas semióticos. Por último, el lector construye el esquema de la información la cual puede ser almacenada en la memoria a largo plazo.
Otra propuesta es la de Schnotz y Wagner (2018). Ellos proponen el denominado Modelo Integrado de Comprensión de Texto e Imagen en el que se apunta a una visión similar a la de Mayer (2005). Este modelo reconoce explícitamente que para explicar la representación de las palabras recurren al modelo de Kintsch (1998), es decir, adoptan una unidad proposicional (Fodor, 1983). En cuanto a la representación de las imágenes, plantean un proceso de traducción más o menos similar al propuesto por Mayer (2005), pero distinguiéndose al proponer una transformación de las representaciones que van desde una corpórea (Barsalou, 1999b), hasta construir una representación abstracta más sistemática. Estas representaciones mentales consisten en el modelo proposicional -para las palabras- y el modelo mental -para el resto de los sistemas semióticos.
Retomando nuestro ejemplo de la Figura 1, el modelo proposicional se construiría tal como lo describe Kintsch (1998). La parte más innovadora de esta propuesta consiste en la traducción que se lleva a cabo en el modelo mental y que según Schnotz y Wagner (2018) ocurriría al leer información específica de gráfico, por ejemplo, comprender que el PIB aumentará en cuatro países. De este modo, en un primer momento:
Learners create a perceptual representation (i.e., a visual image) of the picture, and they then construct a mental model of the picture’s content. For example, when a learner understands the bar graph shown in Figure 4.1c, the learner perceives vertical bars on a horizontal line and creates a corresponding visual image.” (Schnotz y Wagner 2018, 78).
Subsecuentemente, “The information read-off from the model is again encoded in a propositional format […]” (Schnotz y Wagner 2018, 78). Para ilustrarlo hemos diseñado la siguiente figura.
Figura 3.
Representación de la información multisemiótica según Schnotz y Wagner (2018).
Nota: La figura muestra un ejemplo de multisemiótica. Fuente: Adaptado de Parodi, Moreno-de-León y Julio (2020)
Por último, en la Teoría de la Comunicabilidad, Parodi (2014) aborda el fenómeno de la comprensión multimodal desde una óptica más amplia que las propuestas anteriores. Mientras que los enfoques de Sadoski y Paivio (2004), Mayer (2005), Schnotz y Wagner (2018) adoptan un enfoque centrado en la influencia que ejercen las variables textuales en los procesos cognitivos, Parodi (2014) también pone especial énfasis en el efecto que las variables contextuales tienen sobre las variables internas al lector. Particularmente, Parodi (2011) deja patente en el supuesto de Interactividad que el sistema cognitivo humano tiene diversidad de niveles y formatos de representación:
En el contexto de la TC, aceptamos que existen representaciones de tipo lingüístico y proposicional, pero que también –dada la naturaleza multisemiótica de muchos textos– es innegable que deben existir otros tipos de representaciones de corte gráfico-visual y matemático (p. 152).
A la luz de esta cita, es posible inferir que la Teoría de la Comunicabilidad, igual que el modelo de Schnotz y Wagner (2018), retoma la propuesta de Kintsch (1998) para explicar la representación mental del sistema verbal y, por tanto, se alinea al enfoque de Fodor (1983). Sin embargo, a pesar de que Parodi (2014) advierte que la existencia de múltiples niveles y formatos de representación multimodal, se remite a establecer que estas representaciones son “menos apegadas al código lingüístico y de orden más semántico” (Parodi, 2011, 153). Por tanto, deja abierta la posibilidad de considerar una representación proposicional o de otro tipo para los sistemas semióticos gráfico, matemático y tipográfico y considera que es necesario desarrollar más estudios empíricos para determinar cuál es la naturaleza de estos formatos de representación.
Aunque con diferente terminología, todas estas propuestas reconocen al menos dos canales o formatos de representación de los sistemas semióticos. En cada una de ellas se detecta una influencia, en mayor o menor medida, de las aproximaciones de Fodor (1983) y de Barsalou (1999a). Sadoski y Paivio (2004) han adoptado un enfoque que se circunscribe totalmente al corpóreo de Barsalou (1999b). Por otro lado, los modelos de Mayer (2005) y Schnotz y Wagner (2018) retoman, de manera diferenciada, tanto la visión simbólica como la corpórea. Mayer (2005) considera que existe un paulatino proceso de traducción a lo que él denomina esquema. Por su parte, Schnotz y Wagner (2018) retoman una visión simbólica de Kinstch (1998) para explicar la representación del sistema verbal y, por otro lado, es posible rastrear la visión corpórea (Barsalou, 1999a) para explicar la representación inicial de otros sistemas semióticos; pero, al mismo tiempo, también apelan a una representación proposicional final de esta información. Por último, Parodi (2014), como ha sido usual en los modelos multimodales, retoma la propuesta de la representación proposicional de Kintsch (1998) y admite que aún es prematuro arriesgarse a determinar de qué tipo son los formatos de representación multimodal.
2.4.3 La representación mental de la intertextualidad
A diferencia de los modelos verbales (Kintch, 1998; Zwaan, 2004) y los multimodales (Sadoski y Paivio, 2004, Mayer, 2005, Schnotz y Wagner, 2018, Parodi, 2014), los modelos de comprensión intertextual se han desarrollado de manera dependiente y sistemática uno del otro. Específicamente, se han desarrollado cinco importantes propuestas que buscan explicar cómo es que los objetivos de lectura (Britt, Rouet y Braasch, 2012; Rouet, Britt y Durik, 2017), la contrariedad o complementariedad entre dos textos (Braasch y Bråten, 2017), la motivación y emociones de los lectores (List y Alexander, 2017), así como sus creencias acerca de un tema (Richter y Maier, 2017) influyen en el procesamiento y aprendizaje a partir de dos textos o más textos. Así, este conjunto de modelos se autodefine como una extensión del modelo situacional (Kintsch, 1998; Zwaan, Langston y Graesser, 1995). Situados en la Teoría de Documentos, todos estos modelos apelan al término documentos -o fuentes- como unidad de representación mental el cual es definido por Britt, Rouet y Braasch (2012) como:
[…] experience texts as social artifacts, written by someone, at some point in time, for some purpose, etc. Readers can attend to and evaluate the characteristics of the author(s) (e.g., name, status, biases/motives, and knowledge/access to information), context or setting (e.g., place, time, and culture), document information (e.g., publisher, language style), and rhetorical goals (e.g., intent/purpose, audience) (p. 164).
Particularmente, nos centramos en el de Rouet (2006). Desde esta óptica, entonces, la representación mental de dos o más textos (estáticos y mayoritariamente verbales) puede suscitarse de dos maneras. La primera que ocurre dentro de un mismo texto (sourcing) y la segunda que se presenta entre dos diferentes textos (integration). En ambos casos, estos autores explican que los lectores deben construir un modelo de representación intertextual que consiste en construir dos nodos: el nodo del contenido y el nodo del documento. Al analizar esta descripción parece evidente el porqué se adhieren a la visión simbólica de Kinstch (1998) y la corpórea de Zwaan (2004).
El modelo de situación del computacionalismo simbólico de Kintsch (1998) permite explicar cómo se construye el denominado nodo del contenido, mientras que el modelo situacional de Zwaan, Langston y Graesser (1995) afronta el reto de explicar cómo es que los lectores se representan variables tales como el nombre del autor de un texto, su estatus (experto o novato), sus motivos, el medio de publicación, el contexto histórico del documento, etc., las cuales dependen de la experiencia del lector. Aunque la asociación parece clara, cabe mencionar que es aquí donde la influencia de Fodor (1983) y de Barsalou (1999a) sale a relucir en los denominados nodo del contenido y nodo de la fuente, respectivamente.
3. LA REPRESENTACIÓN DE MÚLTIPLES TEXTOS MULTIMODALES: SIMBÓLICA Y CORPÓREA
Hasta este punto, hemos comparado las diferentes nociones que varios modelos de comprensión proponen acerca de los formatos de representación de los textos. Específicamente aquellas propuestas que abordan la comprensión de textos que tienen predominantemente palabras, los textos que tienen palabras y otros sistemas y los que revelan sus rasgos de intertextualidad. Esta discusión se puede apreciar sucintamente en la Tabla 2.
|
Tabla 2. Propuestas teóricas y sus unidades de representación mental. |
|||||
|
Variables externas |
Subtipo de variable |
Propuestas y unidad de representación mental |
|||
|
Propuesta |
Unidad de representación |
Noción de texto |
Enfoque al que se alinea |
||
|
Texto |
Sistema verbal |
· Kintsch (1998) |
· Proposición |
· Estático solo palabras |
· Simbólico |
|
· Zwaan (2004) |
· Evento |
· Estático solo palabras |
· Corpóreo |
||
|
Sistema verbal y otros sistemas semióticos |
· Sadoski y Paivio (2004) |
· Logogens (para palabras) · Imagens (para imágenes |
· Dinámico multimodal |
· Corpóreo |
|
|
· Mayer (2005) |
· Esquema |
· Dinámico multimodal (papel-digital) |
· Simbólico y corpóreo |
||
|
· Schnotz y Wagner (2018) |
· Proposición |
· Dinámico multimodal |
· Simbólico y corpóreo |
||
|
· Parodi (2014) |
· Proposición · No proposición |
· Estático multimodal (papel-digital) |
· Simbólico y corpóreo |
||
|
Intertextualidad |
· Britt, Rouet y Braasch (2012) |
· Documento |
· Estático solo palabras (papel-digital) |
· Simbólico y corpóreo |
|
|
Nota: La tabla muestra diferentes planteamientos teóricos y algunas unidades de representación cognitiva. Fuente: Elaboración propia.
|
|||||
Cada uno de los modelos discutidos ha intentado explicar una parte esencial del fenómeno mayor que es la comprensión de múltiples textos multimodales. Como se ha revelado a lo largo del presente artículo, los modelos disponibles tienen opiniones controversiales. Consecuencia de ello, en línea con lo que afirma Parodi (2011) es complejo aventurarse a aseverar la naturaleza de estos formatos de representación. Pese a ello, también somos conscientes de la importancia de la producción de nuevos modelos que ayuden al avance del desarrollo científico. Concretamente, los nuevos modelos de comprensión permiten hipotetizar, considerar e integrar nuevas variables que evidentemente influyen en el procesamiento y aprendizaje de los textos, pero que aún no han sido consideradas sistemáticamente (Goldman, Golden y van den Broek, 2007; List y Alexander, 2018). De esta manera, a la luz del análisis aquí realizado, es posible trazar un primer esbozo sobre las representaciones y su naturaleza simbólica o corpórea.
Concretamente, compartimos la visión del Modelo Integrado de la Comprensión de Texto e Imagen (Schnotz y Wagner, 2018) y la propuesta del Modelo de Documentos (Britt, Rouet y Braasch, 2012) para explicar el procesamiento e integración de los diversos sistemas semióticos a partir de múltiples textos. Ambas teorías han sabido adaptar el simbolismo y la corporeidad para explicar cómo se representan el sistema verbal, otros sistemas semióticos y la intertextualidad en la memoria de trabajo y, por consecuencia, consideramos que un modelo que integre los aciertos de estos programas en una teoría aspira no solo a describir cómo se comprenden dos o más textos multimodales, sino a explicar y predecir cómo ocurre el fenómeno desde una posición más cercana a la que ocurre en la realidad. Destacamos que el constructo de esquema planteado por Mayer (2005) parece propicio para la representación del documento en la memoria de largo plazo. Esta primera propuesta se ilustra en la Figura 4
Figura 4.
La representación mental de múltiples textos multimodales.
Nota: La imagen muestra el panorama general de algunas representaciones en textos multimodales. Fuente: Adaptado de Parodi, Moreno-de-León y Julio (2020).
Pese a la fortaleza que pudiera tener esta propuesta, no restringimos el marco teórico a estos formatos. Por esta razón, también adoptamos el enfoque de la Teoría de la Comunicabilidad en el sentido de prestar especial atención en las características de los textos, sus sistemas semióticos y los artefactos multisemióticos que los constituyen.
4. CONCLUSIONES
En este artículo comparamos siete modelos que buscan explicar cómo se representan mentalmente el sistema verbal (Kinstch, 1998; Zwaan, 2004), el sistema verbal en conjunto con otros sistemas semióticos (Sadoski y Paivio, 2004, Mayer 2005, Schnotz y Wagner, 2018; Parodi, 2014) y la intertextualidad (Rouet, 2006). Interesados en estudiar las representaciones mentales implicadas en la comprensión de múltiples textos multimodales, se utilizaron como criterios de comparación el enfoque simbólico (Fodor, 1983) y el enfoque corpóreo (Barsalou, 1999a), más específicamente, sus nociones de representación mental. Derivado de esta revisión, podemos establecer que las posturas aquí revisadas son controversiales. Por un lado, en algunos modelos se argumenta que la representación de los textos es simbólica proposicional (Kinstch, 1998). Por otro lado, otros modelos defienden una visión corpórea, tanto para textos mayormente de palabras (Zwaan, 2004) como para textos multimodales (Sadoski y Paivio, 2004). Particularmente, también se defiende una visión que incorpora ambas ópticas (Mayer 2005, Schnotz y Wagner, 2018; Britt, Rouet y Braasch, 2012). Hay quienes, inclusive, ponen especial cuidado y aseveran que aún es prematuro determinar los tipos de formatos representacionales (Parodi, 2011).
En el marco de la presente propuesta, consideramos que estas perspectivas no son excluyentes. Por un lado, la perspectiva simbólica permite explicar cómo se representa la información de las palabras. Por otro lado, la perspectiva corpórea ayuda a entender cómo es que otros artefactos multisemióticos son representados. Por esta razón, en este artículo argumentamos que la representación de la información de múltiples textos multimodales es tanto simbólica como corpórea y por ello recurrimos a los modelos de Mayer (2005), Schnotz y Wagner (2018) y Britt, Rouet y Braasch (2012). Asimismo, reconocemos la posibilidad de que existan más formatos de representación para sistemas tales como la forma de las figuras, el plano o profundidad de las imágenes, diagramación, matemático, vínculos retóricos entre artefactos multisemióticos, etc.
A modo de proyecciones para futuros estudios, cerramos el artículo planteando dos flancos que se deben abarcar: uno teórico y otro empírico. El primero de estos convoca a hacer una revisión acerca de otras variables tanto externas como internas. En esta ocasión, se referirá al análisis de variables relacionadas a los textos, pero las variables relacionadas al contexto y las variables internas -o cognitivas- también juegan un papel fundamental en el proceso de comprensión y aprendizaje textual. El segundo flanco se refiere a la necesidad de diseñar estudios experimentales con técnicas que permitan determinar en qué medida las variables discutidas en este artículo influyen en el procesamiento e interpretación de múltiples textos multimodales. Sería conveniente utilizar tecnologías que faciliten la evaluación on-line del procesamiento de texto y, al mismo tiempo, complementar con pruebas de comprensión off-line para llevar a cabo estudios experimentales. Una opción viable es la denominada técnica de Seguimiento Ocular (del inglés Eye Tracking). Con esta metodología sería posible producir conocimiento científico que ayude a entender de mejor manera cómo funciona el sistema cognitivo humano y cómo es que se representa la información de varios textos (Parodi, Moreno-de-León, Julio y Burdiles, 2020).
5. LISTA DE REFERENCIAS
Acarturk, C. y Ozcelik, E. (2016). Secondary-task effects on learning with multimedia: An investigation through eye-movement analysis. The Journal of Experimental Education, 85(1), 126-141. https://doi.org/10.1080/00220973.2016.1143793
Ainsworth, S. (2018). Multi-modal, multi-source reading: A multi-representational reader’s perspective. Learning and Instruction, 57, 71-75. https://doi.org/10.1016/j.learninstruc.2018.01.014
Baddeley, A. (2000). The episodic buffer: A new component of working memory? Trends in Cognitive Science, 4, 417-423. https://doi.org/10.1016/S1364-6613(00)01538-2
Barsalou, L. (1999a). Perceptual symbol systems. Behavioral and Brain Sciences, 4(22), 577-660. https://doi.org/10.1017/S0140525X99002149
Barsalou, L. (1999b). Language comprehension: Archival memory or preparation for situated action? Discourse Processes, 28(1), 61-80. https://doi.org/10.1080/01638539909545069
Bateman, J. (2008). Multimodality and genre: A foundation for the systematic analysis of multimodal documents. Springer. https://rb.gy/kdt5y6
Braasch, J., y Bråten, I. (2017). The Discrepancy-Induced Source Comprehension (D-ISC) Model: Basic assumptions and preliminary evidence. Educational Psychologist, 52(3), 167-181. https://doi.org/10.1080/00461520.2017.1323219
Britt, A., Perfetti, C., Sandak, R., y Rouet, J.-F. (1999). Content integration and source separation in learning from multiple texts. En S. R. Goldman, A. Graesser y P. van den Broek (Eds.), Narrative comprehension, causality, and coherence: Essays in honor of Tom Trabasso (pp. 209-233). Erlbaum. https://rb.gy/uxszu6
Britt, A., Rouet, J., y Braasch, J. (2012). Documents as entities. En A. Britt, S. R. Goldman y J.-F. Rouet (Eds.), Reading from words to multiple texts (pp. 160-179). Routledge. https://doi.org/10.4324/9780203131268
Buchholz, B., y Pyles, D. (2018). Scientific literacy in the wild: Using multimodal texts in and out of school. The Reading Teacher, 72(1), 61-70. https://doi.org/10.1002/trtr.1678
de Beaugrande, R., y Dressler, W. (1981). Introduction to text linguistics. Longman. https://rb.gy/xal9cx
de Vega, M. (2002). Del significado simbólico al significado corpóreo. Estudios de Psicología, 23(2), 153-174. https://doi.org/10.1174/02109390260050012
de Vega, M., Glenberg, A., y Graesser, A. (2012). Symbols and embodiment: Debates on meaning and cognition. Oxford University Press. https://doi.org/10.1093/acprof:oso/9780199217274.001.0001
Ericsson, K., y Kintsch, W. (1995). Long-term working memory. Psychological Review, 102(2), 211-245. https://doi.org/10.1037/0033-295x.102.2.211
Fillmore, C. (1968). The case for case. En E. Bach y R. T. Harms (Eds.), Universals in linguistic theory (pp. 1-88). Holt, Rinehart & Wilson. https://rb.gy/cent8g
Fodor, J. (1983). The modularity of mind. MIT press. https://rb.gy/tjwlmo
Goldman, S. (1997). Learning from text: Reflections on the past and suggestions for the future. Discourse Process, 23(3), 357-398. https://doi.org/10.1080/01638539709544997
Goldman, S., Golden, R., y van den Broek, P. (2007). Why are computational models of text comprehension useful? En F. Schmalhoefer y C. Perfetti (Eds.), Higher level language processes in the brain: Inference and comprehension processes (pp. 27-51). Erlbaum. https://rb.gy/ciepw8
Graesser, A., Singer, M., y Trabasso, T. (1994). Constructing inferences during narrative text comprehension. Psychological Review, 101(3), 371-395. https://doi.org/10.1075/hcp.8.14gra
Harari, Y. (2014). Sapiens: A brief history of humankind. Londres, Inglaterra: Vintage Books. https://rb.gy/kvvbqw
Jian, Y. (2015). Fourth graders' cognitive processes and learning strategies for reading illustrated biology texts: Eye movement measurements. Reading Research Quarterly, 51(1), 93-103. https://www.jstor.org/stable/43999145
Kintsch, W. (1998). Comprehension: A paradigm for cognition. Cambridge University Press. https://rb.gy/aterru
Kintsch, W. (2013). Revisiting the Construction-Integration Model of Text Comprehension and its implications for instruction. En D. Alvermann, N. Unrau y R. Ruddell (Eds.), Theoretical Models and Processes of Reading. 807-839. https://doi.org/10.4324/9781315110592-12
Kintsch, W., y van Dijk, T. (1978). Toward a model of text comprehension and production. Psychological Review, 85(5), 363-394. https://doi.org/10.1037/0033-295X.85.5.363
Kress, G., y van Leeuwen, T. (1996). Reading images: The grammar of visual design. Routledge. https://rb.gy/1zxlw6
Kress, G., y van Leeuwen, T. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. https://rb.gy/eu7tya
Langacker, R. (1990). Concept, image, and symbol: The cognitive basis of grammar. du Gruyter. https://doi.org/10.1515/9783110857733
List, A., y Alexander, P. (2017). Cognitive affective engagement model of multiple source use. Educational Psychologist, 52(3), 182-199. https://doi.org/10.1080/00461520.2017.1329014
List, A., y Alexander, P. (2018). Postscript: In pursuit of integration. Learning and Instruction, 57, 82-85. https://doi.org/10.1016/j.learninstruc.2018.04.002
Mann, W., y Thompson, S. (1988). Rhetorical structure theory: Toward a functional theory of text organization. Text-interdisciplinary Journal for the Study of Discourse, 8(3), 243-281. https://doi.org/10.1515/text.1.1988.8.3.243
Mason, L. Tornatora, M., y Pluchino, P. (2013). Do fourth graders integrate text and picture in processing and learning from an illustraded science text? Evidence from eye-movement patterns. Computers & Education, 60(1), 95-109. https://doi.org/10.1016/j.compedu.2012.07.011
Mayer, R. (2005). Cognitive theory of multimedia learning. En R. Mayer (Ed.), The cambridge handbook of multimedia learning (pp. 31-48). Cambridge University Press. https://doi.org/10.1017/CBO9780511816819.004
Moreno-de-León, T. (2018). El papel de los objetivos de lectura en la comprensión de múltiples textos multimodales de economía: estudio con técnicas Eye Tracking [Tesis de magíster]. Pontifica Universidad católica de Valparaíso. https://bit.ly/3Mb0QXl
Moreno-de-León, T., de León, E., y Bautista, J. (2023). Intertextualidad y multimodalidad en páginas de Facebook durante el estallido social chileno. LATAM Revista Latinoamericana De Ciencias Sociales Y Humanidades, 4(1), 1781–1808. https://doi.org/10.56712/latam.v4i1.377
Parodi, G. (2010). Multisemiosis & lingüística de corpus: Artefactos (multi)semióticos en los textos de seis disciplinas en el Corpus PUCV-2010. Revista de Lingüística Teórica y Aplicada (RLA), 48(2), 33-70. http://dx.doi.org/10.4067/S0718-48832010000200003
Parodi, G. (2011). La Teoría de la Comunicabilidad: Notas para una concepción integral de la comprensión de textos escritos. Revista Signos. Estudios de Lingüística, 44(76), 145-167. http://dx.doi.org/10.4067/S0718-09342011000200004
Parodi, G. (2014). Comprensión de textos escritos. La Teoría de la Comunicabilidad. Eudeba.
Parodi, G., Moreno-de-León, T., y Julio, C. (2020). Comprensión de textos escritos: reconceptualizaciones en torno a las demandas del siglo XXI. Íkala, Revista de Lenguaje y Cultura, 25(3), 775-795. https://doi.org/10.17533/udea.ikala.v25n03a10
Parodi, G., Moreno-de-León, T., Julio, C., y Burdiles, G. (2020). Comprensión de múltiples textos multimodales y objetivos de lectura: Un estudio con profesionales de economía. En Parodi, G., y Julio, C. (Eds.), Comprensión y discurso: Del movimiento ocular al procesamiento cognitivo. Ediciones Universitarias de Valparaíso. http://bit.ly/3Ul2IPE
Parodi, G., y Moreno-de-Léon, T. (2021). Comprender los textos escritos. En Ó. Loureda y A. Schrott (Coords.), Manual de lingüística del hablar (pp. 599-620). De Gruyter. https://doi.org/10.1515/9783110335224-030
Richter, T. (2011). Cognitive flexibility and epistemic validation in learning from multiple texts. En J. Elen, E. Stahl, R. Bromme y G. Clarebout (Eds.), Links between beliefs and cognitive flexibilit (pp. 125-140). http://dx.doi.org/10.1007/978-94-007-1793-0_7
Richter, T., y Maier, J. (2017). Comprehension of multiple documents with conflicting information: A two-step model of validation. Educational Psychologist, 52(3), 148-166. https://doi.org/10.1080/00461520.2017.1322968
Rim, K., y Yoon, Y. (2015). Study of learning performance improvement based on color changes of test sheets. International Journal of Multimedia and Ubiquitous Engineering, 10(9), 9-16. http://dx.doi.org/10.14257/ijmue.2015.10.9.02
Rouet, J. (2006). The skills of document use: From text comprehension to web-based learning. Erlbaum. https://doi.org/10.4324/9780203820094
Rouet, J.-F., Britt, A. y Durik, A. M. (2017). RESOLV: Readers’ representation of reading contexts and tasks. Educational Psychologist, 52(3), 200-215. https://doi.org/10.1080/00461520.2017.1329015
Rouet, J., y Britt, A. (2011). Relevance processes in multiple document comprehension. En M. T. McCrudden, J. P. Magliano y G. Schraw (Eds.), Text relevance and learning from text (pp. 19-52). Information Age Publishing. https://bit.ly/3mVryuB
Rouet, J., y Britt, A. (2014). Multimedia learning from multiple documents. En R. Mayer (Ed.) The cambridge handbook of multimedia learning (pp. 813-841). Cambridge University Press. https://doi.org/10.1017/CBO9780511816819
Sadoski, M., y Paivio, A. (2004). A dual coding theoretical model of reading. En R. B. Ruddell y N. J. Unrau (Eds.), Theoretical models and processes of reading. (pp. 1329-1362). International Reading Assciation. https://bit.ly/3Z0l7Ui
Schnotz, W., y Wagner, I. (2018). Construction and elaboration of mental models through strategic conjoint processing of text and pictures. Journal of Educational Psychology, 110(6), 850-863. https://doi.org/10.1037/edu0000246
Stich, S. (1992). What is a theory of mental representation? Mind, 101(402), 243-261. https://www.jstor.org/stable/2254333
van Dijk, T., y Kintsch, W. (1983). The cognitive model strategies of discourse comprehension. Academic Press. https://rb.gy/a4p7el
Weber, K. (2018). The role of sourcing in mathematics. En J. Braasch, I. Braten y M. McCrudden (Eds.), Handbook of multiple source use (pp. 238-253). https://doi.org/10.4324/9781315627496
Zwaan, R. (1999). Situation models: the mental leap into imagined worlds. Current Directions in Psychological Science, 8(1), 15-18. https://doi.org/10.1111/1467-8721.00004
Zwaan, R. A. (2004). The immersed experiencer: Toward an embodied theory of language comprehension. Psychology of learning and motivation, 44, 35-62. https://doi.org/10.1016/S0079-7421(03)44002-4
Zwaan, R., Langston, M., y Graesser, A. (1995). The construction of situation models in narrative comprehension: An event-indexing model. Psychological Science, 6(5), 292-297. https://doi.org/10.1111/j.1467-9280.1995.tb00513.x
Zwaan, R., Madden, C., Yaxley, R., y Aveyard, M. (2004). Moving words: Dynamic representations in language comprehension. Cognitive Science, 28, 611–619. https://doi.org/10.1016/j.cogsci.2004.03.004
Zwaan, R., Magliano, J., y Graesser, A. (1995). Dimensions of situation-model construction in narrative comprehension. Journal of Experimental Psychology: Learning, Memory, and Cognition, 21(2), 386-397. https://doi.org/10.1111/j.1467-9280.1995.tb00513.x
Zwaan, R., Stanfield, R., y Yaxley, R. (2002). Language comprehenders mentally represent the shape of objects. Psychological Science, 13, 168-171. https://www.jstor.org/stable/40063860
Zwaan, R., y Madden, C. (2005). Embodied sentence comprehension. En D. Pecher y R. Zwaan (Eds.), Grounding cognition: The role of perception and action in memory, language, and thought (pp. 224-245). Cambridge University Press. https://bit.ly/3yN9yoN
Zwaan, R., y Radvansky, G. (1998). Situation models in language comprehension and memory. Psychological Bulletin, 123(2), 162-185. https://pubmed.ncbi.nlm.nih.gov/9522683/
6. Agradecimiento
Agradecemos al Equipo de Investigación Lenguaje, Discurso y Educación (https://www.eildye.com.mx/). Concretamente a Maria Fernanda Zapata Valdes (https://orcid.org/0000-0003-2887-786X) por la revisión y edición del resumen en inglés (abstract) y a Juan Jesús Hinojosa Carreño (https://orcid.org/0000-0002-1031-2492) por la revisión y edición del manuscrito. Sin embargo, los autores de este artículo son responsables de lo que se discute en el presente artículo.