Rúbrica socioformativa para evaluar en docentes nivel básico

el grado de dominio de evaluación educativa

Francisco Javier Conde-Rojas

Secretaria de Educación de Guanajuato

Macrina Martina Arroyo

m_arroyo@seg.guanajuato.gob.mx

Secretaría de Educación de Guanajuato

Paula Flora Aniceto-Vargas

paniceto@ipn.mx

Escuela Superior de Ingeniería Mecánica y Eléctrica.

Unidad Culhuacán del IPN

Centro Universitario CIFE

Cuernavaca, Morelos - México

RESUMEN

El propósito del artículo fue evaluar el grado de dominio de docentes de básica de las zonas 150 y 134 del constructo “evaluación educativa”, elaborando un mapa mental, evaluado con una Rúbrica Analítica Socioformativa. Se realizó un estudio instrumental, haciendo la investigación documental sobre evaluación educativa, se construyó la rúbrica y pasó por juicio de 13 expertos en dos fases, para determinar la validez de contenido calculando la V de Aiken. Para el análisis de confiabilidad, se aplicó a un grupo piloto obteniendo una alta confiabilidad con valores del alfa de Cronbach superiores a 0.8. Finalmente se aplicó el instrumento a una población objetivo teniendo como diagnóstico: 60% tienen los conocimientos para evaluar con enfoque socioformativo y el 40% muestran confusión y reducen la evaluación a la aplicación de un examen, identificando como necesidad, capacitación a docentes que se traduzca en nuevas concepciones y formas de evaluar a los estudiantes.

Palabras clave: evaluación educativa; juicio de expertos; rúbrica; validez de contenido; socioformación.

Socioformative Rubric to evaluate in teachers’ basic level

the degree of mastery of educational evaluation

ABSTRACT

The purpose of the article was to evaluate the level of mastery of elementary school teachers in zones 150 and 134 of the construct “educational evaluation”, developing a mental map, evaluated with a Socioformative Analytical Rubric. An instrumental study was carried out, doing the documentary research on educational evaluation, the rubric was built and it passed through the judgment of 13 experts in two phases, to determine the content validity by calculating the V of Aiken. For the reliability analysis, it was applied to a pilot group, obtaining high reliability with Cronbach's alpha values higher than 0.8. Finally, the instrument was applied to a target population having as a diagnosis: 60% have the knowledge to evaluate with a socioformation approach and 40% show confusion and reduce the evaluation to the application of an exam, identifying as a need, teacher training that translates in new conceptions and ways of evaluating students.

Keywords: educational evaluation; expert judgment; rubric; content validity; socioformation.

Artículo recibido: 02 enero 2022

Aceptado para publicación: 28 enero 2022

Correspondencia: f_conde@seg-gto.gob.mx

Conflictos de Interés: Ninguna que declarar

1. INTRODUCCIÓN

El tema de la evaluación educativa ha dado origen a diversos estudios que abarcan una variedad de aspectos, posturas, teorías y desafíos para la implementación de nuevas políticas educativas; especialmente, cuando se busca contrarrestar prácticas pedagógicas tradicionales y promover la evaluación como oportunidad (Anijovich & Cappelletti, 2017). Si bien es cierto que, en las aulas, la evaluación tiene un papel relevante, para los alumnos está asociada, a la aplicación de tareas y exámenes; actividades que generalmente se caracterizan por orientar tareas específicas que implican, memorizar y mecanizar o repetir (Ravela, 2015) y para los profesores, como señala Fernández, (2017) se trata en la mayoría de los casos de una preocupación que genera debate y muchas dudas, lo que les lleva a centrar la atención a aspectos cuantitativos, a la verificación de una o varias conductas esperadas a partir del abordaje de determinados contenidos de aprendizaje, previamente seleccionados. Desde esta perspectiva, el estudiante es un simple reproductor de lo que el profesor quiere que aprenda, por lo tanto, la evaluación se reduce a que el alumno reproduzca lo aprendido. (Mounkoro & Hernández, 2018).

La problemática que se atiende en este artículo hace referencia a la complejidad que enfrentan la mayoría de los docentes de las zonas escolares 150 y 134 de primarias federales ubicadas en los municipios de León e Irapuato, en el estado de Guanajuato, para definir con claridad el concepto de “evaluación educativa” y trasladar su aplicación a las aulas en la evaluación objetiva de los aprendizajes de los alumnos; lo que les lleva a limitarse a la aplicación de pruebas escritas monótonas y descontextualizadas para “medir” y calificar el desempeño de los alumnos, proceso que limita al estudiante a reproducir lo memorizado de un texto previamente asignado (López-Pastor & Pérez-Pueyo, 2017) y la evaluación no solo se trata de acreditar conocimientos, sino también de promover la toma de conciencia de los estudiantes sobre su propio aprendizaje (Anijovich & Cappelletti, 2017).

Para lograr lo anterior, Villamarín (2017) señala que la Evaluación debe llevarse a cabo mediante procesos de autoevaluación, coevaluación y heteroevaluación de forma natural, en el mismo ambiente de aprendizaje y sin perder de vista el objetivo que debe ser el de apuntalar las debilidades cognitivas del alumnado. Lo que implica que los docentes comprendan que la evaluación es un proceso no lineal, que otorga a la propia situación de aprendizaje, la oportunidad de obtener información que retroalimente al alumno con fines de mejora y al propio quehacer del docente (Medina & Deroncele, 2019) y así se generen nuevas prácticas educativas enfocadas al desarrollo y mejoramiento del talento de las y los alumnos para afrontar los retos de la sociedad del conocimiento, mediante el abordaje de problemas del contexto y la colaboración (Tobón, 2018).

La evaluación es un proceso que no termina solo en la formación, si no que va más allá, atendiendo al término de socioformación que Tobón (2017) clarifica de manera muy completa en un libro dedicado a la complejidad de este proceso. Hay que cambiar la evaluación para conseguir, mediante su aplicación correcta y educativa, mejorar la calidad del sistema e incorporar la equidad al mismo, logrando hacer llegar esa calidad a toda la población, que es la que tenemos en las etapas obligatorias de enseñanza. Casanova (2020); Vaillant & Rodríguez (2018) señalan que entre los componentes básicos de la calidad figuran: calidad en el diseño, calidad en los procesos y calidad de los resultados; Casassús (1995) agrega en el tema de la calidad que sus tres pilares principales son: insumos, procesos y resultados; aspectos importantes en el proceso educativo y la búsqueda constante de la mejora escolar.

Ante estos planteamientos, en el presente estudio surge la propuesta de construcción y validación de contenido y confiabilidad de una rúbrica socioformativa que contempla aspectos centrales de una evaluación con enfoque socioformativo que permite evaluar el nivel de dominio que tienen los docentes de nivel básico del constructo “evaluación educativa”, mediante la elaboración de un mapa mental; es importante señalar que las rúbricas socioformativas son instrumentos de evaluación que permiten determinar el nivel de logro o desempeño en la resolución de problemas del contexto, relacionando una serie de indicadores con descriptores de niveles de dominio (Tobón, 2016). Se emplean a partir de evidencias y no se enfocan en evaluar la apropiación de contenidos.

Después de la revisión de la literatura existente sobre el tema se identifica que no existe una variedad de artículos recientes que aborde la problemática de evaluación educativa identificada en el nivel básico de educación. Por ello la importancia de generar investigación al respecto ya que la educación básica es la plataforma que sustenta los niveles superiores de formación y es en esta donde se atiende a la mayoría de la población estudiantil. (Indicadores educativos 2020).

Como propósito general del presente artículo se plantea el siguiente: Evaluar con una rúbrica Socioformativa el nivel de dominio que tienen los docentes de nivel básico del constructo “evaluación educativa”, mediante la elaboración de un mapa mental.

A partir de estas consideraciones, para este estudio se plantean las siguientes metas a cumplir: 1.- Construir una Rúbrica Socioformativa que cumpla con el propósito del estudio, 2.- Determinar la validez de contenido de la Rúbrica a través del método de juicio de expertos, valorando el nivel de pertinencia y redacción de cada uno de los ítems, 3.- Determinar el grado de confiabilidad de la rúbrica mediante la aplicación a un grupo piloto y 4.- Realizar un diagnóstico en la población objetivo sobre el grado de aplicación de la evaluación educativa.

2. ESTRATEGIAS METODOLÓGICAS O MATERIALES Y MÉTODOS

2.1 Tipo de Estudio

Se realizó un estudio instrumental Montero & León (2007) señalan que estos estudios se ubican dentro de aquellos orientados al desarrollo de pruebas y aparatos, incluyendo tanto el diseño como la aplicación de estos. El propósito del estudio fue demostrar la validez de contenido y confiabilidad del instrumento orientado para evaluar el nivel de dominio que tienen los docentes de nivel básico, del concepto “evaluación educativa”, mediante la elaboración de un mapa mental.

2.2 Participantes

En la etapa de revisión del instrumento participaron 3 expertos con experiencia en el tema de evaluación. Para la etapa de validación, el grupo de jueces estuvo conformado por 13 expertos, en su selección se consideró que; a) contaran con grado de maestría o doctorado; b) años de experiencia como docentes investigadores; c) publicaciones en revistas científicas. Ver tabla I, se especifican los datos.

Tabla I. Datos Sociodemográficos de Jueces Expertos

Sexo	38% hombres 62% mujeres
Promedio de edad	52
Promedio de años de experiencia como docentes investigadores	13
Promedio de años de experiencia como docentes universitarios	19
Promedio de años de estudio	48
Promedio de cursos o diplomados de formación continua que han recibido	26
Promedio de ponencias presentadas en congresos y eventos científicos:	15
Promedio de artículos publicados en toda su trayectoria profesional:	10
Zona de residencia	México
Situación laboral	Docente universitario e investigador

Nota: Se aplico el cuestionario de Datos Sociodemográficos CIFE 2017

Para la aplicación de la rúbrica al grupo piloto, se contó con la participación de 16 docentes de educación básica, 8 del sexo masculino y 8 del sexo femenino, todos con nombramiento definitivo y un rango de experiencia de 1 a 30 años de servicio. Ver tabla II, en donde se señalan los datos recabados.

Tabla II

Datos Sociodemográficos de Grupo Piloto

Sexo	50% hombres 50% mujeres
Promedio de edad	40 años
Estado civil	9 casados, 3 solteros y 4 en otros
Promedio de años de estudio	29 años
Condiciones económicas	11 media-alta y 5 media-baja
Zona de residencia	Guanajuato, México
Situación laboral	100% Asignación definitiva a la plaza
Promedio de años de experiencia como docentes	15 años
Promedio de cursos o diplomados de formación continua que han recibido	10
Institución a la cual pertenecen	Secretaría de Educación Pública
Lugar de residencia	Guanajuato, México

Nota: Adaptado de cuestionario de Datos Sociodemográficos CIFE 2017

En la aplicación a la población objetivo, se contó con la participación de 210 docentes de educación básica, de los cuales 110 están adscritos a la zona 150 y 110 a la zona 134; la mayoría son mujeres y el promedio de experiencia en la docencia es de 11 años, en la tabla III se señalan el total de los datos recabados.

Tabla III Datos Sociodemográficos de Población Objetivo

Sexo	19.5% hombres 80.5% mujeres
Promedio de edad	35 años
Estado civil	105 casados, 81 solteros y 24 en otros
Promedio de años de estudio	29 años
Condiciones económicas	56 media-alta, 145 media-baja y 9 en baja
Zona de residencia	Guanajuato, México
Promedio de años de experiencia como docentes	11 años
Preparación profesional	77.5% Licenciatura, 20% Maestría y 2.5% Doctorado
Promedio de cursos o diplomados de formación continua que han recibido	8 programas de formación
Institución a la cual pertenecen	Secretaría de Educación Pública
Lugar de residencia	Guanajuato, México

Nota: Adaptado de cuestionario de Datos Sociodemográficos CIFE 2017

2.3 Instrumentos

Se diseñó como instrumento una Rúbrica analítica socioformativa (Tobón, 2017), se compone por 9 ítems, indicadores o variables divididos en 3 dimensiones: 1. Estrategias para la gestión del conocimiento de evaluación educativa, 2. Conocimiento de evaluación educativa y 3. Metodologías de implementación de evaluación educativa para resolver el problema del contexto. Cada uno de los ítems o indicadores contienen descriptores de logro divididos en 5 niveles de desempeño, organizado de menor a mayor y de izquierda a derecha: preformal, receptivo, resolutivo, autónomo y estratégico.

Se aplicó un cuestionario para recopilar los datos sociodemográficos de la población objetivo como sexo, edad, estado civil, años de estudio, condiciones económicas, lugar de residencia, experiencia docente, preparación profesional y cursos o diplomados en los que han participado.

2.4 Procedimiento

Para el diseño del instrumento se inició con una investigación documental a fin de identificar los instrumentos que hay sobre el tema y las posibles necesidades de estos para poder ser atendidas mediante esta rúbrica. Durante este diseño y validación de contenido y confiabilidad del instrumento se organizaron las actividades en las cuatro etapas que a continuación se describen:

Etapa 1. Construcción del instrumento

En esta etapa se diseñó la Rúbrica socioformativa, misma que se construyó teniendo en cuenta la taxonomía socioformativa conformada por cinco niveles esenciales: Preformal, receptivo, resolutivo, autónomo y estratégico (Tobón 2017).

Etapa 2.- Revisión del instrumento por expertos

Robles & Rojas (2015) destacan que todo instrumento debe reunir dos criterios: validez y confiabilidad, para que pueda ser utilizado con el fin con el que fue creado, por ello durante la segunda etapa se contactó a 5 expertos en el área de los cuales contestaron 3, se les explicó el instrumento y la relevancia de su papel en la revisión. Posteriormente se atendieron sus sugerencias y se hicieron las correcciones necesarias, a fin de mejorar la rúbrica socioformativa diseñada.

Etapa 3.- Validación del instrumento por juicio de expertos

La tercera etapa estuvo enfocada a validar el contenido del instrumento mediante el juicio de expertos, este método de validación es cada vez más utilizado en la investigación; consiste en solicitar a una serie de personas que tienen una trayectoria en el tema y son reconocidos por otros, la demanda de un juicio hacia un objeto, un instrumento, un material de enseñanza, o su opinión respecto a un aspecto concreto (Cabero y Llorente, 2013). Considerando lo anterior se compartió el documento para su análisis y valoración a 30 expertos, de los cuales se obtuvo respuesta de 13, en la selección de dichos expertos se consideró que contaran con estudios de maestría o doctorado, experiencia en investigaciones sobre evaluación y publicaciones en revistas científicas sobre el tema.

Los 13 jueces evaluaron la rúbrica mediante una escala compuesta de dos categorías: pertinencia y redacción, con una escala de 1 a 4, siendo 1 el nivel Muy Bajo; y el 4, el nivel Muy Alto. Posteriormente se empleó la técnica del coeficiente de validez de contenido de Aiken (V de Aiken) que permite cuantificar la validez de contenido o relevancia del ítem respecto a un contenido evaluado en N jueces (Tabla VI y VII). El coeficiente V de Aiken asume valores de 0 a 1, siendo el valor 1 la máxima magnitud posible, que indica un perfecto acuerdo entre los jueces o expertos. Puede ser utilizado sobre las valoraciones de un conjunto de jueces con respecto a un ítem. Dichas valoraciones pueden ser dicotómica (valores de 0, 1 o si, no) o politómicas (valores de 0 a 5) (Robles, F. 2018 p.196).

Etapa 4: Aplicación a un grupo piloto

El instrumento fue aplicado a un grupo piloto de 16 docentes en educación básica con funciones frente a grupo, directivas y comisionados de escuelas primarias públicas, después de intervenir al grupo a través de la mediación docente necesaria para que identificaran de forma clara las características y metas del instrumento diseñado; se puso a prueba la Rúbrica socioformativa para evaluar el grado de dominio: “Evaluación educativa” en docentes de nivel básico, mediante un cuestionario en línea que marcaba los 9 ítems del instrumento y los 5 niveles de desempeño de cada uno. Además de anexar a dicho cuestionario una encuesta de satisfacción CIFE (2020) para valorar el grado de aceptabilidad del instrumento y su relevancia (Figura 1).

De acuerdo con Quero (2010) las características deseables en toda medición son la confiabilidad y la validez, el nivel de confiabilidad de los instrumentos requiere que las mismas calificaciones sean obtenidas por las mismas personas en diversas ocasiones o con diferentes conjuntos de reactivos diferentes (Reidl, 2013); para demostrar el grado de correlación y homogeneidad del diseño de instrumento, se utilizó el coeficiente Alfa de Cronbach con el programa estadístico SPSS de IBM a un grupo piloto. Se consideraron los parámetros marcados por Nunnali y Beistein (1994) donde mencionan que para investigaciones básicas los valores mínimos de los coeficientes de confiabilidad de un Alpha de Cronbach son de 0.80.

Etapa 5: Aplicación de la rúbrica a la población objetivo

Después de la aplicación al grupo piloto se realizaron mejoras sugeridas al instrumento diseñado y posteriormente se aplicó a una muestra de la población objetivo de docentes de educación básica pertenecientes a la zona 134 de primarias de Irapuato y zona 150 de primarias de León en el Estado de Guanajuato. A través de una convocatoria formal se les indicó el objetivo de la rúbrica socioformativa para evaluar el grado de dominio: “Evaluación educativa” en docentes de nivel básico, así como las instrucciones breves sobre el diseño de su mapa mental, teniendo la participación de 210 docentes frente a grupo. En esta aplicación masiva se incluyó un estudio sociodemográfico y una encuesta de satisfacción (Tabla III).

2.5 Análisis de la Información

En todo proceso de investigación es importante contar con instrumentos que presenten adecuadas medidas de validez y confiabilidad. Para evaluar la validez de contenido se utilizó el coeficiente V de Aiken, porque permite cuantificar la validez de contenido de un instrumento y se aplica como un método lógico de validez cuando se tiene la opinión de expertos sobre la validez de un material evaluativo como en este caso; fue fácil el cálculo y garantizó resultados sustentados en técnicas estadísticas que contribuyen a proporcionar calidad a los instrumentos de medida con fines de investigación, pues determina objetivamente la validez de contenido del ítem. (Robles 2018).

Para medir la confiabilidad de consistencia interna del instrumento, es decir el grado en que las respuestas eran consistentes a través de los ítems dentro de la medición se utilizó el coeficiente Alfa de Cronbach que como lo señala Domínguez (2017) es el estimador de la confiabilidad de los puntajes que se usa con mayor frecuencia.

2.6 Consideraciones éticas

Considerando la necesidad de brindar seguridad a los participantes en la investigación, fue incluido en el correo en que se les invitó a participar una precisa explicación de la naturaleza, propósito, importancia de su colaboración, tipo de instrumento, metas, tiempo y seguridad al garantizar la confidencialidad de sus datos personales y sociodemográficos.

3. RESULTADOS Y DISCUSIÓN

Se construyó la rúbrica analítica socioformativa conformada por 12 ítems o indicadores, divididos en 3 dimensiones: 1. Estrategias para la gestión del conocimiento de evaluación educativa, 2. Conocimiento de evaluación educativa y 3. Metodologías de implementación de evaluación educativa para resolver el problema del contexto. Cada uno de los ítems o indicadores contienen descriptores de logro divididos en 5 niveles de desempeño, organizado de menor a mayor y de izquierda a derecha: preformal, receptivo, resolutivo, autónomo y estratégico. Misma que se muestra en la tabla IV.

Tabla IV

Rúbrica analítica socioformativa para evaluar en docentes del nivel básico el grado de dominio de Evaluación educativa

Dimensión	Criterios	Niveles de desempeño
1. Estrategias para la gestión del conocimiento de evaluación educativa.	1.- ¿En qué nivel el docente considera fuentes de información especializada y actual sobre evaluación educativa?	Nivel preformal. El docente aborda información no especializada. Nivel receptivo. El docente presenta un listado de referencias bibliográficas apoyándose exclusivamente en libros de más de 10 años de publicación. Nivel resolutivo. El docente rescata fuentes de información académica: libros de texto académicos, enciclopedias y Wikipedia. Nivel autónomo. El docente presenta citas principalmente de bibliografía de carácter científico y/o especializado. Nivel estratégico. El docente hace referencia a bibliografía menor a cinco años, científica y/o especializada, así como artículos de revistas indexadas, u otros publicados en congresos nacionales o internacionales.
	2.- ¿En qué nivel el docente organiza, analiza y aplica la información de las fuentes documentales consultadas para elaborar su mapa mental de evaluación educativa?	Nivel preformal. El docente atiende en el mapa mental de evaluación educativa una organización confusa. Nivel receptivo. El docente define en el mapa mental de evaluación educativa una organización clara. Nivel resolutivo. El docente organiza en el mapa mental de evaluación educativa los conceptos y aplica 1 de las fuentes consultadas. Nivel autónomo. El docente integra en el mapa mental de evaluación educativa relaciones entre ideas, conceptos e imágenes sobre el tema, analizando las fuentes documentales encontradas. Nivel estratégico. El docente genera en el mapa mental sobre evaluación educativa una estructura entre ideas, conceptos e imágenes, agregando nexos y palabras clave que permiten comprender esta organización y aplica la información recabada en fuentes documentales de alta confiabilidad.
	3.- ¿En qué nivel el docente innova en la información sobre evaluación educativa en el mapa mental?	Nivel preformal. El docente no atiende la información documental. Nivel receptivo. El docente recepciona las aportaciones de otros autores y las considera en la elaboración de mapa mental de evaluación educativa. Nivel resolutivo. El docente complementa al autor con ideas sobre evaluación educativa en la elaboración del mapa mental. Nivel autónomo. El docente genera formas de evaluar atendiendo los enfoques de los autores revisados durante la elaboración del mapa mental de evaluación educativa. Nivel estratégico. El docente innova al proponer una estrategia de evaluación educativa para resolver un problema del contexto.

4.- ¿En qué nivel el docente aplica las normas APA en el anexo de referencias bibliográficas del mapa mental de evaluación educativa?

Nivel preformal. El docente no atiende el anexo de referencias bibliográficas en el mapa mental de evaluación educativa elaborado.

Nivel receptivo. El docente registra en el anexo de referencias bibliográficas del mapa mental de evaluación educativa errores al no atender las normas APA.

Nivel resolutivo. El docente elabora un mapa mental de evaluación educativa con el anexo de referencias bibliográficas, es necesario actualizar el documento de normas APA utilizado.

Nivel autónomo. El docente integra al mapa mental un anexo de referencias bibliográficas con las normas APA.

Nivel estratégico. El docente crea un anexo de referencias bibliográficas del mapa mental de evaluación educativa, no tiene errores en el uso de las normas APA sexta edición en inglés.

2. Conocimiento de evaluación educativa.

5.- ¿En qué nivel el docente consigue recrear la noción de evaluación educativa en un mapa mental con todos sus elementos: etimología, desarrollo histórico, definición actual y evaluación desde la socioformación?

Nivel preformal. El docente aborda la noción de evaluación educativa en el mapa mental, solamente presenta una definición de diccionario.

Nivel receptivo. El docente define el concepto de evaluación educativa actual en un mapa mental.

Nivel resolutivo. El docente elabora un mapa mental en el que presenta el origen etimológico de la palabra evaluación y una definición actual de evaluación educativa.

Nivel autónomo. El docente integra en un mapa mental tres elementos de la noción de evaluación educativa: etimología de la palabra evaluación, desarrollo histórico del concepto evaluación educativa y definición actual de evaluación educativa.

Nivel estratégico. El docente crea un mapa mental personalizado con la noción de evaluación educativa integrando los siguientes elementos: etimología de la palabra evaluación, desarrollo histórico del concepto evaluación educativa, definición actual de evaluación educativa y la evaluación educativa desde la socioformación.

6.- ¿En qué nivel el docente vincula las características de la evaluación educativa con la socioformación en el mapa mental elaborado?

Nivel preformal. El docente señala con alguna noción una de las siguientes características de evaluación educativa desde la socioformación en su mapa mental: problema, producto, instrumentos, colaboración, niveles de dominio y socialización.

Nivel receptivo. El docente seleccionó de forma mecánica dos de las siguientes características de la evaluación educativa desde la socioformación: problema, producto, instrumentos, colaboración, niveles de dominio y socialización.

Nivel resolutivo. El docente categoriza tres de las siguientes características de la evaluación educativa desde la socioformación en el mapa mental: problema, producto, instrumentos, colaboración, niveles de dominio y socialización.

Nivel autónomo. El docente integra cuatro de las siguientes características de evaluación educativa desde la socioformación en el mapa mental: problema, producto, instrumentos, colaboración, niveles de dominio y socialización.

Nivel estratégico. El docente vincula con su contexto próximo las características de la evaluación educativa desde la socioformación en un mapa mental: problema, producto, instrumentos, colaboración, niveles de dominio y socialización.

7.- ¿En qué nivel el docente aborda en su mapa mental nuevas perspectivas de evaluación educativa en la clasificación de esta?

Nivel preformal. El docente no aborda la clasificación de la evaluación educativa en su mapa mental.

Nivel receptivo. El docente reproduce la clasificación de evaluación educativa presentada por el asesor en un mapa mental.

Nivel resolutivo. El docente cita en su mapa mental la clasificación de evaluación educativa, que se realiza a partir del agente que evalúa: autoevaluación, coevaluación y heteroevaluación.

Nivel autónomo. El docente integra la clasificación de evaluación educativa en un mapa mental, a partir del agente que evalúa: auto evaluación, coevaluación y heteroevaluación y del momento de evaluación: diagnóstica, permanente, sumativa.

Nivel estratégico. El docente aborda en un mapa mental la clasificación de evaluación educativa desde nuevas perspectivas educativa aplicando estrategias creativas y de transversalidad desde la socioformación.

3. Metodologías de implementación de evaluación educativa para resolver el problema del contexto.

8.- ¿En qué nivel el docente plantea y ejemplifica la importancia de considerar situaciones reales del contexto de los alumnos para evaluar desde el enfoque socioformativo en el mapa mental?

Nivel preformal. El docente no aborda ni ejemplifica la importancia de las situaciones reales del contexto para evaluar, en el mapa mental.

Nivel receptivo. El docente registra sin ejemplificar la importancia de partir de situaciones reales del contexto para evaluar, en el mapa mental.

Nivel resolutivo. El docente conceptualiza la importancia de las situaciones reales del contexto para evaluar. El ejemplo es poco claro y solo se identifica una de sus características ser realista.

Nivel autónomo. El docente comenta la importancia de considerar situaciones reales del contexto para evaluar y ejemplifica una situación real del contexto cumpliendo solamente con dos de sus tres características: realista y desafiante, sin considerar el trabajo colaborativo en el mapa mental.

Nivel estratégico. El docente propone evaluar a partir de situaciones reales del contexto y ejemplifica mediante una situación que cumple con las características de ser realista, desafiante para los alumnos y toma en cuenta el trabajo colaborativo.

9. ¿En qué nivel el docente resalta la importancia de la retroalimentación en el mapa mental de evaluación educativa?

Nivel preformal. El docente no menciona la retroalimentación como un punto clave de la evaluación educativa en el mapa mental.

Nivel receptivo. El docente aborda la retroalimentación solo como una devolución de la calificación o revisión del trabajo o tarea en el mapa mental.

Nivel resolutivo. El docente conceptualiza la retroalimentación del alumno como un proceso secundario a la evaluación educativa en el mapa mental.

Nivel autónomo. El docente explica que la retroalimentación es un proceso primordial de la de evaluación educativa en el mapa mental.

Nivel estratégico. El docente propone la retroalimentación del alumno como elemento indispensable para que el alumno aprenda a aprender, ajuste su desempeño y pueda seguir aprendiendo en colaboración con otros, en el mapa mental.

Nota: Elaboración propia.

Durante la revisión del instrumento por 3 expertos se realizaron cambios de redacción de los ítems, especialmente el 7 y 9 que fueron poco claros y en sus respectivos niveles de desempeño, así como en los verbos operativos de los ítems 2, 7, 9 y 13.

En la etapa de validación de la rúbrica Socioformativa a través de juicio de 13 expertos, se obtuvieron los resultados cualitativos: énfasis en la corrección de la redacción y la estructura de las preguntas especialmente en los verbos, en la tabla V se presenta una síntesis de las de mayor significancia.

Tabla V

Sugerencias de mejora de expertos

No. experto	Sugerencias	Observaciones
5	El mapa mental puede mencionar que es importante cubrir una serie de criterios para la evaluación educativa pero la descripción varía, por lo que considero no es tan pertinente la redacción del ítem.	Se atendió sugerencia para mejora del instrumento
7	Sugiero cambiar la palabra empodera por resalta. El término empodera. Suena muy autoritario.	Se atendió sugerencia para mejora del instrumento
9	No se especifica que el mapa fuera elaborado de manera colaborativa. Quitar este ítem.	Se atendió sugerencia para mejora del instrumento.

Nota: Elaboración propia

Considerando aspectos cuantitativos en esta primera validación, en función de la pertinencia de los ítems o indicadores, se tienen valores de la V de Aiken de 0.56 a 0.82, el ítem de menor valoración fue el 3 con 0.56 ¿En qué nivel el docente recrea la información en el mapa mental sobre evaluación educativa para resolver el problema del contexto?, mismo que por sugerencia de la mayoría de los jueces expertos, fue eliminado del instrumento. Y el de mayor valoración fue el ítem 8 que resultó con 0.82 ¿En qué nivel el docente contextualiza las características de la evaluación educativa desde el enfoque socioformativo en el mapa mental elaborado? El 75% de los jueces consideró que tenía un alto grado de pertinencia (Ver la Tabla VI datos del proceso de validación).

Tabla VI

Primera Validación de la Pertinencia de los Ítems del Instrumento

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9	ITEM 10	ITEM 11	ITEM 12
Promedio	3.15	3.46	2.69	2.69	2.69	2.85	2.92	3.46	2.85	3.08	3.15	3.08
V DE AIKEN	0.72	0.82	0.56	0.56	0.56	0.62	0.64	0.82	0.62	0.69	0.72	0.69

Nota: Elaboración propia, resultados de validación de pertinencia de los ítems por juicio de expertos a través de formularios de Google, plantilla diseñada por Centro Universitario CIFE

En cuanto a la redacción, el ítem que resultó con menor valor de la V de Aiken (0.59), fue el ítem 1 ¿En qué nivel el docente recrea la información en el mapa mental sobre evaluación educativa para resolver el problema del contexto? El 50% de los encuestados consideraron con alto nivel el ítem 2 quien resultó con un valor de la V de Aiken de 0.77 ¿En qué nivel el docente organiza, analiza y aplica la información de fuentes documentales para elaborar su mapa mental de evaluación educativa? Considerando estos resultados, se mejoró el instrumento y se hizo por segunda ocasión el proceso de validación por juicio de expertos de la rúbrica Socioformativa, se envió a los mismos jueces expertos, como resultado de este último proceso, se redujeron los ítems a 9 (Ver tabla VII).

Tabla VII

Primera Validación de la Redacción de los Ítems del Instrumento

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9	ITEM 10	ITEM 11	ITEM 12
Promedio	2.77	3.31	2.85	2.77	3.15	2.92	3.08	3.23	3.08	2.85	3	3.15
V DE AIKEN	0.59	0.77	0.62	0.59	0.72	0.64	0.69	0.74	0.69	0.62	0.67	0.72

Nota: Elaboración propia, resultados de validación de redacción de los ítems por juicio de expertos a través de formularios de Google, plantilla diseñada por Centro Universitario CIFE

En la segunda validación del instrumento por juicio de expertos, los resultados de la V de Aiken para la pertinencia se tienen valores entre 0.95 a 0.97, en cuanto a la validación de la redacción de los ítems, los valores de la V de Aiken oscilan entre 0.90 a 0.97 (ver tablas VIII y IX).

Tabla VIII

Validación de la Pertinencia de los Ítems del Instrumento (segunda validación por juicio de expertos)

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9
PROMEDIO	3.85	3.85	3.85	3.54	3.77	3.85	3.85	3.92	3.92
V DE AIKEN	0.95	0.95	0.95	0.85	0.92	0.95	0.95	0.97	0.97

Nota: Elaboración propia, resultados de validación de pertinencia (segunda validación) de los ítems por juicio de expertos a través de formularios de Google, plantilla diseñada por CIFE

Tabla IX

Validación de la Redacción de los Ítems del Instrumento (segunda validación por juicio de expertos)

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9
PROMEDIO	3.69	3.92	3.77	3.77	3.85	3.92	3.85	3.85	3.92
V DE AIKEN	0.90	0.97	0.92	0.92	0.95	0.97	0.95	0.95	0.97

Nota: Elaboración propia, resultados de validación de redacción (segunda validación) de los ítems por juicio de expertos a través de formularios de Google, plantilla diseñada por CIFE

El análisis de consistencia interna mostró una alta confiabilidad del instrumento (Alfa de Cronbach: 0.853) ver tabla X.

Tabla X

Resultado de Confiabilidad del Instrumento

Alfa de Cronbach	Alfa de Cronbach basada en elementos estandarizados	N de elementos
.820	.853	9

Nota: Elaboración propia, cálculo del Alfa de Cronbach con el programa de análisis estadístico SPSS de IBM.

Es importante señalar que la encuesta de satisfacción del instrumento arrojó los resultados que se observan en la figura 1.

Figura 1. Resultados de la encuesta de satisfacción del instrumento

Diagnóstico de la población objetivo: Los resultados en la aplicación de la rúbrica Socioformativa a la población objetivo, muestran que en el nivel estratégico se ubican mayor porcentaje de docentes en dos ítems: el 9 con 41.2% y el 2 con 31.8%; en el nivel autónomo se sitúan mayor porcentaje del total de docentes, que va de 53.6% en el ítem 7 a 27.5% en los ítems 5 y 8; en el nivel resolutivo se encuentran con mayor porcentaje de docentes el ítem 1 con 40.8% y el 6 con 33.7%. Hay un porcentaje de docentes que va del 0.5% al 22.3% ubicados en los niveles preformal y receptivo que deben ser atendidos mediante asesoría y acompañamiento para mejorar el dominio del tema y así tener un mayor impacto en los aprendizajes de sus estudiantes, al implementar una evaluación socioformativa. (Ver figura 2).

Figura 2. Diagnóstico de la Población Objetivo

A fin de dar cuenta del instrumento terminado después de pasar por cada una de las etapas mencionadas con anterioridad, se deja en este espacio el enlace en el que se puede consultar: https://docs.google.com/forms/d/e/1FAIpQLScdiz7UK9Pv03b71YmB96iTjAzFu9I7DncbFsrkfts2YumoKA/viewform?usp=sf_link.

4. CONCLUSIÓN O CONSIDERACIONES FINALES

Concluido el proceso metodológico de investigación y análisis se obtiene una rúbrica socioformativa que reúne las características necesarias señaladas por Tobón (2017) concreción, redacción y pertinencia para validar el grado de dominio que los docentes de educación básica tienen en la aplicación de la evaluación educativa, considerando que se obtuvieron valores superiores a 0.8 en la V de Aiken y Alpha de Cronbach que autores como Aiken (1985) y Penfield & Giacobbi (2004), consideran como aceptables

Se concluye además que como parte del diagnóstico se identifica que el 60% de los docentes cuentan con los niveles de desempeño necesarios para aplicar una evaluación formativa a sus estudiantes, entienden la evaluación como un proceso permanente que permite ir regulando el proceso de enseñanza-aprendizaje, identificando las dificultades que se van presentando a los estudiantes en la resolución de problemas planteados e intervenir oportunamente para ayudarles a superarlas (Dorantes & Tobón 2017)

El 40% de los docentes reducen la evaluación a medir, calificar mediante la aplicación de exámenes, por lo que es necesario desarrollar acciones de asesoría, seguimiento y acompañamiento a estos para que transiten a un paradigma de evaluación acorde y congruente a las demandas de la sociedad del conocimiento, como lo señala Juárez y Tobón (2019) el más adecuado es el que promueve el enfoque socioformativo, debido a que incorpora varios axiomas indispensables para ello, la inclusividad y el desarrollo sostenible; por tal motivo es prioritario implementar acciones formativas con los docentes que se traduzcan en nuevas concepciones y formas de evaluar a NNA, a partir de la identificación del verdadero objetivo de la evaluación socioformativa, que como lo señalan Mounkoro y Hernández (2018) radica en que es un proceso valorativo y formativo no solamente cuantitativo.

Se considera necesario continuar investigando sobre el tema para mejorar la calidad del instrumento y potencializar el enfoque que se pretende medir, aportando a la mejora de la labor docente, porque evaluar la evaluación es una práctica altamente formativa (Acerbi, G., Duboué, A., Méndez, E. y Tagliani, J. 2020)

5. LISTA DE REFERENCIAS

Acerbi, G., Duboué, A., Méndez, E. & Tagliani, J. (2020). Creando evaluación: La evaluación formativa a través de la elaboración de productos audiovisuales como forma de promover el aprendizaje profundo en la formación docente. Recuperado de: http://repositorio.cfe.edu.uy/handle/123456789/1209

Anijovich, R. & Cappelletti, G. (2017) La evaluación como oportunidad. Praxis Educativa 21 (1) DOI: http://dx.doi.org/10.19137/praxiseducativa-2017-210108

Berlanga, R. M. & Juárez, H. L (2020) Paradigmas de evaluación: del tradicional al socioformativos. Diálogos sobre educación, 21 (11) DOI: https://doi.org/10.32870/dse.v0i21.646

Cabero, J. y Llorente, M. M. C. (2013), La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). En Eduweb. Revista de Tecnología de Información y Comunicación en Educación, 7 (2) pp.11-22. Recuperado de: http://tecnologiaedu.us.es/tecnoedu/images/stories/jca107.pdf

Cardoner, C. (2016). Una Noción de Evaluación: La Evaluación Formativa en el Marco de las Concepciones de Finlandia y la Ciudad de Buenos Aires. Revista Iberoamericana de Evaluación Educativa, 9(1), 75-90. doi: 10.15366/riee216.9.1.005

Casanova, A (2020) Evaluación formativa e inclusiva en línea ¿Cómo evaluar el aprendizaje ante los retos de la pandemia por el Covid 19? V Congreso Internacional de Evaluación Socioformativa Valora 2020. CIFE Recuperado de: https://cife.edu.mx/recursos

Ceballos. J & Tobón. S. (2019) Validez de una rúbrica para medir competencias investigativas en pedagogía desde la socioformación. Revista científica pedagógica Atenas 1-17 Recuperado de: https://www.researchgate.net/profile/Juan_Almeraya/publication

Domínguez, L. & Merino, S. (2017). Una modificación del coeficiente alfa de Cronbach por errores correlacionados. Revista médica de Chile, 145(2), 270-271. https://dx.doi.org/10.4067/S0034-98872017000200018

Dorantes, J. & Tobón, S, (2017). Revista electrónica de la Red Durango de Investigadores Educativos 9-17. Recuperado de: https://dialnet.unirioja.es/servlet/articulo?codigo=6560025

Escobar. J (2008) Validez de contenido y juicio de expertos: una aproximación a su utilización. Universidad El Bosque, Colombia Avances en medición 2008 Recuperado de: https://www.researchgate.net/profile/Jazmine_Escobar-Perez/publication/ 302438451

Fernández, S. (2017) Evaluación y aprendizaje. Marco ELE. Revista de Didáctica Español Lengua Extranjera. 24 recuperado de: https://marcoele.com/descargas/24/fernandez-evaluacion_aprendizaje.pdf

Hernández-Mosqueda, J. S., Tobón-Tobón, S., & Guerrero-Rosas, G. (2016). Hacia una evaluación integral del desempeño: las rúbricas socioformativas. Ra Ximhai, 12(6). Recuperado de: https://www.redalyc.org/articulo.oa?id=46148194025

Ibarra. S, Segredo. S, Juárez. L & Tobón. S (2018). Estudio de validez de contenido y confiabilidad de un instrumento para evaluar la metodología socioformativa en el diseño de cursos. Revista espacios, 39 24 Recuperado de: http://www.revistaespacios.com/cited2017/cited2017-24.html

Indicadores educativos (2020, 15 de septiembre), Indicadores Educativos qvw. Guanajuato, México. Recuperado de: http://indicadoreseducativos.seg.guanajuato.gob.mx/

López, M. S. F. (2017). Evaluación y aprendizaje. MarcoELE: Revista de Didáctica Español Lengua Extranjera, (24), 3.

Recuperado de: https://dialnet.unirioja.es/servlet/articulo?codigo=6145807

López, V. M., & Pérez, Á. (2017). Evaluación formativa y compartida en educación: experiencias de éxito en todas las etapas educativas. León: Universidad de León. Recuperado de: http://buleria.unileon.es/handle/10612/5999

Medina, P. & Deroncele, A. (2019) La evaluación formativa desde el rol del docente reflexivo. Maestro y Sociedad. Revista electrónica para maestros y profesores. Recuperado de: https://www.researchgate.net/publication/340771229

Mounkoro, I. & Hernández, N. (2018) Análisis conceptual de la evaluación socioformativa: características e implementación CISFOR 2018. Recuperado de: https://www.researchgate.net/publication/325795317

Montero, I., & León, O. G. (2007). Clasificación y descripción de las metodologías de investigación en Psicología, Vol. 7(3), 847-862. Recuperado de: https://www.researchgate.net/publication/26420207_Clasificacion_y_descripcion_de_las_metodologias_de_investigacion_en_Psicologia

Quero Virla, Milton (2010). Confiabilidad y coeficiente Alpha de Cronbach. Telos, 12 (2), 248-252. [Fecha de Consulta 30 de septiembre de 2020]. ISSN: 1317-0570. Recuperado de: https://www.redalyc.org/articulo.oa?id=993/99315569010

Reidl, L. M. (2013). Confiabilidad en la medición. Revista Investigación en Educación Médica, 2(6), 107-111 Recuperado de: http://www.scielo.org.mx/scielo.php?pid=S2007-50572013000200007&script=sci_abstract

Ravela, P. (2015). El uso de los resultados de las evaluaciones para mejorar los procesos de enseñanza. En M. Poggi, Mejorar los aprendizajes en la educación obligatoria. Políticas y Actores 69-112 IIPE UNESCO Buenos Aires. Recuperado de: https://scholar.google.com.mx/scholar?hl=es&lr=lang_es&as_sdt=0%2C5&q=Pedro+Ravela+2015&btnG=

Robles. F (2018) Índice de validez de contenido: Coeficiente V de Aiken. Revista Pueblo Continente Perú 29 (2) Recuperado de: http://200.62.226.189/PuebloContinente/article/view/991/914

Tobón, S. (2017). Evaluación socioformativa. Estrategias e instrumentos. Ed. Kresearch. Estados Unidos. Recuperado de:

https://www.researchgate.net/profile/Sergio_Tobon4/publication/327288807_Evaluacion_socioformativa_Estrategias_e_instrumentos/links/5c28d6dd458515a4c701f87e/Evaluacion-socioformativa-Estrategias-e-instrumentos.pdf

Tobón, S. (2016). Metodología de redacción de artículos científicos. Orlando (Estados Unidos): Kresearch.

Vaillant & Rodríguez (2018). Calidad de la Educación en Iberoamérica: Discursos, políticas y prácticas, Madrid Dykinson.

Recuperado de: http://www.dykinson.com

Vázquez. J, Tobón. S, Vázquez. J, Guzmán, C, Herrera. S (2018). Diseño y validez de contenido de una rúbrica socioformativa para evaluar la tesis de investigación en la Educación Normal. Revista espacios, 39 (53) 28 Recuperado de: http://www.revistaespacios.com/cited2017/cited2017-28.pdf

Villamarín, R. (2017) Indicadores de calidad de los instrumentos de evaluación y el rendimiento académico. Tesis (Doctor en Educación). Lima, Perú: Universidad Nacional Mayor de San Marcos, Facultad de Educación, Unidad de Posgrado, 2017. 232 h. Recuperado de: https://hdl.handle.net/20.500.12672/6636

Yepez, Á. E. J., Borja, L. M. M., & Tovar, G. L. C. (2017). La evaluación de los aprendizajes y su influencia en la calidad del proceso de enseñanza aprendizaje en el contexto universitario. Opuntia Brava, 9(1), 215-224.

Recuperado de: http://opuntiabrava.ult.edu.cu/index.php/opuntiabrava/article/view/134