R�brica socioformativa para evaluar en docentes nivel b�sico

�el grado de dominio de evaluaci�n educativa

Francisco Javier Conde-Rojas

Secretaria de Educaci�n de Guanajuato

Macrina Martina Arroyo

[email protected]

Secretar�a de Educaci�n de Guanajuato

Paula Flora Aniceto-Vargas

[email protected]

Escuela Superior de Ingenier�a Mec�nica y El�ctrica.

Unidad Culhuac�n del IPN

Centro Universitario CIFE

Cuernavaca, Morelos - M�xico

RESUMEN

El prop�sito del art�culo fue evaluar el grado de dominio de docentes de b�sica de las zonas 150 y 134 del constructo �evaluaci�n educativa�, elaborando un mapa mental, evaluado con una R�brica Anal�tica Socioformativa. Se realiz� un estudio instrumental, haciendo la investigaci�n documental sobre evaluaci�n educativa, se construy� la r�brica y pas� por juicio de 13 expertos en dos fases, para determinar la validez de contenido calculando la V de Aiken. Para el an�lisis de confiabilidad, se aplic� a un grupo piloto obteniendo una alta confiabilidad con valores del alfa de Cronbach superiores a 0.8. Finalmente se aplic� el instrumento a una poblaci�n objetivo teniendo como diagn�stico: 60% tienen los conocimientos para evaluar con enfoque socioformativo y el 40% muestran confusi�n y reducen la evaluaci�n a la aplicaci�n de un examen, identificando como necesidad, capacitaci�n a docentes que se traduzca en nuevas concepciones y formas de evaluar a los estudiantes.

Palabras clave: evaluaci�n educativa; juicio de expertos; r�brica; validez de contenido; socioformaci�n.

Socioformative Rubric to evaluate in teachers� basic level

the degree of mastery of educational evaluation

ABSTRACT

The purpose of the article was to evaluate the level of mastery of elementary school teachers in zones 150 and 134 of the construct �educational evaluation�, developing a mental map, evaluated with a Socioformative Analytical Rubric. An instrumental study was carried out, doing the documentary research on educational evaluation, the rubric was built and it passed through the judgment of 13 experts in two phases, to determine the content validity by calculating the V of Aiken. For the reliability analysis, it was applied to a pilot group, obtaining high reliability with Cronbach's alpha values higher than 0.8. Finally, the instrument was applied to a target population having as a diagnosis: 60% have the knowledge to evaluate with a socioformation approach and 40% show confusion and reduce the evaluation to the application of an exam, identifying as a need, teacher training that translates in new conceptions and ways of evaluating students.

Keywords: educational evaluation; expert judgment; rubric; content validity; socioformation.

Art�culo recibido:� 02 enero 2022

Aceptado para publicaci�n: 28 enero 2022

Correspondencia: [email protected]

Conflictos de Inter�s: Ninguna que declarar

1. INTRODUCCI�N

El tema de la evaluaci�n educativa ha dado origen a diversos estudios que abarcan una variedad de aspectos, posturas, teor�as y desaf�os para la implementaci�n de nuevas pol�ticas educativas; especialmente, cuando se busca contrarrestar pr�cticas pedag�gicas tradicionales y promover la evaluaci�n como oportunidad (Anijovich & Cappelletti, 2017). Si bien es cierto que, en las aulas, la evaluaci�n tiene un papel relevante, para los alumnos est� asociada, a la aplicaci�n de tareas y ex�menes; actividades que generalmente se caracterizan por orientar tareas espec�ficas que implican, memorizar y mecanizar o repetir (Ravela, 2015) y para los profesores, como se�ala Fern�ndez,� (2017) se trata en la mayor�a de los casos de una preocupaci�n que genera debate y muchas dudas, lo que les lleva a centrar la atenci�n a aspectos cuantitativos, a la verificaci�n de una o varias conductas esperadas a partir del abordaje de determinados contenidos de aprendizaje, previamente seleccionados. Desde esta perspectiva, el estudiante es un simple reproductor de lo que el profesor quiere que aprenda, por lo tanto, la evaluaci�n se reduce a que el alumno reproduzca lo aprendido. (Mounkoro & Hern�ndez, 2018).

La problem�tica que se atiende en este art�culo hace referencia a la complejidad que enfrentan la mayor�a de los docentes de las zonas escolares 150 y 134 de primarias federales ubicadas en los municipios de Le�n e Irapuato, en el estado de Guanajuato, para definir con claridad el concepto de �evaluaci�n educativa� y trasladar su aplicaci�n a las aulas en la evaluaci�n objetiva de los aprendizajes de los alumnos; lo que les lleva a limitarse a la aplicaci�n de pruebas escritas mon�tonas y descontextualizadas� para �medir� y calificar el desempe�o de los alumnos, proceso que limita al estudiante a reproducir lo memorizado de un texto previamente asignado (L�pez-Pastor & P�rez-Pueyo, 2017) y la evaluaci�n no solo se trata de acreditar conocimientos, sino tambi�n de promover la toma de conciencia de los estudiantes sobre su propio aprendizaje (Anijovich & Cappelletti, 2017).

Para lograr lo anterior, Villamar�n (2017) se�ala que la Evaluaci�n debe llevarse a cabo mediante procesos de autoevaluaci�n, coevaluaci�n y heteroevaluaci�n de forma natural, en el mismo ambiente de aprendizaje y sin perder de vista el objetivo que debe ser el de apuntalar las debilidades cognitivas del alumnado. Lo que implica que los docentes comprendan que la evaluaci�n es un proceso no lineal, que otorga a la propia situaci�n de aprendizaje, la oportunidad de obtener informaci�n que retroalimente al alumno con fines de mejora y al propio quehacer del docente (Medina� & Deroncele, 2019) y as� se generen nuevas pr�cticas educativas enfocadas al desarrollo y mejoramiento del talento de las y los alumnos para afrontar los retos de la sociedad del conocimiento, mediante el abordaje de problemas del contexto y la colaboraci�n (Tob�n, 2018).

La evaluaci�n es un proceso que no termina solo en la formaci�n, si no que va m�s all�, atendiendo al t�rmino de socioformaci�n que Tob�n (2017) clarifica de manera muy completa en un libro dedicado a la complejidad de este proceso. Hay que cambiar la evaluaci�n para conseguir, mediante su aplicaci�n correcta y educativa, mejorar la calidad del sistema e incorporar la equidad al mismo, logrando hacer llegar esa calidad a toda la poblaci�n, que es la que tenemos en las etapas obligatorias de ense�anza. Casanova (2020); Vaillant & Rodr�guez (2018) se�alan que entre los componentes b�sicos de la calidad figuran: calidad en el dise�o, calidad en los procesos y calidad de los resultados; Casass�s (1995) agrega en el tema de la calidad que sus tres pilares principales son: insumos, procesos y resultados; aspectos importantes en el proceso educativo y la b�squeda constante de la mejora escolar.

Ante estos planteamientos, en el presente estudio surge la propuesta de construcci�n y validaci�n de contenido y confiabilidad de una r�brica socioformativa que contempla aspectos centrales de una evaluaci�n con enfoque socioformativo que permite evaluar el nivel de dominio que tienen los docentes de nivel b�sico del constructo �evaluaci�n educativa�, mediante la elaboraci�n de un mapa mental; es importante se�alar que las r�bricas socioformativas son instrumentos de evaluaci�n que permiten determinar el nivel de logro o desempe�o en la resoluci�n de problemas del contexto, relacionando una serie de indicadores con descriptores de niveles de dominio (Tob�n, 2016). Se emplean a partir de evidencias y no se enfocan en evaluar la apropiaci�n de contenidos.

Despu�s de la revisi�n de la literatura existente sobre el tema se identifica que no existe una variedad de art�culos recientes que aborde la problem�tica de evaluaci�n educativa identificada en el nivel b�sico de educaci�n. Por ello la importancia de generar investigaci�n al respecto ya que la educaci�n b�sica es la plataforma que sustenta los niveles superiores de formaci�n y es en esta donde se atiende a la mayor�a de la poblaci�n estudiantil. (Indicadores educativos 2020).

Como prop�sito general del presente art�culo se plantea el siguiente: Evaluar con una r�brica Socioformativa el nivel de dominio que tienen los docentes de nivel b�sico del constructo �evaluaci�n educativa�, mediante la elaboraci�n de un mapa mental.

A partir de estas consideraciones, para este estudio se plantean las siguientes metas a cumplir: 1.- Construir una R�brica Socioformativa que cumpla con el prop�sito del estudio, 2.- Determinar la validez de contenido de la R�brica a trav�s del m�todo de juicio de expertos, valorando el nivel de pertinencia y redacci�n de cada uno de los �tems, 3.- Determinar el grado de confiabilidad de la r�brica mediante la aplicaci�n a un grupo piloto y 4.- Realizar un diagn�stico en la poblaci�n objetivo sobre el grado de aplicaci�n de la evaluaci�n educativa.

2. ESTRATEGIAS METODOL�GICAS O MATERIALES Y M�TODOS

2.1 Tipo de Estudio

Se realiz� un estudio instrumental Montero & Le�n (2007) se�alan que estos estudios se ubican dentro de aquellos orientados al desarrollo de pruebas y aparatos, incluyendo tanto el dise�o como la aplicaci�n de estos. El prop�sito del estudio fue demostrar la validez de contenido y confiabilidad del instrumento orientado para evaluar el nivel de dominio que tienen los docentes de nivel b�sico, del concepto �evaluaci�n educativa�, mediante la elaboraci�n de un mapa mental.

2.2 Participantes

En la etapa de revisi�n del instrumento participaron 3 expertos con experiencia en el tema de evaluaci�n. Para la etapa de validaci�n, el grupo de jueces estuvo conformado por 13 expertos, en su selecci�n se consider� que; a) contaran con grado de maestr�a o doctorado; b) a�os de experiencia como docentes investigadores; c) publicaciones en revistas cient�ficas. Ver tabla I, se especifican los datos.

Tabla I. Datos Sociodemogr�ficos de Jueces Expertos

Sexo	38% hombres 62% mujeres
Promedio de edad	52
Promedio de a�os de experiencia como docentes investigadores	13
Promedio de a�os de experiencia como docentes universitarios	19
Promedio de a�os de estudio	48
Promedio de cursos o diplomados de formaci�n continua que han recibido	26
Promedio de ponencias presentadas en congresos y eventos cient�ficos:	15
Promedio de art�culos publicados en toda su trayectoria profesional:	10
Zona de residencia	M�xico
Situaci�n laboral	�Docente universitario e investigador

Nota: Se aplico el cuestionario de Datos Sociodemogr�ficos CIFE 2017

Para la aplicaci�n de la r�brica al grupo piloto, se cont� con la participaci�n de 16 docentes de educaci�n b�sica, 8 del sexo masculino y 8 del sexo femenino, todos con nombramiento definitivo y un rango de experiencia de 1 a 30 a�os de servicio. Ver tabla II, en donde se se�alan los datos recabados.

Tabla II

Datos Sociodemogr�ficos de Grupo Piloto

Sexo	50% hombres 50% mujeres
Promedio de edad	40 a�os
Estado civil	9 casados, 3 solteros y 4 en otros
Promedio de a�os de estudio	29 a�os
Condiciones econ�micas	11 media-alta y 5 media-baja
Zona de residencia	Guanajuato, M�xico
Situaci�n laboral	�100% Asignaci�n definitiva a la plaza
Promedio de a�os de experiencia como docentes	15 a�os
Promedio de cursos o diplomados de formaci�n continua que han recibido	10
Instituci�n a la cual pertenecen	Secretar�a de Educaci�n P�blica
Lugar de residencia	Guanajuato, M�xico

Nota: Adaptado de cuestionario de Datos Sociodemogr�ficos CIFE 2017

En la aplicaci�n a la poblaci�n objetivo, se cont� con la participaci�n de 210 docentes de educaci�n b�sica, de los cuales 110 est�n adscritos a la zona 150 y 110 a la zona 134; la mayor�a son mujeres y el promedio de experiencia en la docencia es de 11 a�os, en la tabla III se se�alan el total de los datos recabados.

Tabla III Datos Sociodemogr�ficos de Poblaci�n Objetivo

Sexo	19.5% hombres 80.5% mujeres
Promedio de edad	�35 a�os
Estado civil	105 casados, 81 solteros y 24 en otros
Promedio de a�os de estudio	29 a�os
Condiciones econ�micas	56 media-alta, 145 media-baja y 9 en baja
Zona de residencia	Guanajuato, M�xico
Promedio de a�os de experiencia como docentes	�11 a�os
Preparaci�n profesional	77.5% Licenciatura, 20% Maestr�a y 2.5% Doctorado
Promedio de cursos o diplomados de formaci�n continua que han recibido	8 programas de formaci�n
Instituci�n a la cual pertenecen	Secretar�a de Educaci�n P�blica
Lugar de residencia	Guanajuato, M�xico

Nota: Adaptado de cuestionario de Datos Sociodemogr�ficos CIFE 2017

2.3 Instrumentos

Se dise�� como instrumento una R�brica anal�tica socioformativa (Tob�n, 2017), se compone por 9 �tems, indicadores o variables divididos en 3 dimensiones: 1. Estrategias para la gesti�n del conocimiento de evaluaci�n educativa, 2. Conocimiento de evaluaci�n educativa y 3. Metodolog�as de implementaci�n de evaluaci�n educativa para resolver el problema del contexto. Cada uno de los �tems o indicadores contienen descriptores de logro divididos en 5 niveles de desempe�o, organizado de menor a mayor y de izquierda a derecha: preformal, receptivo, resolutivo, aut�nomo y estrat�gico.

Se aplic� un cuestionario para recopilar los datos sociodemogr�ficos de la poblaci�n objetivo como sexo, edad, estado civil, a�os de estudio, condiciones econ�micas, lugar de residencia, experiencia docente, preparaci�n profesional y cursos o diplomados en los que han participado.

2.4 Procedimiento

Para el dise�o del instrumento se inici� con una investigaci�n documental a fin de identificar los instrumentos que hay sobre el tema y las posibles necesidades de estos para poder ser atendidas mediante esta r�brica. Durante este dise�o y validaci�n de contenido y confiabilidad del instrumento se organizaron las actividades en las cuatro etapas que a continuaci�n se describen:

Etapa 1. Construcci�n del instrumento

En esta etapa se dise�� la R�brica socioformativa, misma que se construy� teniendo en cuenta la taxonom�a socioformativa conformada por cinco niveles esenciales: Preformal, receptivo, resolutivo, aut�nomo y estrat�gico (Tob�n 2017).

Etapa 2.- Revisi�n del instrumento por expertos

Robles & Rojas (2015) destacan que todo instrumento debe reunir dos criterios: validez y confiabilidad, para que pueda ser utilizado con el fin con el que fue creado, por ello durante la segunda etapa se contact� a 5 expertos en el �rea de los cuales contestaron 3, se les explic� el instrumento y la relevancia de su papel en la revisi�n. Posteriormente se atendieron sus sugerencias y se hicieron las correcciones necesarias, a fin de mejorar la r�brica socioformativa dise�ada.

Etapa 3.- Validaci�n del instrumento por juicio de expertos

La tercera etapa estuvo enfocada a validar el contenido del instrumento mediante el juicio de expertos, este m�todo de validaci�n es cada vez m�s utilizado en la investigaci�n; consiste en solicitar a una serie de personas que tienen una trayectoria en el tema y son reconocidos por otros, la demanda de un juicio hacia un objeto, un instrumento, un material de ense�anza, o su opini�n respecto a un aspecto concreto (Cabero y Llorente, 2013). Considerando lo anterior se comparti� el documento para su an�lisis y valoraci�n a 30 expertos, de los cuales se obtuvo respuesta de 13, en la selecci�n de dichos expertos se consider� que contaran con estudios de maestr�a o doctorado, experiencia en investigaciones sobre evaluaci�n y publicaciones en revistas cient�ficas sobre el tema.

Los 13 jueces evaluaron la r�brica mediante una escala compuesta de dos categor�as: pertinencia y redacci�n, con una escala de 1 a 4, siendo 1 el nivel Muy Bajo; y el 4, el nivel Muy Alto. Posteriormente se emple� la t�cnica del coeficiente de validez de contenido de Aiken (V de Aiken) que permite cuantificar la validez de contenido o relevancia del �tem respecto a un contenido evaluado en N jueces (Tabla VI y VII). El coeficiente V de Aiken asume valores de 0 a 1, siendo el valor 1 la m�xima magnitud posible, que indica un perfecto acuerdo entre los jueces o expertos. Puede ser utilizado sobre las valoraciones de un conjunto de jueces con respecto a un �tem. Dichas valoraciones pueden ser dicot�mica (valores de 0, 1 o si, no) o polit�micas (valores de 0 a 5) (Robles, F. 2018 p.196).

Etapa 4: Aplicaci�n a un grupo piloto

El instrumento fue aplicado a un grupo piloto de 16 docentes en educaci�n b�sica con funciones frente a grupo, directivas y comisionados de escuelas primarias p�blicas, despu�s de intervenir al grupo a trav�s de la mediaci�n docente necesaria para que identificaran de forma clara las caracter�sticas y metas del instrumento dise�ado; se puso a prueba la R�brica socioformativa para evaluar el� grado de dominio: �Evaluaci�n educativa� en docentes de nivel b�sico, mediante un cuestionario en l�nea que marcaba los 9 �tems del instrumento y los 5 niveles de desempe�o de cada uno. Adem�s de anexar a dicho cuestionario una encuesta de satisfacci�n CIFE (2020) para valorar el grado de aceptabilidad del instrumento y su relevancia (Figura 1).

De acuerdo con Quero (2010) las caracter�sticas deseables en toda medici�n son la confiabilidad y la validez, el nivel de confiabilidad de los instrumentos requiere que las mismas calificaciones sean obtenidas por las mismas personas en diversas ocasiones o con diferentes conjuntos de reactivos diferentes (Reidl, 2013); para demostrar el grado de correlaci�n y homogeneidad del dise�o de instrumento, se utiliz� el coeficiente Alfa de Cronbach con el programa estad�stico SPSS de IBM a un grupo piloto. Se consideraron los par�metros marcados por Nunnali y Beistein (1994) donde mencionan que para investigaciones b�sicas los valores m�nimos de los coeficientes de confiabilidad de un Alpha de Cronbach son de 0.80.

Etapa 5: Aplicaci�n de la r�brica a la poblaci�n objetivo

Despu�s de la aplicaci�n al grupo piloto se realizaron mejoras sugeridas al instrumento dise�ado y posteriormente se aplic� a una muestra de la poblaci�n objetivo de docentes de educaci�n b�sica pertenecientes a la zona 134 de primarias de Irapuato y zona 150 de primarias de Le�n en el Estado de Guanajuato. A trav�s de una convocatoria formal se les indic� el objetivo de la r�brica socioformativa para evaluar el grado de dominio: �Evaluaci�n educativa� en docentes de nivel b�sico, as� como las instrucciones breves sobre el dise�o de su mapa mental, teniendo la participaci�n de 210 docentes frente a grupo. En esta aplicaci�n masiva se incluy� un estudio sociodemogr�fico y una encuesta de satisfacci�n (Tabla III).

2.5 An�lisis de la Informaci�n

En todo proceso de investigaci�n es importante contar con instrumentos que presenten adecuadas medidas de validez y confiabilidad. Para evaluar la validez de contenido se utiliz� el coeficiente V de Aiken, porque permite cuantificar la validez de contenido de un instrumento y se aplica como un m�todo l�gico de validez cuando se tiene la opini�n de expertos sobre la validez de un material evaluativo como en este caso; fue� f�cil el c�lculo y garantiz� resultados sustentados en t�cnicas estad�sticas que contribuyen a proporcionar calidad a los instrumentos de medida con fines de investigaci�n, pues determina objetivamente la validez de contenido del �tem. (Robles 2018).

Para medir la confiabilidad de consistencia interna del instrumento, es decir el grado en que las respuestas eran consistentes a trav�s de los �tems dentro de la medici�n se utiliz� el coeficiente Alfa de Cronbach que como lo se�ala Dom�nguez (2017) es el estimador de la confiabilidad de los puntajes que se usa con mayor frecuencia.�

2.6 Consideraciones �ticas

Considerando la necesidad de brindar seguridad a los participantes en la investigaci�n, fue incluido en el correo en que se les invit� a participar una precisa explicaci�n de la naturaleza, prop�sito, importancia de su colaboraci�n, tipo de instrumento, metas, tiempo y seguridad al garantizar la confidencialidad de sus datos personales y sociodemogr�ficos.

3. RESULTADOS Y DISCUSI�N

Se construy� la r�brica anal�tica socioformativa conformada por 12 �tems o indicadores, divididos en 3 dimensiones: 1. Estrategias para la gesti�n del conocimiento de evaluaci�n educativa, 2. Conocimiento de evaluaci�n educativa y 3. Metodolog�as de implementaci�n de evaluaci�n educativa para resolver el problema del contexto. Cada uno de los �tems o indicadores contienen descriptores de logro divididos en 5 niveles de desempe�o, organizado de menor a mayor y de izquierda a derecha: preformal, receptivo, resolutivo, aut�nomo y estrat�gico. Misma que se muestra en la tabla IV.

Tabla IV

R�brica anal�tica socioformativa para evaluar en docentes del nivel b�sico el grado de dominio de Evaluaci�n educativa

Dimensi�n	Criterios	Niveles de desempe�o
1.� Estrategias para la gesti�n del conocimiento de evaluaci�n educativa.	1.- �En qu� nivel el docente considera fuentes de informaci�n especializada y actual sobre evaluaci�n educativa?	Nivel preformal. El docente aborda informaci�n no especializada. Nivel receptivo. El docente presenta un listado de referencias bibliogr�ficas apoy�ndose exclusivamente en libros de m�s de 10 a�os de publicaci�n. Nivel resolutivo. El docente rescata fuentes de informaci�n acad�mica: libros de texto acad�micos, enciclopedias y Wikipedia. Nivel aut�nomo. El docente presenta citas principalmente de bibliograf�a de car�cter cient�fico y/o especializado. Nivel estrat�gico. El docente hace referencia a bibliograf�a menor a cinco a�os, cient�fica y/o especializada, as� como art�culos de revistas indexadas, u otros publicados en congresos nacionales o internacionales.
	2.- �En qu� nivel el docente organiza, analiza y aplica la informaci�n de las fuentes documentales consultadas para elaborar su mapa mental de evaluaci�n educativa?	Nivel preformal. El docente atiende en el mapa mental de evaluaci�n educativa una organizaci�n confusa. Nivel receptivo. El docente define en el mapa mental de evaluaci�n educativa una organizaci�n clara. Nivel resolutivo. El docente organiza en el mapa mental de evaluaci�n educativa los conceptos y aplica 1 de las fuentes consultadas. Nivel aut�nomo. El docente integra en el mapa mental de evaluaci�n educativa relaciones entre ideas, conceptos e im�genes sobre el tema, analizando las fuentes documentales encontradas. Nivel estrat�gico. El docente genera en el mapa mental sobre evaluaci�n educativa una estructura entre ideas, conceptos e im�genes, agregando nexos y palabras clave que permiten comprender esta organizaci�n y aplica la informaci�n recabada en fuentes documentales de alta confiabilidad.
	3.- �En qu� nivel el docente innova en la informaci�n sobre evaluaci�n educativa en el mapa mental?	Nivel preformal. El docente no atiende la informaci�n documental. Nivel receptivo. El docente recepciona las aportaciones de otros autores y las considera en la elaboraci�n de mapa mental de evaluaci�n educativa. Nivel resolutivo. El docente complementa al autor con ideas sobre evaluaci�n educativa en la elaboraci�n del mapa mental. Nivel aut�nomo. El docente genera formas de evaluar atendiendo los enfoques de los autores revisados durante la elaboraci�n del mapa mental de evaluaci�n educativa. Nivel estrat�gico. El docente innova al proponer una estrategia de evaluaci�n educativa para resolver un problema del contexto.

4.- �En qu� nivel el docente aplica las normas APA en el anexo de referencias bibliogr�ficas del mapa mental de evaluaci�n educativa?

Nivel preformal. El docente no atiende el anexo de referencias bibliogr�ficas en el mapa mental de evaluaci�n educativa elaborado.

Nivel receptivo. El docente registra en el anexo de referencias bibliogr�ficas del mapa mental de evaluaci�n educativa errores al no atender las normas APA.

Nivel resolutivo. El docente elabora un mapa mental de evaluaci�n educativa con el anexo de referencias bibliogr�ficas, es necesario actualizar el documento de normas APA utilizado.

Nivel aut�nomo. El docente integra al mapa mental un anexo de referencias bibliogr�ficas con las normas APA.

Nivel estrat�gico. El docente crea un anexo de referencias bibliogr�ficas del mapa mental de evaluaci�n educativa, no tiene errores en el uso de las normas APA sexta edici�n en ingl�s.

2.� Conocimiento de evaluaci�n educativa.

5.- �En qu� nivel el docente consigue recrear la noci�n de evaluaci�n educativa en un mapa mental con todos sus elementos: etimolog�a, desarrollo hist�rico, definici�n actual y evaluaci�n desde la socioformaci�n?

Nivel preformal. El docente aborda la noci�n de evaluaci�n educativa en el mapa mental, solamente presenta una definici�n de diccionario.

Nivel receptivo. El docente define el concepto de evaluaci�n educativa actual en un mapa mental.

Nivel resolutivo. El docente elabora un mapa mental en el que presenta el origen etimol�gico de la palabra evaluaci�n y una definici�n actual de evaluaci�n educativa.

Nivel aut�nomo. El docente integra en un mapa mental tres elementos de la noci�n de evaluaci�n educativa: etimolog�a de la palabra evaluaci�n, desarrollo hist�rico del concepto evaluaci�n educativa y definici�n actual de evaluaci�n educativa.

Nivel estrat�gico. El docente crea un mapa mental personalizado con la noci�n de evaluaci�n educativa integrando los siguientes elementos: etimolog�a de la palabra evaluaci�n, desarrollo hist�rico del concepto evaluaci�n educativa, definici�n actual de evaluaci�n educativa y la evaluaci�n educativa desde la socioformaci�n.

6.- �En qu� nivel el docente vincula las caracter�sticas de la evaluaci�n educativa con la socioformaci�n en el mapa mental elaborado?

Nivel preformal. El docente se�ala con alguna noci�n una de las siguientes caracter�sticas de evaluaci�n educativa desde la socioformaci�n en su mapa mental:� problema, producto, instrumentos, colaboraci�n, niveles de dominio y socializaci�n.

Nivel receptivo. El docente seleccion� de forma mec�nica dos de las siguientes caracter�sticas de la evaluaci�n educativa desde la socioformaci�n:� problema, producto, instrumentos, colaboraci�n, niveles de dominio y socializaci�n.

Nivel resolutivo. El docente categoriza tres de las siguientes caracter�sticas de la evaluaci�n educativa desde la socioformaci�n en el mapa mental:� problema, producto, instrumentos, colaboraci�n, niveles de dominio y socializaci�n.

Nivel aut�nomo. El docente integra cuatro de las siguientes caracter�sticas de evaluaci�n educativa desde la socioformaci�n en el mapa mental:� problema, producto, instrumentos, colaboraci�n, niveles de dominio y socializaci�n.

Nivel estrat�gico. El docente vincula con su contexto pr�ximo las caracter�sticas de la evaluaci�n educativa desde la socioformaci�n en un mapa mental: problema, producto, instrumentos, colaboraci�n, niveles de dominio y socializaci�n.

7.- �En qu� nivel el docente aborda en su mapa mental nuevas perspectivas de evaluaci�n educativa en la clasificaci�n de esta?

Nivel preformal. El docente no aborda la clasificaci�n de la evaluaci�n educativa en su mapa mental.

Nivel receptivo. El docente reproduce la clasificaci�n de evaluaci�n educativa presentada por el asesor en un mapa mental.

Nivel resolutivo. El docente cita en su mapa mental la clasificaci�n de evaluaci�n educativa, que se realiza a partir del agente que eval�a: autoevaluaci�n, coevaluaci�n y heteroevaluaci�n.

Nivel aut�nomo. El docente integra la clasificaci�n de evaluaci�n educativa en un mapa mental, a partir del agente que eval�a: auto evaluaci�n, coevaluaci�n y heteroevaluaci�n y del momento de evaluaci�n: diagn�stica, permanente, sumativa.

Nivel estrat�gico. El docente aborda en un mapa mental la clasificaci�n de evaluaci�n educativa desde nuevas perspectivas educativa aplicando estrategias creativas y de transversalidad desde la socioformaci�n.

3.� Metodolog�as de implementaci�n de evaluaci�n educativa para resolver el problema del contexto.

8.- �En qu� nivel el docente plantea y ejemplifica la importancia de considerar situaciones reales del contexto de los alumnos para evaluar desde el enfoque socioformativo en el mapa mental?

Nivel preformal. El docente no aborda ni ejemplifica la importancia de las situaciones reales del contexto para evaluar, en el mapa mental.

Nivel receptivo. El docente registra sin ejemplificar la importancia de partir de situaciones reales del contexto para evaluar, en el mapa mental.

Nivel resolutivo. El docente conceptualiza la importancia de las situaciones reales del contexto para evaluar. El ejemplo es poco claro y solo se identifica una de sus caracter�sticas ser realista.

Nivel aut�nomo. El docente comenta la importancia de considerar situaciones reales del contexto para evaluar y ejemplifica una situaci�n real del contexto cumpliendo solamente con dos de sus tres caracter�sticas: realista y desafiante, sin considerar el trabajo colaborativo en el mapa mental.

Nivel estrat�gico. El docente propone evaluar a partir de situaciones reales del contexto y ejemplifica mediante una situaci�n que cumple con las caracter�sticas de ser realista, desafiante para los alumnos y toma en cuenta el trabajo colaborativo.

9. �En qu� nivel el docente resalta la importancia de la retroalimentaci�n en el mapa mental de evaluaci�n educativa?

Nivel preformal. El docente no menciona la retroalimentaci�n como un punto clave de la evaluaci�n educativa en el mapa mental.

Nivel receptivo. El docente aborda la retroalimentaci�n solo como una devoluci�n de la calificaci�n o revisi�n del trabajo o tarea en el mapa mental.

Nivel resolutivo. El docente conceptualiza la retroalimentaci�n del alumno como un proceso secundario a la evaluaci�n educativa en el mapa mental.

Nivel aut�nomo. El docente explica que la retroalimentaci�n es un proceso primordial de la de evaluaci�n educativa en el mapa mental.

Nivel estrat�gico. El docente propone la retroalimentaci�n del alumno como elemento indispensable para que el alumno aprenda a aprender, ajuste su desempe�o y pueda seguir aprendiendo en colaboraci�n con otros, en el mapa mental.

Nota: Elaboraci�n propia.

Durante la revisi�n del instrumento por 3 expertos se realizaron cambios de redacci�n de los �tems, especialmente el 7 y 9 que fueron poco claros y en sus respectivos niveles de desempe�o, as� como en los verbos operativos de los �tems 2, 7, 9 y 13.

En la etapa de validaci�n de la r�brica Socioformativa a trav�s de juicio de 13 expertos, se obtuvieron los resultados cualitativos: �nfasis en la correcci�n de la redacci�n y la estructura de las preguntas especialmente en los verbos, en la tabla V se presenta una s�ntesis de las de mayor significancia.

Tabla V

Sugerencias de mejora de expertos

No. experto	Sugerencias	Observaciones
5	El mapa mental puede mencionar que es importante cubrir una serie de criterios para la evaluaci�n educativa pero la descripci�n var�a, por lo que considero no es tan pertinente la redacci�n del �tem.	Se atendi� sugerencia para mejora del instrumento
7	Sugiero cambiar la palabra empodera por resalta. El t�rmino empodera. Suena muy autoritario.	Se atendi� sugerencia para mejora del instrumento
9	No se especifica que el mapa fuera elaborado de manera colaborativa. Quitar este �tem.	Se atendi� sugerencia para mejora del instrumento.

Nota: Elaboraci�n propia

Considerando aspectos cuantitativos en esta primera validaci�n, en funci�n de la pertinencia de los �tems o indicadores, se tienen valores de la V de Aiken de 0.56 a 0.82, el �tem de menor valoraci�n fue el 3 con 0.56 �En qu� nivel el docente recrea la informaci�n en el mapa mental sobre evaluaci�n educativa para resolver el problema del contexto?, mismo que por sugerencia de la mayor�a de los jueces expertos, fue eliminado del instrumento. Y el de mayor valoraci�n fue el �tem 8 que result� con 0.82 �En qu� nivel el docente contextualiza las caracter�sticas de la evaluaci�n educativa desde el enfoque socioformativo en el mapa mental elaborado? El 75% de los jueces consider� que ten�a un alto grado de pertinencia (Ver la Tabla VI datos del proceso de validaci�n).

Tabla VI

Primera Validaci�n de la Pertinencia de los �tems del Instrumento

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9	ITEM 10	ITEM 11	ITEM 12
Promedio	3.15	3.46	2.69	2.69	2.69	2.85	2.92	3.46	2.85	3.08	3.15	3.08
V DE AIKEN	0.72	0.82	0.56	0.56	0.56	0.62	0.64	0.82	0.62	0.69	0.72	0.69

Nota: Elaboraci�n propia, resultados de validaci�n de pertinencia de los �tems por juicio de expertos a trav�s de formularios de Google, plantilla dise�ada por Centro Universitario CIFE

En cuanto a la redacci�n, el �tem que result� con menor valor de la V de Aiken (0.59), fue el �tem 1 �En qu� nivel el docente recrea la informaci�n en el mapa mental sobre evaluaci�n educativa para resolver el problema del contexto? El 50% de los encuestados consideraron con alto nivel el �tem 2 quien result� con un valor de la V de Aiken de 0.77 �En qu� nivel el docente organiza, analiza y aplica la informaci�n de fuentes documentales para elaborar su mapa mental de evaluaci�n educativa? Considerando estos resultados, se mejor� el instrumento y se hizo por segunda ocasi�n el proceso de validaci�n por juicio de expertos de la r�brica Socioformativa, se envi� a los mismos jueces expertos, como resultado de este �ltimo proceso, se redujeron los �tems a 9 (Ver tabla VII).

Tabla VII

Primera Validaci�n de la Redacci�n de los �tems del Instrumento

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9	ITEM 10	ITEM 11	ITEM 12
Promedio	2.77	3.31	2.85	2.77	3.15	2.92	3.08	3.23	3.08	2.85	3	3.15
V DE AIKEN	0.59	0.77	0.62	0.59	0.72	0.64	0.69	0.74	0.69	0.62	0.67	0.72

Nota: Elaboraci�n propia, resultados de validaci�n de redacci�n de los �tems por juicio de expertos a trav�s de formularios de Google, plantilla dise�ada por Centro Universitario CIFE

�

En la segunda validaci�n del instrumento por juicio de expertos, los resultados de la V de Aiken para la pertinencia se tienen valores entre 0.95 a 0.97, en cuanto a la validaci�n de la redacci�n de los �tems, los valores de la V de Aiken oscilan entre 0.90 a 0.97 (ver tablas VIII y IX).

Tabla VIII

Validaci�n de la Pertinencia de los �tems del Instrumento (segunda validaci�n por juicio de expertos)

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9
PROMEDIO	3.85	3.85	3.85	3.54	3.77	3.85	3.85	3.92	3.92
V DE AIKEN	0.95	0.95	0.95	0.85	0.92	0.95	0.95	0.97	0.97

Nota: Elaboraci�n propia, resultados de validaci�n de pertinencia (segunda validaci�n) de los �tems por juicio de expertos a trav�s de formularios de Google, plantilla dise�ada por CIFE

�

Tabla IX

Validaci�n de la Redacci�n de los �tems del Instrumento (segunda validaci�n por juicio de expertos)

13 jueces	ITEM 1	ITEM 2	ITEM 3	ITEM 4	ITEM 5	ITEM 6	ITEM 7	ITEM 8	ITEM 9
PROMEDIO	3.69	3.92	3.77	3.77	3.85	3.92	3.85	3.85	3.92
V DE AIKEN	0.90	0.97	0.92	0.92	0.95	0.97	0.95	0.95	0.97

Nota: Elaboraci�n propia, resultados de validaci�n de redacci�n (segunda validaci�n) de los �tems por juicio de expertos a trav�s de formularios de Google, plantilla dise�ada por CIFE

El an�lisis de consistencia interna mostr� una alta confiabilidad del instrumento (Alfa de Cronbach: 0.853) ver tabla X.

Tabla X

Resultado de Confiabilidad del Instrumento

Alfa de Cronbach	Alfa de Cronbach basada en elementos estandarizados	N de elementos
.820	.853	9

Nota: Elaboraci�n propia, c�lculo del Alfa de Cronbach con el programa de an�lisis estad�stico SPSS de IBM.

Es importante se�alar que la encuesta de satisfacci�n del instrumento arroj� los resultados que se observan en la figura 1.

Figura 1. Resultados de la encuesta de satisfacci�n del instrumento

Diagn�stico de la poblaci�n objetivo: Los resultados en la aplicaci�n de la r�brica Socioformativa a la poblaci�n objetivo, muestran que en el nivel estrat�gico se ubican mayor porcentaje de docentes en dos �tems: el 9 con 41.2% y el 2 con 31.8%; en el nivel aut�nomo se sit�an mayor porcentaje del total de docentes, que va de 53.6% en el �tem 7 a 27.5% en los �tems 5 y 8; en el nivel resolutivo se encuentran con mayor porcentaje de docentes el �tem 1 con 40.8% y el 6 con 33.7%. Hay un porcentaje de docentes que va del 0.5% al 22.3% ubicados en los niveles preformal y receptivo que deben ser atendidos mediante asesor�a y acompa�amiento para mejorar el dominio del tema y as� tener un mayor impacto en los aprendizajes de sus estudiantes, al implementar una evaluaci�n socioformativa. (Ver figura 2).

Figura 2. Diagn�stico de la Poblaci�n Objetivo

A fin de dar cuenta del instrumento terminado despu�s de pasar por cada una de las etapas mencionadas con anterioridad, se deja en este espacio el enlace en el que se puede consultar: https://docs.google.com/forms/d/e/1FAIpQLScdiz7UK9Pv03b71YmB96iTjAzFu9I7DncbFsrkfts2YumoKA/viewform?usp=sf_link.

4. CONCLUSI�N O CONSIDERACIONES FINALES

Concluido el proceso metodol�gico de investigaci�n y an�lisis se obtiene una r�brica socioformativa que re�ne las caracter�sticas necesarias se�aladas por Tob�n (2017) concreci�n,� redacci�n y� pertinencia para validar el grado de dominio que los docentes de educaci�n b�sica tienen en la aplicaci�n de la evaluaci�n educativa, considerando que se obtuvieron valores superiores a 0.8 en la V de Aiken y Alpha de Cronbach que autores como Aiken (1985) y Penfield & Giacobbi (2004), consideran como aceptables

Se concluye adem�s que como parte del diagn�stico se identifica que el 60% de los docentes cuentan con los niveles de desempe�o necesarios para aplicar una evaluaci�n formativa a sus estudiantes, entienden la evaluaci�n como un proceso permanente que permite ir regulando el proceso de ense�anza-aprendizaje, identificando las dificultades que se van presentando a los estudiantes en la resoluci�n de problemas planteados e intervenir oportunamente para ayudarles a superarlas (Dorantes & Tob�n 2017)

El 40% de los docentes reducen la evaluaci�n a medir, calificar mediante la aplicaci�n de ex�menes, por lo que es necesario desarrollar acciones de asesor�a, seguimiento y acompa�amiento a estos para que transiten a un paradigma de evaluaci�n acorde y congruente a las demandas de la sociedad del conocimiento, como lo se�ala Ju�rez y Tob�n (2019) el m�s adecuado es el que promueve el enfoque socioformativo, debido a que incorpora varios axiomas indispensables para ello, la inclusividad y el desarrollo sostenible; por tal motivo es prioritario implementar acciones formativas con los docentes que se traduzcan en nuevas concepciones y formas de evaluar a NNA, a partir de la identificaci�n del verdadero objetivo de la evaluaci�n socioformativa, que como lo se�alan Mounkoro y Hern�ndez (2018) radica en que es un proceso valorativo y formativo no solamente cuantitativo.

Se considera necesario continuar investigando sobre el tema para mejorar la calidad del instrumento y potencializar el enfoque que se pretende medir, aportando a la mejora de la labor docente, porque evaluar la evaluaci�n es una pr�ctica altamente formativa (Acerbi, G., Dubou�, A., M�ndez, E. y Tagliani, J. 2020)

5.� LISTA DE REFERENCIAS

Acerbi, G., Dubou�, A., M�ndez, E. & Tagliani, J. (2020). Creando evaluaci�n: La evaluaci�n formativa a trav�s de la elaboraci�n de productos audiovisuales como forma de promover el aprendizaje profundo en la formaci�n docente. Recuperado de: http://repositorio.cfe.edu.uy/handle/123456789/1209

Anijovich, R. & Cappelletti, G. (2017) La evaluaci�n como oportunidad. Praxis Educativa 21 (1) DOI: http://dx.doi.org/10.19137/praxiseducativa-2017-210108

Berlanga, R. M. & Ju�rez, H. L (2020) Paradigmas de evaluaci�n: del tradicional al socioformativos. Di�logos sobre educaci�n, 21 (11) DOI: https://doi.org/10.32870/dse.v0i21.646

Cabero, J. y Llorente, M. M. C. (2013), La aplicaci�n del juicio de experto como t�cnica de evaluaci�n de las tecnolog�as de la informaci�n (TIC). En Eduweb. Revista de Tecnolog�a de Informaci�n y Comunicaci�n en Educaci�n, 7 (2) pp.11-22. Recuperado de: http://tecnologiaedu.us.es/tecnoedu/images/stories/jca107.pdf

Cardoner, C. (2016). Una Noci�n de Evaluaci�n: La Evaluaci�n Formativa en el Marco de las Concepciones de Finlandia y la Ciudad de Buenos Aires. Revista Iberoamericana de Evaluaci�n Educativa, 9(1), 75-90. doi: 10.15366/riee216.9.1.005

Casanova, A (2020) Evaluaci�n formativa e inclusiva en l�nea �C�mo evaluar el aprendizaje ante los retos de la pandemia por el Covid 19? V Congreso Internacional de Evaluaci�n Socioformativa Valora 2020. CIFE Recuperado de: https://cife.edu.mx/recursos

Ceballos. J & Tob�n. S. (2019) Validez de una r�brica para medir competencias investigativas en pedagog�a desde la socioformaci�n. Revista cient�fica pedag�gica Atenas 1-17 Recuperado de: https://www.researchgate.net/profile/Juan_Almeraya/publication�

Dom�nguez, L. & Merino, S. (2017). Una modificaci�n del coeficiente alfa de Cronbach por errores correlacionados. Revista m�dica de Chile, 145(2), 270-271. https://dx.doi.org/10.4067/S0034-98872017000200018

Dorantes, J. & Tob�n, S, (2017). Revista electr�nica de la Red Durango de Investigadores Educativos 9-17. Recuperado de: https://dialnet.unirioja.es/servlet/articulo?codigo=6560025

Escobar. J (2008) Validez de contenido y juicio de expertos: una aproximaci�n a su utilizaci�n. Universidad El Bosque, Colombia Avances en medici�n 2008 Recuperado de: https://www.researchgate.net/profile/Jazmine_Escobar-Perez/publication/ 302438451

Fern�ndez, S. (2017) Evaluaci�n y aprendizaje. Marco ELE. Revista de Did�ctica Espa�ol Lengua Extranjera. 24 recuperado de: https://marcoele.com/descargas/24/fernandez-evaluacion_aprendizaje.pdf

Hern�ndez-Mosqueda, J. S., Tob�n-Tob�n, S., & Guerrero-Rosas, G. (2016). Hacia una evaluaci�n integral del desempe�o: las r�bricas socioformativas. Ra Ximhai, 12(6). Recuperado de: https://www.redalyc.org/articulo.oa?id=46148194025

Ibarra. S, Segredo. S, Ju�rez. L & Tob�n. S (2018). Estudio de validez de contenido y confiabilidad de un instrumento para evaluar la metodolog�a socioformativa en el dise�o de cursos. Revista espacios, 39 24�� Recuperado de:� http://www.revistaespacios.com/cited2017/cited2017-24.html

Indicadores educativos (2020, 15 de septiembre), Indicadores Educativos qvw. Guanajuato, M�xico. Recuperado de: http://indicadoreseducativos.seg.guanajuato.gob.mx/

L�pez, M. S. F. (2017). Evaluaci�n y aprendizaje. MarcoELE: Revista de Did�ctica Espa�ol Lengua Extranjera, (24), 3.

�� Recuperado de: https://dialnet.unirioja.es/servlet/articulo?codigo=6145807

L�pez, V. M., & P�rez, �. (2017). Evaluaci�n formativa y compartida en educaci�n: experiencias de �xito en todas las etapas educativas. Le�n: Universidad de Le�n. Recuperado de: http://buleria.unileon.es/handle/10612/5999

Medina, P. & Deroncele, A. (2019) La evaluaci�n formativa desde el rol del docente reflexivo. Maestro y Sociedad. Revista electr�nica para maestros y profesores. Recuperado de: https://www.researchgate.net/publication/340771229

Mounkoro, I. & Hern�ndez, N. (2018) An�lisis conceptual de la evaluaci�n socioformativa: caracter�sticas e implementaci�n CISFOR 2018. Recuperado de: https://www.researchgate.net/publication/325795317

Montero, I., & Le�n, O. G. (2007). Clasificaci�n y descripci�n de las metodolog�as de investigaci�n en Psicolog�a, Vol. 7(3), 847-862. Recuperado de: https://www.researchgate.net/publication/26420207_Clasificacion_y_descripcion_de_las_metodologias_de_investigacion_en_Psicologia

Quero Virla, Milton (2010). Confiabilidad y coeficiente Alpha de Cronbach. Telos, 12 (2), 248-252. [Fecha de Consulta 30 de septiembre de 2020]. ISSN: 1317-0570. Recuperado de: https://www.redalyc.org/articulo.oa?id=993/99315569010

Reidl, L. M. (2013). Confiabilidad en la medici�n. Revista Investigaci�n en Educaci�n M�dica, 2(6), 107-111 Recuperado de: http://www.scielo.org.mx/scielo.php?pid=S2007-50572013000200007&script=sci_abstract

Ravela, P. (2015). El uso de los resultados de las evaluaciones para mejorar los procesos de ense�anza. En M. Poggi, Mejorar los aprendizajes en la educaci�n obligatoria. Pol�ticas y Actores 69-112 IIPE UNESCO Buenos Aires. Recuperado de: https://scholar.google.com.mx/scholar?hl=es&lr=lang_es&as_sdt=0%2C5&q=Pedro+Ravela+2015&btnG=

Robles. F (2018) �ndice de validez de contenido: Coeficiente V de Aiken. Revista Pueblo Continente Per� 29 (2) Recuperado de: http://200.62.226.189/PuebloContinente/article/view/991/914

Tob�n, S. (2017). Evaluaci�n socioformativa. Estrategias e instrumentos. Ed. Kresearch. Estados Unidos. Recuperado de:

https://www.researchgate.net/profile/Sergio_Tobon4/publication/327288807_Evaluacion_socioformativa_Estrategias_e_instrumentos/links/5c28d6dd458515a4c701f87e/Evaluacion-socioformativa-Estrategias-e-instrumentos.pdf

Tob�n, S. (2016). Metodolog�a de redacci�n de art�culos cient�ficos. Orlando (Estados Unidos): Kresearch.

Vaillant & Rodr�guez (2018). Calidad de la Educaci�n en Iberoam�rica: Discursos, pol�ticas y pr�cticas, Madrid Dykinson.��

�� Recuperado de: http://www.dykinson.com

V�zquez. J, Tob�n. S, V�zquez. J, Guzm�n, C, Herrera. S (2018). Dise�o y validez de contenido de una r�brica socioformativa para evaluar la tesis de investigaci�n en la Educaci�n Normal. Revista espacios, 39 (53) 28 Recuperado de:� http://www.revistaespacios.com/cited2017/cited2017-28.pdf

Villamar�n, R. (2017) Indicadores de calidad de los instrumentos de evaluaci�n y el rendimiento acad�mico. Tesis (Doctor en Educaci�n). Lima, Per�: Universidad Nacional Mayor de San Marcos, Facultad de Educaci�n, Unidad de Posgrado, 2017. 232 h. Recuperado de: https://hdl.handle.net/20.500.12672/6636

Yepez, �. E. J., Borja, L. M. M., & Tovar, G. L. C. (2017). La evaluaci�n de los aprendizajes y su influencia en la calidad del proceso de ense�anza aprendizaje en el contexto universitario. Opuntia Brava, 9(1), 215-224.

�� Recuperado de: http://opuntiabrava.ult.edu.cu/index.php/opuntiabrava/article/view/134