DOI: https://doi.org/10.37811/cl_rcm.v8i2.10313
Evaluación de Confiabilidad y Validez del Cuestionario que Mide el Nivel de Satisfacción: Hacia un Modelo Predictivo Efectivo
|
Aura del Cisne Guerrero Luzuriaga[1] https://orcid.org/0000-0003-0734-7691 Universidad Internacional Iberoamericana - UNINI Universidad Católica de Cuenca - UCACUE México / Ecuador
|
Claudia García Ancira https://orcid.org/0000-0002-4669-0911 Universidad Autónoma de Nuevo León México
|
RESUMEN
Palabras clave: cuestionario, evaluación, confiabilidad, validez, multivariante
Reliability and Validity Assessment of the Satisfaction Questionnaire: Towards an Effective Peffective Predictive Model
ABSTRACT
The purpose of this paper is to describe the process of evaluating the reliability and validity of the questionnaire developed to record information on the level of satisfaction of the agents involved in the processes that include the convening, development and implementation of research projects. The detailed description of this process allows to offer the academic community an instrument to carry out further validations by fully complying with the steps that include: expert evaluation, construct evaluation, reliability and validity evaluation by applying multivariate statistical techniques. Applying a duly elaborated and validated instrument will allow researchers to carry out studies that contribute to improve the quality of research, carry out meta-analysis, among other inputs that will contribute to provide effective solutions to real problems in search of a sustainable and sustainable social transformation.
Keywords: questionnaire, evaluation, reliability, validity, multivariate
Artículo recibido 25 enero 2024
Aceptado para publicación: 26 febrero 2024
INTRODUCCIÓN
En el ámbito de la investigación científica, la medición de la satisfacción de todos los actores involucrados - investigadores, ejecutores y la población beneficiaria directa - emerge como un indicador crítico para el éxito y la calidad del proceso investigativo. La importancia de esta investigación se centra en evaluar y comprender la satisfacción de estos grupos, reconociendo que cada uno aporta una perspectiva única y valiosa al desarrollo y ejecución del proyecto.
En este sentido, se descata que los investigadores son el núcleo del proceso de investigación. Su satisfacción está intrínsecamente relacionada con la calidad de su trabajo, su motivación y su compromiso con el proyecto. Una alta satisfacción entre la universidad que convoca a proyectos y la motivación de los investigadores puede conducir a una mayor dedicación, lo que a su vez mejora la calidad de la investigación. Por otro lado, la insatisfacción puede resultar en una menor productividad y posiblemente en la calidad deficiente del trabajo científico (Castillo-Sierra et al., 2018).
Ahora bien, los ejecutores o responsables de ejecutar los proyectos de investigación, que a menudo incluyen a asistentes de investigación, personal técnico y administrativo, juegan un papel crucial en la implementación efectiva del proyecto. Su satisfacción puede influir directamente en la eficiencia del proceso de investigación. Una gestión eficaz y una comunicación efectiva que resulten en una alta satisfacción de este grupo pueden conducir a una ejecución más fluida y a tiempo de las diferentes fases del proyecto (Shariati & Yazdani Chamzini, 2014).
La población beneficiaria directa, ya sea participantes en un estudio, comunidades objetivo o incluso la sociedad en general, es un indicador crucial de éxito. Su nivel de satisfacción puede afectar la percepción pública de la investigación y su aceptación. Una alta satisfacción de este grupo puede facilitar la implementación de los hallazgos de la investigación, lo que contribuye a un mayor impacto social y científico (Willie, 2023).
Medir y optimizar la satisfacción en todos estos niveles no solo mejora el ambiente y la moral de los involucrados sino que también asegura una mayor calidad en cada etapa del proyecto de investigación. Desde la formulación de hipótesis hasta la recopilación y análisis de datos, y finalmente, la publicación y aplicación de los resultados, un alto nivel de satisfacción puede mejorar significativamente la calidad y la relevancia de la investigación. Además, puede fomentar la colaboración, la innovación y el pensamiento crítico, elementos fundamentales para el avance científico. Finalmente, para cerrar el apartado de la introducción se mencionarán las hipótesis (si las hubiera), y el o los objetivos que marcarán el propósito del estudio (Dioses Lescano et al., 2021).
En el campo de la investigación social y organizacional, los cuestionarios de satisfacción han emergido como herramientas esenciales para evaluar diversas experiencias humanas, desde la satisfacción laboral hasta la calidad de los servicios prestados. Este ensayo explora estudios previos sobre cuestionarios de satisfacción, destacando su relevancia y aplicación en diferentes contextos. A través de un análisis de literatura existente, se busca comprender la evolución de estos instrumentos y su impacto en la investigación y la práctica.
Los cuestionarios de satisfacción no son un concepto nuevo. Desde la década de 1950, investigadores y organizaciones han utilizado estos instrumentos para medir aspectos como la satisfacción laboral y la satisfacción del cliente (Smith, 1969). A lo largo de los años, la evolución de estos cuestionarios ha estado marcada por un enfoque creciente en la precisión y la validez de las mediciones.
Los estudios de Locke (1976) y Herzberg (1959) fueron pioneros en el uso de cuestionarios de satisfacción para evaluar la motivación y la satisfacción laboral. Sus hallazgos han influenciado significativamente las prácticas de gestión de recursos humanos. En contextos de servicios, como la hotelería y la atención médica, los cuestionarios de satisfacción han sido fundamentales para mejorar la calidad del servicio y la experiencia del cliente (Anderson et al., 1994).
La metodología en el diseño de cuestionarios de satisfacción ha sido un área de intensa investigación. La validez y la fiabilidad de estos instrumentos son cruciales para garantizar que los datos recopilados sean precisos y útiles (Cronbach, 1951). Los estudios han mostrado que un diseño cuidadoso, que incluya preguntas claras y relevantes, es esencial para obtener resultados confiables (Trevisan, 1991).
En la era digital, los cuestionarios de satisfacción han encontrado nuevas formas de aplicación, especialmente en línea. Estudios recientes han explorado la eficacia de los cuestionarios digitales y los desafíos asociados con ellos, como la tasa de respuesta y la representatividad de la muestra (COUPER, 2000).
La validación de cuestionarios es un proceso esencial en la investigación científica y social, asegurando que los instrumentos de medición sean precisos y confiables. La validación de un cuestionario es un proceso crítico que determina su credibilidad y aplicabilidad. Un cuestionario validado correctamente garantiza que las mediciones obtenidas reflejen con precisión lo que pretenden medir (Classics in the History of Psychology -- Cronbach & Meehl (1955), n.d.). Esta precisión es fundamental para la integridad de los resultados de la investigación y sus conclusiones.
Para establecer la validez de un cuestionario se lo puede realizar de tres formas:
Validez de Contenido: se refiere a la medida en que un cuestionario representa adecuadamente el dominio del constructo que se pretende medir. Esta forma de validez se evalúa generalmente mediante la revisión de expertos en el tema, quienes aseguran que los ítems del cuestionario cubran todas las áreas relevantes del constructo (Treviño & Treviño, 2021), (Haynes et al., 1995).
Validez de Constructo: evalúa si un cuestionario mide realmente el constructo teórico que pretende medir. Esta técnica implica examinar las relaciones teóricas entre el constructo y otros conceptos establecidos. Por ejemplo, el análisis factorial es una técnica común utilizada para evaluar la validez de constructo, explorando la estructura subyacente de los ítems del cuestionario (Campbell & Fiske, 1959).
Validez de Criterio: se refiere a la capacidad de un cuestionario para predecir o correlacionarse con un criterio externo. Se divide en validez concurrente y predictiva. La validez concurrente se establece cuando las medidas del cuestionario se correlacionan bien con medidas de criterio tomadas simultáneamente. La validez predictiva, por otro lado, se refiere a la capacidad del cuestionario para predecir algo en el futuro (Classics in the History of Psychology -- Cronbach & Meehl (1955), n.d.), (Treviño & Treviño, 2021).
El presente artículo tiene como objetivo describir cómo se evaluará la confiabilidad y validez del cuestionario que se realizó para medir el nivel de satisfacción de los agentes involucrados en los proyectos de investigación y su implementación de la Universidad Católica de Cuenca. Dicho instrumento debió someterse a estos criterios para que el resultado sea el insumo valioso que aportó con los datos al modelo que medirá dicho nivel de satisfacción.
METODOLOGÍA
La forma en la cual se planteó el procedimiento para el desarrollo de esta investigación, llevó las siguientes etapas:
Diseño del Cuestionario: El cuestionario debía cumplir con requisitos que se contemplan en los diferentes indicadores que miden el nivel de satisfacción, para ello se realizó una búsqueda bibliográfica de aquellos índices que reflejen efectividad en sus mediciones, estos deben cumplir con el objetio de investigación, considerar los siguientes aspectos: la idea que se tenga del proceso de convocatoria a presentar proyectos de investigación, las expectativas proceso de presentación e implementación, la calidad en el proceso, supersepción, valoración de externalidades, valoración de compromisos, quejas, satisfacción en la implementación, percepción de impacto y comunicación y transferencia de información; todos estos insumos estuvieron presentes en las siguientes mediciones: Barómetro Sueco de la Satisfacción del Cliente – SCSB y American Customer Satisfaction Index (ACSI) (Fornell y Cabello) . Una vez establecidas las dimensiones, se procedió a trabajar en la elaboración de las preguntas basadas en constructos que permitan obtener datos confiablesy válidos. Para elaborar el cuestionario, se dividió en trece secciones, las cuales a su vez se subdividieron y conformaron un total de 132 ítems y cinco dimensiones que fueron evaluadas.
Población y Muestra: la población establecida para esta investigación son todos los proyectos presentados, aprobados e implementados en el año 2018, esto incluye a los directores de proyecto, profesores investigadores, responsables de la implementación y población beneficiaria, está última estubo conformada por sus representantes o voceros y se aplico.
Procedimiento de Recolección de Datos: El cuestionario se lo aplicó en dos fases, la primera en fase de pilotaje aplicada durante el mes de febrero de 2021 y la segunda ya como recolección de datos en sí se aplicó en los meses de octubre, noviembre y diciembre del 2021. Dicha recolección se efectuó de dos maneras: la primera, digital a través de correos electrónicos a los grupos de directores de proyecto, investigadores y responsables de la implementación del proyecto. La segunda de manerá física, aplicando la encuesta a cada uno de los representates o voceros que la población beneficiaria eligieron para ser el contacto que brinde la información.
Análisis Estadístico: Para evaluarla confiabilidad del cuestionario sugerido para la investigación se procedió a trabajar con el siguiente diagrama de flujo:
Figura 1: Flujo del proceso para evaluar la confiabilidad del cuestionario
La segunda fase de esta evaluación será la de validez, por tanto, se presenta el proceso que se siguió para su evaluación:
Figura 2: Fase para la evaluación de validez del cuestionario
RESULTADOS Y DISCUSIÓN
La presente estudio es el resultado del trabajo de investigación para obtener el título de Doctora en Proyectos, para ello se propuso como tema de tesis trabajar en un “Modelo de gestión predictivo para evaluar la satisfacción del impacto de los agentes involucrados en los proyectos científico-técnico-social”. En el campo de la Ciencia de Datos, los modelos predictivos juegan un papel crucial en la calidad y la efectividad de la investigación. Estos modelos son herramientas estadísticas y matemáticas que utilizan datos históricos para predecir resultados futuros, en este sentido, los datos empleados para su cálculo fueron tomados en dos momentos: el primero, como parte del pilotaje que determinó el nivel de confianza que se tiene del instrumento de recolección de datos, tema que atañe a ese escrito; y el segundo, la recolección de los datos para el modelo en sí.
El diseño y estructura de la encuesta se basó en la fusión de los aportes de autores como: Arroyo y Buenaño (2017), Fornell (1992, 2016), Rodriguez et al. (2011) sugieren variables que luego de analizarlas y proyectarlas en el contexto del objeto de estudio, se elijieron las siguientes (Fornell, 1992):
1. Imagen del proyecto: es la sección donde se registrará de la percepción que tienen los investigadores de la información sobre todo lo relacionado con el planteamiendo e implementación de los proyectos de investigación.
2. Expectativas del proyecto: es la perspectiva que tienen del trabajo a iniciar desde el enfoque de los investigadores/directores, los coordinadores/responsables de la implementación del proyecto y la población que se beneficiaría de su implementación.
3. Calidad de la gestión: esta variable es la que registrará la percepción que tienen los investigadores y los encargados de implementar el proyecto de investigación sobre cómo se llevan los procesos de gestión en la Universidad en relación a su manejo administrativo/financiero.
4. Valoración de externaidades: enesta sección se registrará la apreciación que tienen los investigadores y los responsables de implementar proyectos desde el punto de vista laboral, es decir, valoran el costo/beneficio que representa participar en proyectos, no solo académicamente, sino también, profesionalmente.
5. Satisfacción de los agentes participantes: se reistrará el concepto que tienen todos los involucrados en el proyecto de su satisfacción por los resultados, trabajo y beneficios alcanzados antes, durante y después de la implementación del proyecto.
Estas cinco variables y sus dimensiones permitieron registrar los datos que representan las vivencias de los agentes participantes en los proyectos con miras hacia medirlas y relacionarlas, con el único fin de: realizar una mejora continua en los procesos de convocatoria, desarrollo e implementación de proyectos de investigación académicos.
Preparación de la encuesta
En esta fase se inicia el trabajo con la base de incliur estas cinco variables como secciones del cuestionario. Es importante destacar que, dentro del cuestionario existen otras secciones que complementan el cuestionario con fines de investigar otros aspectos importantes dentro de la gestión de proyectos de investigación en sí.
Las secciónes que conforman el cuestionario se encuentran agrupadas en tres partes las cuales serán objeto de estudio en momentos diferentes. El primer momento de este estudio es la medición de la satisfacción de los agentes participantes en los proyectos de investigación académico científicos, como se muestra en la figura 3.
Figura 3: Secciones del cuestionario
Nota: El cuestionario está dividido en tres partes que son: Generalidades, medición del impacto y medición de la satisfacción, la finalidad de esta división es delimitar cada investigación, resultado de la recolección de datos de este instrumento.
Con las secciones claramente establecidas, se procedió a plantear los items que forman parte del instrumento, cada uno de los elementos sugeridos deben cumplir con los criterios que se sugieren en la rúbrica que se elaboró para evaluar: la estructura, la redacción y claridad de los items; la relevancia de los temas, los elementos reflejan estádares de medición; muestra la pertinencia de la escalas de respuestas y su consistencia.
Con la finalidad de evaluar los items con los criterios descritos anteriormente, se seleccionó a 9 profesionales cuyos perfiles acreditan el conocimiento en las áreas: metodológica y de mercadeo. Para dicha selección se propuso una serie de requisitos que deben cumplir los investigadores – colaboradores para que tengan la experticia necesaria para evaluar el instrumento. Para esta selección se aplicó la siguiente tabla de criterios, cuyos pesos se asignaron de acuerdo a su trasendencia e impacto dentro del quehacer investigativo.
Tabla 1: Criterios considerados para selección de perfiles evaluadores del instrumento.
|
Criterio |
Peso |
|
||
|
Baja |
Media |
Alta |
||
|
Formación doctoral |
0,3 |
0,5 |
0,7 |
|
|
Experiencia en la docencia |
0,3 |
0,5 |
0,7 |
|
|
Experiencia implementando proyectos |
0,3 |
0,5 |
0,7 |
|
|
Al menos haber publicado 3 artículos en áreas de metodología / mercadeo |
0,5 |
0,7 |
0,9 |
|
|
Experiencia como investigador/a de al menos dos proyectos |
0,5 |
0,7 |
0,9 |
|
|
Experiencia como evaluador / desarrollador de cuestionarios al menos dos instrumentos validados |
0,5 |
0,7 |
0,9 |
|
Con los perfiles seleccionados se procedió a aplicar la rúbrica que evalua los items del cuestionario, mostrando los resultados siguientes:
Tabla 2: Resultado de la rúbrica de evaluación al cuestionario.
|
Expertos |
Estructura de ítems |
Redacción y claridad |
Relevancia de los temas |
Adecuación de la medición |
Pertinencia de la escala de respuestas |
Consistencia |
|
1 |
4 |
4 |
3 |
4 |
4 |
4 |
|
2 |
4 |
3 |
3 |
4 |
4 |
4 |
|
3 |
4 |
4 |
3 |
4 |
4 |
4 |
|
4 |
4 |
4 |
3 |
4 |
4 |
3 |
|
5 |
4 |
3 |
4 |
4 |
4 |
4 |
|
6 |
4 |
3 |
4 |
4 |
4 |
3 |
|
7 |
4 |
4 |
4 |
4 |
4 |
4 |
|
8 |
4 |
4 |
4 |
4 |
4 |
4 |
|
9 |
4 |
4 |
4 |
4 |
4 |
3 |
Nota: La escala que se utilizó para evaluar es la siguiente: Insuficiente (1), Aceptable (2), Bueno (3) y Excelente (4).
Ahora bien, los resultados que se obtuvieron en esta evaluación fueron muy alentadores, ya que los expertos opinan que la estructura de los ítems, su redacción y claridad, así como la relevancia de los temas es excelenta. Se destaca que es adecuada la medición en aquellos indicadores destinados para este fin. De igual manera, la pertinencia de la escala en las respuestas de las dimensiones y su consistencia son idóneas para registrar la apreciasión de los individuos sujetos de estudio.
Con estos resultados se procede a la aplicación de la ecuesta piloto al 40% de la población en sus diferentes grupos, respectivamente. Para la recolección de los datos se transcribió la encuesta a Google Forms, por su versatilidad y acceso. Con los datos obtenidos se realiza un análisis inicial para verificar su distribución, para ello calculamos la entropía de ciertas varibles, obteniendo los siguientes resultados:
La entropía de una variable es una medida de la incertidumbre o variabilidad en sus valores. En el contexto de las variables categóricas, la entropía puede indicar cuán uniformemente distribuidas están las categorías dentro de una variable. Una entropía más alta sugiere una distribución más uniforme de las categorías, lo que implica una mayor incertidumbre o variabilidad en los datos. Por el contrario, una entropía más baja indica una distribución menos uniforme, con algunas categorías dominando sobre otras, lo que reduce la incertidumbre o variabilidad.
Para calcular la entropía, aplicaremos la siguiente fórmula:
Ecuación 1: fórmula para calcular la entropía.
Nota: La fórmula de la entropía mencionada la propuso Claude E. Shannon en su trabajo fundamental sobre la teoría de la información. La fórmula es un elemento central de su teoría, que fue introducida en su artículo seminal "A Mathematical Theory of Communication", publicado en 1948. Shannon desarrolló esta fórmula para cuantificar la cantidad de incertidumbre o información contenida en un conjunto de mensajes o distribución de probabilidades.
Los resultados obtenidos del cálculo sugerido son los siguientes:
§ p27 (Fuente de información): La entropía es de aproximadamente 1.56, lo que sugiere una distribución relativamente variada de las respuestas en esta categoría.
§ p30_1 (Razones para el apoyo estatal): Con una entropía de aproximadamente 2.73, esta variable muestra una alta variabilidad en las respuestas, indicando una distribución bastante uniforme entre las distintas razones seleccionadas por los encuestados.
§ p31 (Facilidad de proceso): La entropía es de aproximadamente 1.97, lo que indica una variabilidad moderada en cómo los encuestados perciben la facilidad del proceso.
§ p32 (Impacto percibido): Con una entropía cercana a 0.99, muestra una menor variabilidad en las respuestas, sugiriendo cierta concentración en categorías específicas de impacto.
§ p94 (Respuesta binaria): La entropía cercana a 0.99 para esta variable binaria (sí/no) indica una distribución relativamente equilibrada de las respuestas, aunque está cerca del máximo teórico para una variable binaria, que es 1.
Para las variables transformadas y consideradas cuantitativas o ordinales para este análisis:
§ p28 y p29 (Claridad en %): Las entropías son de aproximadamente 1.73 y 1.55, respectivamente, lo que indica una variabilidad moderada en la percepción de claridad.
§ p51 (Amabilidad codificada): Con una entropía de aproximadamente 1.51, esta variable muestra una variabilidad moderada en las percepciones de amabilidad.
§ p52 (Agrado codificado): La entropía más baja, de aproximadamente 0.59, sugiere una menor variabilidad o una mayor concentración en ciertas categorías de agrado.
Estos resultados proporcionan una visión de la variabilidad y la incertidumbre en las respuestas de las variables analizadas. Variables con alta entropía, como p30_1, indican una amplia gama de respuestas sin una dominante clara, mientras que variables con baja entropía, como p52, sugieren una tendencia o preferencia más clara entre las opciones de respuesta. La interpretación de estos resultados puede ayudar a identificar áreas donde las percepciones de los encuestados varían ampliamente y donde hay consenso o tendencias más claras.
Por lo expuesto, se puede concluir estadísicamente que: el cuestionario permite medir las variables sugeridas para el estudio y que, las escalas utilizadas son adecuadas para valorar las dimensiones. Una vez validado el cuestionario, se procedió a la evaluación de la confiabilidad, para ello se revisó la consistencia interna, calculando el coeficiente Alfa de Cronbach por secciones, obteniendo los siguientes resultados:
Tabla 3: Cálculo del Alfa de Cronbach por sección
|
Imagen |
||
|
Dimensiones/Indicadores |
Alfa de Cronbach |
Análisis |
|
p27.Medio_comunicacion_aprobacion_implementacion |
0,918 |
|
|
p28.Claridad_informacion_sobre_obligaciones_compromisos |
||
|
p29.Claridad_informacion_procesos_seguimiento_control |
||
|
p30.Relacion_prog_proy_beneficio_1 |
||
|
Expectativas |
|
|||
|
p31.Expectativa_cumplimiento_generacion_conocimiento_productos |
0,99995 |
Este resultado indica una consistencia interna excepcionalmente alta entre estas variables, lo que sugiere que son altamente fiables para medir el constructo subyacente que pretenden evaluar. |
|
|
|
p32.Expectativa_mejoras_desarrollo_laboral |
|
|||
|
p33.Expectativa_beneficios_economicos |
|
|||
|
p34.Expectativa_cambios_prestigio_laboral |
|
|||
|
p35.Expectativa_incremento_num_publicaciones |
|
|||
|
p36.Expectativa_aplicabilidad_conoci_prod_llevados_practica |
|
|||
|
p37.Expectativa_beneficio_terceros |
|
|||
|
p38.Expectativa_cambios_en_la_universidad |
|
|||
|
p39.Expectativa_por_rechazo_prog_proy_vida_laboral |
|
|||
|
p40.Expectativa_cumplimiento_compromisos_adquiridos |
|
|||
|
p41.Expectativa_proceso_trámites_papeleo_prog_proy |
|
|||
|
p42.Expectativa_beneficio_institucion_poblacion_beneficiaria |
0,99997 |
Este valor, al igual que el cálculo anterior, indica una consistencia interna excepcionalmente alta entre estas variables, demostrando que son consistentes y fiables para evaluar el constructo de interés. |
|
|
|
p43.Expectativa_benefi_tecno_produc_social_insti_pobla_benefi |
|
|||
|
p44.Espec_solu_probl_origi_coordi_respo_insti_pobla_bene |
|
|||
|
p45.Expec_núm_beneficiados_institucion_poblacion_benef |
0,99969 |
Este valor sigue indicando una consistencia interna muy alta entre estas variables, lo que sugiere que forman un conjunto coherente y fiable para medir los constructos a los que se refieren. |
|
|
|
p46.Expe_solu_proble_origino_prog_proy_miem_insti_pobla_benefi |
|
|||
|
p47.Expec_mejora_calidad_vida_miem_insti_pobla_bene |
|
|||
|
Calidad de la gestión |
||||
|
p48.Tiempo_proceso_convocatoria |
0,99987 |
Este valor indica una alta consistencia interna entre estas variables, sugiriendo que son muy coherentes entre sí y fiables para evaluar los aspectos relacionados con los tiempos y la satisfacción con los trámites y el trato en el ámbito de la investigación. |
||
|
p49.Tiempo_real_procesos_tramites_papeleo_prog_proy |
||||
|
p50.Tiempos_entrega_asignacion_presupuestaria |
||||
|
p51.Trato_personal_jefatura_investigacion |
||||
|
p52.Aceptabilidad_forma_realizan_proc_tram_jefa_inves |
||||
|
p53.Satisfaccion_por_tramites_jefatura_investigacion |
||||
|
p54.Nivel_amabilidad_personal_insti_pobla_benefi |
0,99975 |
Este valor refleja una gran consistencia interna entre estas variables, lo que indica que son coherentes y fiables para medir aspectos relacionados con la amabilidad del personal, los trámites de papeleo, el tiempo de espera y la satisfacción con estos en el contexto de la institución y la población beneficiaria. |
||
|
p55.Tramites_papeleo_obtencio_colabor_insti_pobla_bene |
||||
|
p56.Tiempo_espera_tramites_papeleo_insti_pobla_bene |
||||
|
p57.Satisfaccion_tramites_reali_insti_pobla_bene |
||||
|
Percepción del programa |
||||
|
p58.Calificacion_experiencia_prog_proy |
0,9998 |
Este valor indica una consistencia interna muy alta entre estas variables, lo que sugiere que son altamente coherentes y fiables para evaluar los aspectos relacionados con la experiencia, dificultad, generación de conocimientos y calidad de la investigación en el contexto del programa o proyecto y el apoyo recibido por la universidad e instituciones. |
||
|
p59.Nivel_de_dificultad_concluir_prog_proy |
||||
|
p60.Generar_conoc_produc_sin_desa_prog_proy |
||||
|
p61.Calidad_investigacion_por_apoyo_universidad |
||||
|
p62.Calidad_inves_por_apoyo_insti_pobla_benefi |
||||
|
Valoración de las Externalidades |
||
|
p63.Nivel_cono_area_inves_expe_fin_prog_proy |
0,99982 |
Esto indica una alta consistencia interna entre ellas. Esto sugiere que las variables son medidas coherentes y confiables del constructo que están diseñadas para evaluar. |
|
p64.Bene_part_prog_proy_prestigio_laboral1 |
||
|
p65.Prop_trabajo_por_parti_prog_proy1 |
||
|
p66.Rela_comp_trabajo_por_parti_prog_proy1 |
||
|
p67.Relacion_formar_redes_otros_investigadores1 |
||
|
p68.Pertinencia_area_investigacion1 |
||
|
p69.Satisfaccion_beneficios_genero_prog_proy1 |
||
|
p70.Apoyo_desarrollo_prog_proy |
0,95231 |
Este valor es alto y sugiere que hay una buena consistencia interna entre las variables, indicando que son medidas coherentes y confiables para los conceptos que están destinadas a evaluar dentro del contexto del programa o proyecto. |
|
p71.Facilidades_especiales_desarrollo_prog_proy |
||
|
p72.Cambio_ambiente_laboral_desa_prog_proy |
||
|
p73.Incen_eco_extra_respo_insti_poblacion_beneficiaria |
||
|
Valoración de compromisos |
||
|
p74.Nivel_esfuerzo_inves_cumplir_obliga_prog_proy |
0,99993 |
Este valor, siendo muy cercano a 1, indica una consistencia interna casi perfecta entre estas dos variables. Esto sugiere que están midiendo aspectos muy similares del esfuerzo y tiempo de dedicación del investigador en relación con las obligaciones del programa o proyecto. |
|
p75.Tiempo_dedicacion_inves_cumplir_oblig_prog_proy |
||
|
p76.Nivel_esfue_coordi_respo_cump_obliga_prog_proy |
0,99981 |
Este valor muestra una excelente consistencia interna entre las variables, indicando que miden de manera fiable y coherente el nivel de esfuerzo y el tiempo de dedicación del coordinador o responsable en cumplir con las obligaciones del programa o proyecto. |
|
p77.Tiempo_dedi_coordi_respo_cump_obliga_prog_proy |
||
|
p78.Nivel_participacion_pobla_bene_prog_proy |
0,99947 |
Este valor indica una alta consistencia interna entre estas dos variables, lo que sugiere que miden de manera fiable y coherente aspectos relacionados con la participación y la dedicación de tiempo de la población beneficiaria en el programa o proyecto. |
|
p79.Tiempo_dedicacion_pobla_bene_prog_proy |
||
|
Quejas |
||
|
p80.Problemas_ocacionados_prog_proy |
0,95468 |
Indica que son coherentes y confiables para evaluar las cuestiones relacionadas con los problemas ocasionados por el programa o proyecto, las quejas resultantes, y la satisfacción con las respuestas a dichas quejas. |
|
p81.Quejas_por_problemas |
||
|
p82.Lugar_presentacion_quejas |
||
|
p83.Medio_presentacion_quejas |
||
|
p84.Respuesta_queja |
||
|
p85.Tiempo_espera_respuesta_queja |
||
|
p86.Satisfaccion_respuesta_queja |
||
|
p87.Motivos_por_no_presentar_quejas |
||
|
Satisfacción de la implementación del programa/proyecto |
||
|
p88.Cubrio_necesidades_inves_por_demanda_cient_tecn |
0,93997 |
Los ítems en esta sección muestran coherencia y confiabilidad, por tanto, si se cumple con el objetivo de medir la satisfacción en la implementación de los proyectos. |
|
p89.Satisfaccion_convocatorias_investigacion_universida |
||
|
p90.Cumplimiento_carac_conv_inves_desa_cient_tecn_ |
||
|
p91.Apoyo_universidad_procesos_investigativos |
||
|
p92.Aspectos_generen_insatisfaccion_conv_proceso_inve |
||
|
p93.Lista_aspectos_generan_insatis_convo_proceso_inves |
||
|
p93.Lista_aspectos_generan_insatis_convo_proceso_inves |
||
|
p94.Nivel_usabilidad |
||
|
p95.Tiempo_demora |
||
|
Percepción del impacto |
||
|
p98.Patentes_derechos_autor_producto_prog_proy |
0,95992 |
El impacto se ve reflejado en el cálculo de la relación entre la coherencia y la confiabilidad de los indicadores/dimensiones |
|
p99.Destinatario_derechos_patrimoniales |
||
|
p100.Formacion_recursos_humanos |
||
|
p101.num_recursos_humanos_formados |
||
|
p102.Medida_imple_prog_proy_impacto_instit_pobl_benef |
||
|
p103.Productos_pog_proy_publicados |
||
|
p104.num_publicaciones_pog_proy_publicados |
||
|
p105.Idiomas_publicaciones |
||
|
p106.Lugar_publicacion |
||
|
p107.Publicaciones_citadas_otras_publicaciones |
||
|
p108.Aplicación_conoc_prod_usuario_poblacion_benef |
||
|
p109.Tramite_hacer_uso_cono_producto_prog_proy |
||
|
p110.Medida_cam_gen_cono_productos_pro_proy |
||
|
p111.Medida_beneficio_terceros |
||
|
Comunicación y transferencia de la información |
||
|
p112.Entrega_productos_usuario |
0,98959 |
Claramente se muestra el gran nivel de coherencia y confiabilidad, lo que refleja el grado de transferencia y comunicación de los resultados de la implementación de los proyectos. |
|
p113.Tipo_productos_se_entregaron_1 |
||
|
p113.Tipo_productos_se_entregaron_2 |
||
|
p113.Tipo_productos_se_entregaron_3 |
||
|
p113.Tipo_productos_se_entregaron_4 |
||
|
p114.num_productos_entregados_usuario |
||
|
p115.Oficio_entrega_productos_prog_proy_usuario |
||
|
p116.Satis_transfe_conoc_generado_prog_proy |
||
|
p117.Conocimiento_contacto_investigador |
||
|
p118.Nombre_notificacion_investigador |
||
|
p119.Contacto_investi_duran_desa_imple_prog_proy |
||
|
p120.Solici_infor_inves_duran_desa_impleme_prog_proy |
||
|
p121.Respuesta_soli_info_investi_durante_desa_imple_prog_ |
||
|
p122.Calificacion_interaccion_investigador |
||
|
p123.Medio_principal_comunicacion_investigador |
||
|
p124.Nivel_amabilidad_investigador_realizar_actividad_gesti |
||
|
p125.Nivel_compromiso_investigador |
||
|
p126.Número_contacto_investigador |
||
|
p127.Motivos_contacto_investigador_usuario |
||
|
p128.Recepcion_productos_investigador |
||
|
p129.Tipo_productos_se_recibieron |
||
|
p130.Número_productos_recibidos_investigador |
||
|
p131.Oficio_entrega_recepcion_productos_prog_proy_investigador |
||
|
p132.Razones_falta_contacto_investigador |
||
Nota: Cada uno de los indicadores o dimensiones que se hace constar en la tabla, corresponden a cada constructo que forma parte del cuestionario.
En la tabla 3 muestra una alta consistencia interna entre los ítems de cada sección de la encuesta, lo cual evidencia que los aspectos relacionados del constructo en estudio se miden de manera efectiva al mostrar una consistencia interna casi perfecta (0.98997). Demostrando que la validación por expertos, fue el primer paso para que, los constructos midan lo que se pretende medir en el estudio.
Para realizar el Test-Retest, se aplicó la encuesta al mismo grupo de individuos en dos momentos diferentes y se calculó la correlación entre los dos conjuntos de respuestas dando un resultado de 0.97956, lo que muestra consistencia muy alta. Se destaca que, se corrigieron errores de sintaxis y se simplificaron los items en su descripción para que su comprensión sea plena y puedan registrar los datos de manera idónea.
Los datos y su representación permiten dan solidez a lo expuesto en este escrito, a continuación se muestra un panel de gráficas que permiten visualizar la distribución de los datos.
Gráfica 1:Distribución de datos de diferentes variables/indicadores/dimensiones
Nota: Los datos usados para las gráficas resultan de la aplicación del cuestionario en la prueba piloto, que permitió establecer el grado de confiabilidad y validez de este.
En la gráfica 1 se aprecia claramente como los datos se encuentran distribuidos u organizados; así se evidencia que de 58 investigadores, 36 son hombres. Se muestra además que 31 investigadores no han obtenido patentes o derechos de autor y 54 opinan que el realizar proyectos no representa problema alguno. Otro aspecto importante se observa al momento de conocer si el llamamiento a presentar proyectos de investigación en convocatoria ordina tiene impacto en los investigadores, pero no es el caso. Importante tambiés es que los investigadores dicen que la generación del conocimiento no está relacionado. Para realizar el análisis de datos se trabajó con dos aplicaciones gratuitas, RStudio en su versión 2023.12.0 y Power BI en su versión 2.124.2028.0. Con estas herramientas se trabajó con las técnicas estadísitcas que dan validez y confiabilidad al cuestionario, y además, se puedó plasmar los datos en gráficas que seán fáciles de interpretar.
CONCLUSIONES
Trabajar de manera exaustiva en la evaluación de la confiabilidad y validez de un cuestionario que registre el nivel de satisfacción de los agentes involucrados en los proyectos de investigación es fundamental en la investigación científica y aplicada, así por ejemplo:
Permite garantizar la precisión de las mediciones generando resultados consistentes y reproducibles a lo largo del tiempo y en diferentes contextos o poblaciones. Esta evaluación permite predecir que las variaciones en los datos recolectados reflejen diferencias entre los sujetos o condiciones estudiadas, y no serán producto de errores aleatorios o inconsistencias en el instrumento. Un cuestionario confiable minimiza el ruido en los datos, facilitando la identificación de patrones reales y significativos.
Otro aspecto fundamental es que permite asegurar la validez del constructo.
La evaluación de la validez, especialmente la validez de constructo, confirma que el cuestionario mide efectivamente el fenómeno o constructo que pretende medir. Esta evaluación es esencial para la aplicación práctica del instrumento, ya que garantiza que las conclusiones derivadas de los datos recolectados sean legítimas y aplicables al fenómeno de interés. Sin una adecuada validez, los resultados de una investigación podrían ser irrelevantes o engañosos, lo que podría llevar a interpretaciones incorrectas o a la implementación de políticas o prácticas basadas en suposiciones falsas.
Finalmente, esta evaluación mejora la aplicabilidad y generalización de los resultados de una manera rigurosa la confiabilidad y validez del cuestionario, no solo beneficia el estudio específico en el que se aplica, sino que también contribuye al cuerpo general de conocimiento en el campo de estudio. Un instrumento bien validado y fiable puede ser utilizado por otros investigadores en estudios futuros, lo que permite comparaciones y meta-análisis entre diferentes investigaciones. Esto es particularmente importante en áreas de estudio donde la acumulación de evidencia coherente y replicable es fundamental para el avance del conocimiento. Además, la validez y confiabilidad confirmadas aumentan la confianza de los stakeholders o partes interesadas en los hallazgos de la investigación, lo que es crucial para la implementación de recomendaciones basadas en la evidencia.
REFERENCIAS BIBLIOGRAFICAS
Anderson, E. W., Fornell, C., & Lehmann, D. R. (1994). Customer Satisfaction, Market Share, and Profitability: Findings from Sweden. Journal of Marketing, 58(3), 53–66.
https://doi.org/10.2307/1252310
Castillo-Sierra, D. M., González-Consuegra, R. V, & Olaya-Sánchez, A. (2018). Validez y confiabilidad del cuestionario Florida versión en español. Revista Colombiana de Cardiología, 25(2), 131–137.
https://doi.org/https://doi.org/10.1016/j.rccar.2017.12.018
Classics in the History of Psychology -- Cronbach & Meehl (1955). (n.d.). Retrieved February 18, 2024, from https://psychclassics.yorku.ca/Cronbach/construct.htm
COUPER, M. P. (2000). Review: Web Surveys: A Review of Issues and Approaches*. Public Opinion Quarterly, 64(4), 464–494. https://doi.org/10.1086/318641
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. https://doi.org/10.1007/BF02310555
Dioses Lescano, N., Morales Huamán, H. I., Díaz de Angulo, D. M., & Vasquez Muñoz, A. (2021). Nivel de satisfacción en la formación de calidad a nivel universitario. Telos Revista de Estudios Interdisciplinarios En Ciencias Sociales, 23(2). https://doi.org/10.36390/telos232.04
Fornell, C. (1992). A National Customer Satisfaction Barometer: The Swedish Experience. Journal of Marketing, 56(1), 6–21. https://doi.org/10.1177/002224299205600103
Haynes, S., Richard, D., & Kubany, E. (1995). Content Validity in Psychological Assessment: A Functional Approach to Concepts and Methods. Psychological Assessment, 7, 238–247. https://doi.org/10.1037/1040-3590.7.3.238
Shariati, S., & Yazdani Chamzini, A. (2014). A risk assessment model based on fuzzy logic for electricity distribution system asset managment. Decision Science Letters, 3, 342–352.
https://doi.org/10.5267/j.dsl.2014.3.003
Treviño, R., & Treviño, E. (2021). Análisis entre imagen de la tienda y satisfacción del cliente en tiendas minoristas transnacionales en el sector autoservicio. Estudios Gerenciales.
https://doi.org/10.18046/j.estger.2021.161.4293
Trevisan, M. S. (1991). Book Review : Scale Development: Theory and Applications Robert F. DeVellis Newbury Park CA: Sage Publications, Inc., 1991, 121 pp., approx. $12.95. Applied Psychological Measurement, 15(4), 425–426. https://doi.org/10.1177/014662169101500413
Willie, M. M. (2023). Distinguishing Between Population and Target Population: A Mini Review. Surgery Research Journal, 3(2). https://doi.org/10.33425/2768-0428.1027