DOI: https://doi.org/10.37811/cl_rcm.v8i1.10207
Evaluación de la Experiencia de Usuario en los Sistemas de Información de la Universidad Autónoma de Chihuahua, México
|
Juan Javier Gutiérrez García[1] https://orcid.org/0000-0002-5343-2478 Universidad Autónoma de Chihuahua México
|
Luis Ever Caro Lazos https://orcid.org/0000-0001-6318-7990 Universidad Autónoma de Chihuahua México |
|
Sonia Esther González Moreno https://orcid.org/0000-0001-9105-858X Universidad Autónoma de Chihuahua México
|
|
RESUMEN
Los sistemas de información en las organizaciones son de gran importancia para aumentar la productividad y toma de decisiones. Conocer la perspectiva del usuario de los sistemas de información en contextos reales permite identificar factores clave en la experiencia de interacción hombre-máquina, e incorporar tales características en el desarrollo de sistemas. Dado lo anterior, el objetivo del presente documento fue evaluar la experiencia de usuario (UX) en los sistemas de información desarrollados por la Coordinación General de Tecnologías de Información en la Universidad Autónoma de Chihuahua (UACH), México. La naturaleza de la investigación fue cuantitativa aplicada, generando alternativas de solución, el diseño fue no experimental, con un criterio de clasificación de la investigación como transversal, el modo fue de campo. Los resultados demostraron un nivel de calificación de bueno a excelente en la experiencia de usuario. La aportación del estudio radica en conocer si los sistemas de información UACH están cubriendo las necesidades de los usuarios con efectividad, eficiencia y satisfacción.
Palabras clave: evaluación del sistema de información, experiencia usuario, percepción, interacción hombre-máquina
Evaluation of the User Experience in the Information Systems of the Autonomous University of Chihuahua, Mexico
ABSTRACT
Information systems in organizations are of great importance to increase productivity and decision making. Knowing the user's perspective of information systems in real contexts allows us to identify key factors in the human-machine interaction and incorporate such characteristics in the development of systems. Given the above, the objective of this document was to evaluate the user experience (UX) in the information systems developed by the General Coordination of Information Technologies at the Autonomous University of Chihuahua (UACH), Mexico. The nature of the research was applied quantitative, generating alternative solutions, the design was non-experimental, with a criterion for classifying the research as transversal, the mode was field and Pearson's Chi square Inferential tests, Generalized Linear Models and Multinomial Regression Model. The results demonstrated a good to excellent user experience rating level. The contribution of the study lies in knowing whether the UACH information systems are covering the needs of users with effectiveness, efficiency, and satisfaction.
Keywords: information systems evaluation, user experience, perception, human machine interaction
Artículo recibido 15 enero 2024
Aceptado para publicación: 20 febrero 2024
INTRODUCCIÓN
Los sistemas de información son de gran importancia para aumentar la productividad y mejorar la toma de decisiones en las organizaciones. Alvarado et al. (2018) indica que la tecnología se ha transformado en una fundamental herramienta para la organización, forma parte de la vida diaria y permite al individuo razonar, planificar y llevar a cabo decisiones tanto en lo personal como en lo profesional. Albert & Tullis (2023) indican que la evaluación de la experiencia de usuario adquiere un rol fundamental debido a la complejidad que los productos de software van adquiriendo a través del tiempo y también la diversidad de usuarios que los usan. En este sentido, las métricas son una parte crítica en el proceso de desarrollo de software para proveer eficiencia, fácil de uso, y ser atractivos para el usuario.
Los enfoques tradicionales en el desarrollo de sistemas en una empresa se centran en cumplir los requerimientos funcionales expresados por el propietario del producto de software, pero no consideran la importancia de incluir la perspectiva del usuario, es decir, de aquellos usuarios que interactúa con los sistemas de información en el día a día. En palabras de Zarour (2018) se tiene que los desarrolladores de software no solo deben esforzarse para cumplir los requisitos funcionales del usuario, sino también para cubrir las necesidades de una experiencia de usuario placentera, funcional, fácil interacción, etc. Para lo anterior la International Organization for Standardization (2011) indica que los modelos de calidad en la Norma Internacional ISO/IEC 25010 se puede utilizar para identificar características de calidad y de uso relevantes para establecer requisitos, sus perspectivas de cumplimiento de espectativas y las medidas correspondientes, además Kurosu (2015) expresa que la calidad en el uso que depende de la calidad del artefacto es la clave de la experiencia de usuario. Lo anterior dado a que la Calidad en el Uso tiene características de calidad objetiva y subjetiva, por lo tanto la Calidad en Uso será fundamental para entender la experiencia de usuario. Feng & Wei (2019) expresan que desde los 90’s, la experiencia de usuario ha llegado a ser una herramienta reconocida para evaluar las interacciones de los seres humanos con un producto, sistema o servicio, y también indican que a diferencia de la investigación de usabilidad, que se centra principalmente en la eficiencia de la tarea, la investigación de la experiencia de usuario ha enfatizado las cualidades experimentales y principios fundamentales de la experiencia de usuario: El primero es que se adopta una perspectiva holística de la interacción usuario-producto, incluido el uso de los productos, así como el significado y la emoción entre los usuarios a través de sus interacciones con los productos. El segundo principio es el enfoque que se da tanto en valores pragmáticos como en valores hedónicos, es decir que, los estudios exploran las relaciones entre usabilidad, valor simbólico y estético para la experiencia del usuario con los productos. Y el tercer principio es el enfasis a la importancia del contexto de uso, ya que diferentes contextos de uso pueden dar como resultado diferentes experiencias. En este mismo sentido, Hinderks et al. (2019) explican que la experiencia del usuario a menudo se interpreta como una construcción multidimensional. Para lograr una buena experiencia de usuario, un producto debe, por ejemplo, ser fácil de aprender, eficiente en su uso o controlar bien criterios adicionales como la estética, la facilidad de uso, el atractivo o lo novedoso.
Este artículo determina, mediante una evaluación, cual es el nivel de calificación en la experiencia de usuario en los sistemas de información desarrollados por el Departamento de Sistemas de Información de la Universidad Autónoma de Chihuahua, México.
Los resultados del estudio son un insumo de mejoras para el desarrollo de tecnología, al poder incluir nuevas estrategias de levantamiento de requerimientos, diseño, pruebas e implementación.
MARCO TEÓRICO
La Experiencia de Usuario es la evaluación que hacen los usuarios cuando interactúan con un producto de software, y conseguir una experiencia de usuario excelente, depende, por tanto, de cumplir criterios para medidas externas del comportamiento del software, que a su vez depende del logro de criterios relacionados para las medidas internas asociadas.
La experiencia usuario depende de la calidad del software, la cual se puede medir internamente (mediante medidas estáticas del código) o externamente (al medir el comportamiento del código cuando se ejecuta), por ejemplo, la confiabilidad se puede medir externamente observando la cantidad de errores que ocurren en un tiempo de ejecución determinado durante las pruebas de software, e internamente revisando las especificaciones detalladas y el código fuente para determinar la confiabilidad cuando ocurre un error (Bevan, 1999). El objetivo es que el producto tenga los efectos en un contexto de uso particular, es decir, en la experiencia de usuario. En la Figura 1 se muestra los enfoques de calidad para los productos de software y sus efectos en la experiencia de usuario.
Figura 1. Enfoques de calidad en productos de software
Nota. Adaptado de Quality in Use: Meeting user needs for quality, (Bevan, 1999).
Las propiedades externas (como idoneidad, precisión, tolerancia a fallos o comportamiento temporal) influirán en la experiencia de usuario observada en el uso. Una falla en la evaluación en el uso (por ejemplo, el usuario no puede completar la tarea) podría atribuirse a la calidad externa (por ejemplo, idoneidad u operatividad) y los atributos internos asociados que deben cambiarse.
Norma ISO/IEC 25040
Para Ribeiro et al. (2017) al evaluar la calidad del software, se debe establecer los requisitos de evaluación y realizar la evaluación en sí. Estos procedimientos constituyen la administración de evaluación de software, la cual puede tomar como lineamientos los estipulados en la norma ISO/IEC 25040. Este estándar provee una descripción general y un conjunto de procedimientos que deben ser llevados a cabo para la evaluación de la calidad en el software. En este mismo sentido, Sifuentes & Peralta (2022), catalogan este estándar como referente común de evaluación que toma en cuenta los insumos del proceso de evaluación, sus limitaciones y los recursos necesarios para lograr las salidas adecuadas.
En la norma ISO/IEC 25040 (2009) se describe a detalle el Modelo de referencia de evaluación de la calidad del producto de software, teniendo como primer punto la parte de Referencia general del modelo que describe los insumos y resultados, restricciones y recursos para el proceso de evaluación de calidad del producto de software. En la Figura 2 se muestra el modelo de referencia de evaluación de calidad del producto de software.
Figura 2. Modelo de referencia de evaluación de la calidad del producto de sofware
Nota. ISO/IEC 25040 (2009).
Modelo TAM
Kendall & Kendall (2011) explican como el diseño de la interacción que tienen las personas con la computadora (HCI por sus siglas en inglés) debe mejorarse para que apoye al usuario final en su trabajo y logre una experiencia agradable en el uso del software. Los autores enfatizan el poder lograr que el usuario final trabaje con efectividad y eficiencia al interactuar con el software y para lo cual el área de desarrollo de software debe entender cómo se enlazan las tareas y su contexto, las tecnologías de información y los ámbitos en los cuales se usan. Para lo anterior se debe analizar y desarrollar los sistemas de información utilizando una comunicación constante con el área usuaria para captar las experiencias que han obtenido con los entregables del software en desarrollo que se ha puesto a su disposición y así poder mejorar continuamente las interfaces por parte de los diseñadores hasta que el usuario final los apruebe completamente. Los autores mencionan un modelo para la aceptación de tecnología (TAM por sus siglas en inglés) por medio del cual los analistas logran organizar sus ideas para que el usuario acepte y utilice las tecnologías de información. Los autores expresan que una de las ventajas que se tienen al utilizar el Modelo TAM es el poder analizar la utilidad percibida del sistema y así poder mejorar la productividad, y lo fácil que será para un usuario llevar a cabo sus tareas, y aquí se tienen dos partes importantes la Percepción de la Utilidad y Facilidad, las cuales se pueden usar para entender como los usuarios pretenden interactuar con un sistema propuesto. Se tiene que varios investigadores añaden al Modelo TAM la dimensión de actitud explícita, la cual les ayuda a pensar más específicamente sobre los estados psicológicos que influirán para que los usuarios acepten o rechacen el uso de los sistemas de información que diseñan. Las actitudes de los usuarios hacia las computadoras incluyen la satisfacción con la HCI y el sistema en general; generalmente, se utilizan encuestas especiales de satisfacción del usuario, que a menudo se aplican después de la implementación para estimar el éxito o fracaso en general de un proyecto de sistemas.
Ma & Liu (2011) indican que el Modelo TAM, presentado por Fred Davis en el año 1986, es uno de los principales modelos que explican el comportamiento de aceptación ante la tecnología. Este modelo está basado en la teoría de la psicología social en general y en la teoría de la acción razonada (TRA). TRA afirma que las creencias influyen en las actitudes, que conducen a intenciones y, por lo tanto, generan comportamiento. Correspondientemente, Davis introdujo los constructos en el TAM original de la siguiente manera: facilidad de uso percibida (PEOU), actitud e intención de uso conductual y utilidad percibida (PU). Entre las construcciones, PU y PEOU forman las creencias de un usuario final sobre una tecnología y, por lo tanto, predicen su actitud hacia la tecnología, que a su vez predice su aceptación. También indican que Davis en el año 1989 realizó numerosos experimentos para validar TAM utilizando PEOU y PU como dos variables independientes y el uso del sistema como la variable dependiente. Encontró que la PU se correlacionó significativamente con el uso actual auto declarado y uso futuro auto predicho. El PEOU estaba también significativamente relacionado con el uso actual y futuro. En general, encontró que el PU tenía una correlación significativamente mayor con el uso del sistema que el PEOU. Un análisis de regresión posterior sugirió que el PEOU podría ser un antecedente del PU en lugar de una terminación directa del uso del sistema. Es decir, el PEOU afecta a la aceptación de la tecnología (TA) indirectamente a través de la PU.
Fathema et al. (2015) señalan que TAM sugiere que la intención de comportamiento de los usuarios configura su uso real de la tecnología. Si los usuarios tienen la intención de usar una tecnología específica, entonces la usan. Y los autores Lingyun y Dong (2008) agregan que TAM se ha convertido en una de las teorías más utilizadas en la investigación de sistemas de información.
ISO/IEC 25010
La ISO 25000 Software Product Quality (2019) explica que el conjunto de las normas ISO/IEC 25000, también identificada como SQuaRE (Requisitos y evaluación para la calidad de los sistema de software), tiene el objetivo de crear un marco para su evaluación y que es el resultado de la evolución de varias otras normas; específicamente de ISO/IEC 9126, que crea un modelo, y la ISO/IEC 14598, que establece el proceso. La serie de normas ISO/IEC 25000 consta de cinco divisiones:
1. ISO / IEC 2500n - División de Gestión de Calidad.
Los estándares que forman esta división definen todos los modelos, términos y definiciones comunes a los que se refieren todos los demás estándares de la serie SQuaRE.
2. ISO / IEC 2501n - División del modelo de calidad.
Los estándares que forman esta división presentan modelos de calidad detallados para sistemas informáticos y productos de software, calidad de uso y datos.
3. ISO / IEC 2502n - División de medición de calidad.
Los estándares que forman esta división incluyen un modelo de referencia de medición de calidad de productos de software, definiciones matemáticas de medidas de calidad y orientación práctica para su aplicación. Las medidas presentadas se aplican a la calidad del producto de software y la calidad en uso.
4. ISO / IEC 2503n - División de requisitos de calidad.
El estándar que forma esta división ayuda a especificar los requisitos de calidad. Estos requisitos de calidad se pueden utilizar en el proceso de obtención de requisitos de calidad para un producto de software a desarrollar o como entrada para un proceso de evaluación.
5. ISO / IEC 2504n - División de Evaluación de Calidad.
Los estándares que forman esta división proporcionan requisitos, recomendaciones y pautas para la evaluación de productos de software.
La extensión SQuaRE (ISO/IEC 25050 a ISO/ IEC 25099) está diseñada para contener estándares internacionales y/o informes técnicos de calidad de producto de sistema o software que abordan dominios de aplicación específicos o que pueden usarse para complementar uno o más estándares internacionales SQuaRE (ISO 25000 Software Product Quality, 2019)
La norma ISO/IEC 2501n correspondiente a la División del modelo de calidad contiene en sus estándares los modelos de calidad detallados para los sistemas informáticos, así como también productos de software, calidad de uso y datos. Actualmente, esta división contiene al estándar ISO/IEC 25010, en el cual se describe el modelo, que consta de características y sus respectivas divisiones, para la calidad del producto de software y la calidad del software en el uso.
La International Organization for Standardization (2011) indica lo siguiente:
El Modelo está integrado por cinco características que se enlazan con los resultados de la interacción cuando el producto se usa en un contexto específico de uso y es aplicable en cualquier situación donde se establezcla una interacción entre las computadoras y personas, más específicamente en los sistemas computacionales y las aplicaciones de software. Así como también determina un modelo de calidad del producto integrado por ocho características (que se subdividen en sub características) relacionado con las características estáticas y dinámicas de los productos de software (p. 1).
Alves et al. (2015) explican que el estándar ISO / IEC 25010 define dos modelos de calidad para evaluar diferentes aspectos del software. El modelo de Calidad en uso define características de calidad relacionadas con la interacción cuando el software se utiliza en un contexto específico. El modelo para la calidad del producto define ciertas características relacionadas con las attributos del software estático. Los autores agregan que el estándar descompone las características del modelo de calidad en el uso en características y sub características las cuales se muestran en la Tabla 1.
Tabla 1. ISO/IEC 25010 Características y sub características del modelo de calidad en uso
|
Característica |
Sub Característica |
Definición |
|
Efectividad (Effectiveness) |
|
Precisión e integridad con la que los usuarios logran objetivos específicos. |
|
Eficiencia (Efficiency) |
|
Recursos gastados en relación con la precisión y la integridad con la que los usuarios alcanzan los objetivos. |
|
Satisfacción (Satisfaction) |
|
Grado en que se satisfacen las necesidades del usuario cuando se utiliza un producto o sistema en un contexto de uso específico. |
|
|
Útil (Usefulness) |
Grado en que un usuario está satisfecho con el logro percibido de los objetivos pragmáticos, incluidos los resultados del uso y las consecuencias del uso. |
|
|
Confiable (Trust) |
Grado en el que un usuario u otra parte interesada tiene confianza en que un producto o sistema se comportará según lo previsto. |
|
|
Placentero (Pleasure) |
Grado en que un usuario obtiene placer al satisfacer sus necesidades personales. |
|
|
Confort (Comfort) |
Grado en que el usuario está satisfecho con la comodidad física. |
|
Libre de riesgo (Freedom from risk) |
|
Grado en que un producto o sistema mitiga el riesgo potencial para el estado económico, la vida humana, la salud o el medio ambiente. |
|
|
Mitigación de riesgos económicos (Economic risk mitigation) |
Grado en que un producto o sistema mitiga el riesgo potencial para el estado financiero, la operación eficiente, la propiedad comercial, la reputación u otros recursos en los contextos de uso previstos. |
|
|
Mitigación de riesgos de salud y seguridad. (Health and safety risk mitigation) |
Grado en que un producto o sistema mitiga el riesgo potencial para las personas en los contextos de uso previstos. |
|
|
Mitigación de riesgos ambientales (Environmental risk mitigation) |
Grado en que un producto o sistema mitiga el riesgo potencial para la propiedad o el medio ambiente en los contextos de uso previstos. |
|
Cobertura del contexto (Context coverage) |
|
Grado en que un producto o sistema se puede usar con efectividad, eficiencia, libertad de riesgos y satisfacción en contextos específicos de uso y en contextos más allá de aquellos inicialmente identificados explícitamente. |
|
|
Completitud del contexto (Context completeness) |
Grado en que un producto o sistema se puede utilizar con eficacia, eficiencia, libertad de riesgos y satisfacción en todos los contextos de uso especificados. |
|
|
Flexibilidad (Flexibility) |
Grado en que un producto o sistema se puede usar con efectividad, eficiencia, libertad de riesgos y satisfacción en contextos más allá de los inicialmente especificados en los requisitos. |
Nota. Alves et al., (2015).
Modelo 2Q2U
Los creadores de éste modelo fueron Lew et al. (2010) e indican que el objetivo al crear el modelo Calidad, Calidad de Uso, Usabilidad Actual y Experiencia Real del Usuario (2Q2U, por sus siglas en inglés) es doble: primero, porque agrega características para extender el estándar ISO 25010 y; segundo, porque agrega dos conceptos nuevos, usabilidad actual y experiencia real del usuario (UX, por sus siglas en inglés), a los que se pueden relacionar características y sub características y crear nuevos modelos de manera flexible.
Siendo este modelo una extensión del modelo ISO 25010, los autores anexaron una nueva sub característica, “Aprendizaje en el uso”, definida como el “grado en que los usuarios específicos pueden aprender de manera eficiente y efectiva mientras logran objetivos específicos en un contexto de uso específico”, lo anterior basados en la investigación de Santos y Badre (1995) donde se indica que los objetivos de aprendizaje y el comportamiento de los diferentes grupos de usuarios tienen un impacto en el proceso de aprendizaje, ya que los usuarios novatos se comportan de manera diferente a los usuarios expertos. Así como también en lo investigado por Grossman et al. (2009) donde señalaron varios tipos de grupos de usuarios, incluidos: 1) Nivel de experiencia con las computadoras; 2) Nivel de experiencia con la interfaz; 3) Nivel de conocimiento del dominio relacionado; 4) Experiencia con software similar. Por lo tanto, la dimensión de los tipos de grupos de usuarios y su influencia en la capacidad de aprendizaje es de suma importancia.
Model SWET-QUM
Los autores González et al. (2013) proponen un modelo para la calidad en el uso de herramientas de exploración web semántica (SWET-QUM) que se especializa en las características / factores genéricos de Calidad en Uso y las propiedades propuestas en ISO / IEC-25010: 2011, para la evaluación de la interacción para Herramientas de exploración semánticas para web. Así como también la utilización de todas las características de la Calidad en el uso en ISO / IEC-25010: 2011, excepto la característica Libre de Riesgo, que incluye aspectos como riesgos económicos, ambientales y de la salud. Este factor es más apropiado cuando se consideran factores ergonómicos y otros factores relacionados que, por el momento, no se incluyen en el alcance de la propuesta.
Principales elementos aportados para la investigación
En la Tabla 2 se da una revisión general del marco teórico, y cómo cada modelo descrito aporta al desarrollo de esta investigación.
Tabla 2. Revisión general del marco teórico y su aportación a la investigación
|
Autor(es) |
Teoría |
Aportación |
|
Davis (1989) |
Modelo de aceptación de la tecnología (TAM por sus siglas en inglés) por medio del cual los analistas logran organizar sus ideas para que el usuario acepte y utilice las tecnologías de información. |
Utilidad percibida del sistema para aumentar la productividad, y lo fácil que será para un usuario llevar a cabo sus tareas, y aquí se tienen dos partes importantes la Utilidad Percibida y Facilidad de uso percibida |
|
International Organization for Standardization (2011) |
Modelo de Calidad en el Uso integrado por cinco características (algunas de las cuales se subdividen en sub características) que se relacionan con el resultado de la interacción cuando un producto se usa en un contexto particular de uso. |
Características de calidad en el uso: Efectividad, Eficiencia, Satisfacción (Utilidad, Confiable, y Placentero) |
|
Lew et al., 2010 |
Modelo Calidad, Calidad de Uso, Usabilidad Actual y Experiencia Real del Usuario (Modelo 2Q2U) |
Característica Aprendizaje en el uso, que se mide en la dimensión del tiempo, ya que el aprendizaje inicial y continuo no están necesariamente relacionados, sino que influyen en la capacidad de aprendizaje del software en un contexto real. |
|
González Sánchez et al., 2013 |
Modelo de Calidad de Uso de Herramientas de Exploración Web Semántica (SWET-QUM) |
Efectividad de la exploración de datos en la Interface (IU) |
|
Rauschenberger et al., (2013) |
Instrumento de evaluación llamado Cuestionario de Experiencia de Usuario (UEQ, por sus siglas en inglés) |
Uso de la técnica de diferencial semántico para el diseño del instrumento.
|
Hipótesis
El objetivo de este trabajo es medir el nivel de aceptación de la tecnología mediante una calificación en la experiencia del usuario en los sistemas de información de la Coordinación General de Tecnologías de Información de la UACH, México. Para lo cual se testeó la siguiente hipótesis:
H01: El nivel de aceptación de la tecnología mediante una calificación en la experiencia de usuario en los sistemas de información de la Coordinación General de Tecnologías de Información de la UACH no es de Bueno a Excelente.
H11: El nivel de aceptación de la tecnología mediante una calificación en la experiencia de usuario en los sistemas de información de la Coordinación General de Tecnologías de Información de la UACH es de Bueno a Excelente.
METODOLOGÍA
El instrumento utilizado para la recopilación de información fue una adaptación del "Cuestionario de experiencia del usuario" (UEQ) diseñado por Rauschenberger et al. (2013), el cual originalmente está integrado por 26 elementos elaborados con 7 puntos de diferencial semántico. Para Cota et al. (2014) la versión original alemana de la UEQ fue diseñada con un enfoque de datos analítico, creado con un conjunto inicial de 229 elementos potenciales relacionados con el concepto de experiencia de usuario con expertos en usabilidad. Este conjunto inicial se acortó a 80 ítems del cuestionario por una evaluación experta. Esta versión de 80 artículos se utilizó en varios estudios centrados en la calidad de los productos interactivos, que incluyen, por ejemplo, un paquete de software de estadísticas, libreta de direcciones de teléfonos celulares, software de colaboración en línea o software comercial. En estos estudios 153 participantes respondieron, y finalmente las escalas y los ítems se procesaron de este conjunto de datos con un análisis factorial (componentes principales, rotación varimax).
Las adaptaciones realizadas al instrumento se fundamentaron en las mejores experiencias de otros autores y organizaciones con modelos de evaluación de la experiencia de usuario, y las cuales están indicadas en la Tabla 3. El cuestionario aplicado contiene 23 preguntas diseñadas mediante la técnica de diferencial semántico, donde cada pregunta está representada por dos atributos con significados opuestos colocados aleatoriamente, identificando al atributo opuesto con color rojo. En la Tabla 7 se muestran los 23 atributos distribuidos en 7 características o dimensiones que son las variables a medir. Cada variable que se mide en este instrumento fue fundamentada en modelos que se muestran en el marco teórico de esta investigación representados en la Tabla 3 y el instrumento completo se muestra en el Anexo 1 de este documento.
Tabla 3. Origen de las variables a medir
|
Autor(es) |
Modelo |
Variable |
|
Davis (1989) |
Modelo para aceptación de tecnología (TAM por sus siglas en inglés. |
Utilidad percibida |
|
International Organization for Standardization (2011) |
Modelo de la Calidad en el Uso. |
Efectividad, Eficiencia, Satisfacción (Confiable, y Placentero) |
|
González Sánchez et al., 2013 |
Modelo de Calidad de Uso de Herramientas de Exploración Web Semántica (SWET-QUM) |
Interface de usuario |
|
Lew et al., 2010 |
Modelo Calidad, Calidad de Uso, Usabilidad Actual y Experiencia Real del Usuario (Modelo 2Q2U) |
Aprendizaje en el uso. |
El trabajo de investigación se realizó en la UACH en el año 2022, aplicando la adaptación del "Cuestionario de experiencia del usuario" (UEQ) diseñado por Rauschenberger et al. (2013), en el Sistema Estratégico de Gestión Académica (SEGA) en tres sistemas de información: contexto módulo Administrativo en versión escritorio, contexto Maestros en versión web y contexto Tutorías en versión web.
La población de interés con la que se trabajó fueron los usuarios que utilizan los sistemas de información en el campus Chihuahua y el soporte teórico está fundamentado en la norma ISO/IEC 25010.
El marco muestral y unidad de análisis considerados en esta investigación fueron los usuarios del Sistema Estratégico de Gestión Académica (SEGA) y específicamente los usuarios del módulo administrativo en versión escritorio, el módulo de maestros-alumnos en versión web y el módulo de tutorías versión web.
La definición de los tres sistemas a evaluar se presenta en la Tabla 4:
Tabla 4. Definición de los sistemas a evaluar
|
Sistema |
SEGA Módulo Maestros Versión Web |
SEGA Módulo Administrativo Versión Tradicional |
SEGA Módulo Tutorías Versión Web |
|
Tipo Muestreo |
No probabilístico |
No probabilístico |
No probabilístico |
|
Población |
2,658 |
150 |
518 |
|
Muestra |
Nivel de Confianza = 95% Margen de Error=5% Muestra=336 |
Nivel de Confianza = 95% Margen de Error=5% Muestra=108 |
Nivel de Confianza = 95% Margen de Error=5% Muestra=221 |
|
|
|
|
|
Las variables del estudio que se evaluaron se presentan en la Tabla 5.
Tabla 5. Variables de estudio que se evaluaron
|
Variable |
Tipo |
|
Tiempo utilización del sistema, Escolaridad, Edad, Sexo, Antigüedad en la UACH y Tipo de empleado. |
Independiente |
|
Efectividad, Eficiencia, Utilidad, Confianza, Placentero, Interface de Usuario y Aprendizaje en el uso. |
Dependiente |
Los indicadores que describen a las variables se presentan en la Tabla 6.
Tabla 6. Indicadores que describen a las variables
|
Variable |
Resultado del valor de medición |
|
Efectividad, Eficiencia, Utilidad, Confianza, Placentero, Interface de Usuario y Aprendizaje en el uso. |
Nivel de calificación en la Experiencia de usuario |
La descripción de los atributos a evaluar por dimensión se presenta en la Tabla 7.
Tabla 7. Atributos a evaluar por dimensión
|
Variable/Dimensión |
Indicador / Atributo a evaluar |
Número de Indicadores/Atributos |
|
Efectividad |
Se cumplen objetivos: Fin que se quiere alcanzar con el uso del sistema. Se completan tareas: Actividad o conjunto de actividades que lleva a cabo el usuario en su interacción con el sistema de información Sin Fallas: Estado o situación en la que se encuentra un sistema cuando está cumpliendo su función. |
3 |
|
Eficiencia |
Rápido: Que se mueve, se hace o sucede a gran velocidad, muy deprisa. Optimiza Recursos: Disminución de recursos materiales y de personal. Eficiente: Son los recursos gastados de tiempo, materiales y de personal en relación con la exactitud e integridad con los cuales los usuarios logran sus tareas y consecuentemente sus objetivos. |
3 |
|
Utilidad |
Bueno: Que es adecuado o conveniente al propósito de su operación. Suficiente información: Que satisface una serie de requisitos de información para la resolución de un problema o para la ejecución de un determinado proceso. Satisfactorio: El usuario se siente satisfecho con la operación del sistema, el cual lo apoya a llevar a cabo las tareas asignadas. Interesante: El usuario atribuye un valor especial a las funcionalidades del sistema que lo impulsan a utilizarlo. Completo: Que contiene todas las funciones requeridas para llevar a cabo el trabajo. |
5 |
|
Confianza |
Seguro: Que ofrece garantías de funcionar correctamente. Cubre expectativas: Que cumple con el propósito para lo que fue creado. |
2 |
|
Placentero |
Creativo: Que el sistema es confortable en su uso al proporcionar soluciones originales y valiosas. Agradable: Que genera gozo al utilizar el sistema. Atractivo: Que despierta interés y afecto o gusto. Cómodo: Facilidad al usar el sistema y con poco esfuerzo, molestia o inconveniencia. |
4 |
|
Interface de Usuario |
Organizada: Que permite al usuario aprender más rápido y de manera sencilla como interactuar con el sistema. Consistente: Que permite a los usuarios reconocer los patrones de uso, es decir, que los usuarios al aprender ciertas partes del trabajo de la interfaz pueden aplicar ese conocimiento a nuevas áreas y funciones del sistema. |
2 |
|
Aprendizaje en el Uso |
Entendible: Que expresa de manera concisa, sin rebuscamientos o rodeos que retrasen o dificulten el cómo usar el sistema. Fácil de usar: Que es amigable, lógico y predictivo. De manera que resuelve problemas del equipo de trabajo y no genera nuevas dificultades. Claro: Que el usuario no tiene dudas acerca de la operación del sistema, está seguro de lo que piensa y de lo que realiza al respecto de este. Fácil de aprender: Facilidad de seguir paso a paso lo que tiene que realizar para llevar a cabo su objetivo y el éxito que tiene en predecir la acción apropiada para llevarlo a cabo. |
4 |
La operación de las variables está fundamentada en la función de medición aplicada a cada dimensión e indicador que se muestra en la Tabla 8.
Tabla 8. Función de medición
|
Función |
Interpretación |
|
X=∑AiWi/4 Ai= Respuesta a una pregunta (Escala de Likert de 0 a 4). Wi=Importancia de esa pregunta |
0<= X <=1 Un valor más cercano a 1 es mejor |
|
Nota. Para facilitar la interpretación de esta medida, el resultado de la función de medición se normaliza para estar en el rango de [0,1], dividiendo el resultado por el valor máximo de la escala Likert (4), y se convertirá a porcentaje al multiplicarlo por 100. Extraído de International Organization for Standardization (2016) |
|
Para la descripción de los niveles de puntación, los autores Guaña et al. (2019) tomaron las prácticas referenciadas en el modelo de evaluación de la ISO/IEC 25040, logrando instanciar rangos de medición. Los valores fueron adaptados al contexto de la UACH y están comprendidos en porcentaje entre 0 y 100%, consolidados en cuatro grados de satisfacción que se muestran en la Tabla 9.
Tabla 9. Rangos de puntuación para las métricas
|
Porcentaje del Valor de medición |
Nivel de calificación en la experiencia de usuario |
|
80.00 – 100.00 |
Excelente |
|
60.00 – 79.99 |
Buena |
|
40.00 – 59.99 |
Regular |
|
0 – 39.99 |
Pobre |
Nota. Adaptado de la Evaluación de calidad en el uso del sistema web/móvil para verificación de asistencia a clases tanto de docentes y estudiantes usuando la norma ISO/IEC 25000 SQuaRe, por Guaña et al. (2019)
La recolección de datos se llevó a cabo utilizando una encuesta como método, y creación de una página web para levantar información de los encuestados como técnica.
La interpretación de la información se llevó a cabo utilizando un lenguaje de consulta estructurado en la base de datos de SqlServer2014, el uso del paquete estadístico SPSS y análisis estadístico descriptivo.
RESULTADOS
La confiabilidad de todos los indicadores se evaluó mediante el coeficiente alfa Cronbach mostrado en la Tabla 10.
Tabla 10. Estadísticas de confiabilidad para las variables
|
Sistema |
Dimensión |
Alfa de Cronbach |
Número de indicadores |
|
SEGA Administrativo Tradicional |
Efectividad |
.468 |
3 |
|
Eficiencia |
.866 |
3 |
|
|
Utilidad |
.859 |
5 |
|
|
Confianza |
.847 |
2 |
|
|
Placentero |
.840 |
4 |
|
|
Interface de Usuario |
.770 |
2 |
|
|
Aprendizaje en el Uso |
.905 |
4 |
|
|
SEGA Tutorías Web |
Efectividad |
.685 |
3 |
|
Eficiencia |
.862 |
3 |
|
|
Utilidad |
.912 |
5 |
|
|
Confianza |
.854 |
2 |
|
|
Placentero |
.894 |
4 |
|
|
Interface de Usuario |
.782 |
2 |
|
|
Aprendizaje en el Uso |
.914 |
4 |
|
|
SEGA Maestros Web |
Efectividad |
.661 |
3 |
|
Eficiencia |
.880 |
3 |
|
|
Utilidad |
.918 |
5 |
|
|
Confianza |
.805 |
2 |
|
|
Placentero |
.911 |
4 |
|
|
Interface de Usuario |
.797 |
2 |
|
|
Aprendizaje en el Uso |
.931 |
4 |
De acuerdo a Rovai et al. (2013) citado en Alzoubi (2016), un alfa de Cronbach de .70 a <.90 indica alta confiabilidad y .50 a <.70 indica confiabilidad moderada. El análisis de confiabilidad en los sistemas evaluados indicó un alfa de Cronbach> .50 en los elementos a excepción de la dimensión Efectividad en el SEGA Administrativo Tradicional el cual fue de .468. Por lo anterior se llevó un análisis sobre la situación y se encontró que los encuestados respondieron que hay Tareas que no afectan el cumplimiento de los Objetivos y otras que sí, y por lo anterior se ve reducido el nivel de relación entre los indicadores de la dimensión.
Objetivo: Nivel de aceptación de la tecnología mediante una calificación en la Experiencia de usuario
El resultado del Nivel de calificación en la experiencia de usuario por sistema presenta en la Tabla 11:
Tabla 11.Nivel de calificación en la experiencia de usuario basado en los rangos de puntuación para las métricas
|
Sistema |
Experiencia de Usuario |
|
|
Porcentaje promedio del resultado de la función de medición |
Nivel de Calificación |
|
|
SEGA Administrativo Tradicional |
81.77 |
Excelente |
|
SEGA Tutorías Web |
78.14 |
Bueno |
|
SEGA Maestros Web |
81.07 |
Excelente |
El Nivel de aceptación de la tecnología mediante una calificación en la experiencia de usuario basado en los rangos de puntuación para las métricas por dimensión en cada uno de los sistemas indicaron una calificación en la experiencia de usuario de Bueno a Excelente, por lo que se acepta la hipótesis del investigador H11.
DISCUSIÓN
La recopilación de información cuantitativa sobre la experiencia del usuario utilizando tecnología diferencial semántica es bastante eficiente. Pero esta eficiencia también tiene algunos problemas al hacer el cuestionamiento de ¿qué características internas y externas del producto se deben cambiar para mejorar la experiencia del usuario?.
Para futuras investigaciones es importante sustituir los atributos por preguntas, en las cuales describan a detalle lo que se desea evaluar, dado que cada usuario entiende de diferente manera cada atributo y lo anterior impacta negativamente en las correlaciones entre los mismos.
Para lograr mejores resultados se debe tomar en cuenta que al evaluar la experiencia de usuario se deben analizar los diferentes tipos de roles que juegan los usuarios al utilizar el sistema, es decir, no todos los usuarios tienen las mismas responsabilidades. Lo anterior se manifestó en el sistema SEGA Administrativo Tradicional, donde ciertos usuarios son encargados de ejecutar procesos importantes como son el cierre de ciclo escolar, estadísticas, etc., y otros usuarios solo la consulta de kardex y/o horarios. Lo anterior se refleja considerablemente en el impacto de un error o lentitud del sistema en el cumplimiento de sus tareas y consecuentemente en el cumplimiento de los objetivos del área usuaria.
CONCLUSIONES
La evaluación de la experiencia de usuario es importante para lograr una sinergía entre las personas y el uso de los sistemas de información. Dado la anterior, en la presente investigación se determinó que el Nivel de calificación en la experiencia de usuario basado en los rangos de puntuación para las métricas por dimensión en cada uno de los sistemas indicaron un Nivel de calificación en la experiencia de usuario de Bueno a Excelente. Dado la anterior se acepta la hipótesis del investigador H11 en la cual se indica que el nivel de aceptación de la tecnología mediante una calificación en la experiencia de usuario en los sistemas de información de la Coordinación General de Tecnologías de Información de la UACH es de Bueno a Excelente.
El presente estudio contribuye sustancialmente a elevar la calidad en los procesos de desarrollo de software, al generar conocimiento importante al saber si los sistemas de información están satisfaciendo los requerimientos de efectividad, eficiencia, utilidad, confianza, seguridad, interface de usuario y aprendizaje en el uso en un contexto real de uso.
REFERENCIAS BIBLIOGRAFICAS
Albert, Bill., & Tullis, Tom. (2023). Measuring the User Experience: Collecting, Analyzing, and Presenting UX Metrics. Third Edition. Morgan Kaufmann. ISBN: 978-0-12-818080-8
Alvarado, R., Acosta, K., & Buonaffina, Y. (2018). Necesidad de los sistemas de información gerencial para la toma de decisiones en las organizaciones. InterSedes, 19(39), 17-31.
https://dx.doi.org/10.15517/isucr.v19i39.34067
Alves, J., Von, C., Cardoso, T., Savaris, A., & Von, A. (2015). AdEQUATE Software Quality Evaluation Model v1.0. Brazilian Institute Fo Digital Convergence, (January 2017), 30.
https://doi.org/10.13140/RG.2.1.2402.0568
Alzoubi, M. (2016). Evaluating the Enterprise Resource Planning (ERP) Systems’ Success at the Individual Level of Analysis in the Middle East. ProQuest Dissertations and Theses, (957), 139.
Bevan, N. (1999). Quality in use: Meeting user needs for quality. Journal of Systems and Software, 49(1), 89–96. https://doi.org/10.1016/S0164-1212(99)00070-9
Davis, F. D. (1989). Perceived Usefulness , Perceived , And User Acceptance. MIS Quarterly, 13(3), 319–339.
Díaz, I., López, G., Quesada, L., & Guerrero, L. (2019). Standardized Questionnaires for User Experience Evaluation: A Systematic Literature Review. Proceedings, 31(1), 14.
https://doi.org/10.3390/proceedings2019031014
Cota, M., Thomaschewski, J., Schrepp, M., & Gonçalves, R. (2014). Efficient measurement of the user experience. A Portuguese version. Procedia Computer Science, 27(34), 491–498.
https://doi.org/10.1016/j.procs.2014.02.053
Fathema, N., Shannon, D., & Ross, M. (2015). Expanding The Technology Acceptance Model ( TAM ) to Examine Faculty Use of Learning Management Systems ( LMSs ) In Higher Education Institutions, 11(2), 210–232.
Feng, L., & Wei, W. (2019). An empirical study on user experience evaluation and identification of critical UX issues. Sustainability, 11(8). https://doi.org/10.3390/su11082432
González, J., García, R., Brunetti, J., Gil, R., & Gimeno, J. (2013). Using SWET-QUM to compare the quality in use of semantic web exploration tools. Journal of Universal Computer Science, 19(8), 1025–1045.
Grossman, T., Fitzmaurice, G.W., & Attar, R. (2009). A survey of software learnability: metrics, methodologies and guidelines. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. https://www.tovigrossman.com/papers/2009%20chi%20learnability.pdf
Guaña, E., Rosado, S., & Quijosaca, F. (2019). Evaluación de la calidad en uso de un sistema web/ móvil de control de asistencia a clases de docentes y estudiantes aplicando la norma ISO/IEC 25000 SQuaRe. Revista Ibérica de Sistemas e Tecnologias de Información, (E19), 108–120.
Hinderks, Andreas., Schrepp ,Martin., Domínguez, Mayo F., Escalona M., Thomaschewski, Jörg. (2019). Developing a UX KPI based on the User Experience Questionnaire. Computer Standards & Interfaces. Consultado en :
International Organization for Standardization. (2011). BS ISO IEC 25010:2011. Systems and software engineering-Systems and software Quality Requirements and Evaluation (SQuaRE) - System and softwre quality models. BSI Standards Publications.
ISO 25000 Software Product Quality. (2019). The ISO/IEC 25000 series of standards. Recuperado de https://iso25000.com/index.php/en/iso-25000-standards
ISO/IEC 25040. (2009). Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) – Evaluation reference model and guide.
Kendall, K., & Kendall, J. (2011). Análisis y diseño de sistemas (Octava edi). México: PEARSON EDUCACIÓN.
Kurosu, M. (2015). Usability, Quality in Use and the Model of Quality Characteristics. International Conference on Human-Computer Interaction. https://doi.org/10.1007/978-3-319-20901-2
Lew, P., Olsina, L., & Zhang, L. (2010). Integrating quality, quality in use, actual usability and user experience. 2010 6th Central and Eastern European Software Engineering Conference, CEE-SECR 2010, (October), 117–123. https://doi.org/10.1109/CEE-SECR.2010.5783161
Lingyun, Q., & Dong, L. (2008). Applying TAM in B2C E-Commerce Research : An Extended Model. TSINGHUA SCIENCE AND TECHNOLOGY, 13(3), 265–272.
Ma, Q., & Liu, L. (2011). The Technology Acceptance Model. Advanced Topics in End User Computing., 4(October 2017). https://doi.org/10.4018/9781591404743.ch006.ch000
Rauschenberger, M., Schrepp, M., Perez, M., Olschner, S., & Thomaschewski, J. (2013). Efficient Measurement of the User Experience of Interactive Products. How to use the User Experience Questionnaire (UEQ).Example: Spanish Language Version. International Journal of Interactive Multimedia and Artificial Intelligence, 2(1), 39. https://doi.org/10.9781/ijimai.2013.215
Ribeiro, E., Soares, J., & Thé, G. (2017). A Method for Quality Evaluation of Supervision Software Using Fuzzy Concepts and the International Standard ISO / IEC 25000. Journal of Control, Automation and Electrical Systems, 28(3), 389–404. https://doi.org/10.1007/s40313-017-0303-5
Santos P. J., Badre A. N. (1995). Discount learnability evaluation. Graphics, Visualization & Usability Center, Georgia Institute of Technology, 1995.
https://minesweepergame.com/research/discount-learning-evaluation-1995.pdf
Sifuentes, Y. M., & Peralta, J. L. (2022). Modelo de medición y evaluación de calidad del software basado en la norma ISO/IEC 25000 para medir la usabilidad en productos de software académicos universitarios. TecnoHumanismo. Revista Científica. Volumen 2 / No. 4. SSN: 2710-2394, pp. 44-66.
Zarour, M. (2018). The use of evaluation theory and square standards to develop user needs experience evaluation method. Journal of Engineering Technology, 6(1), 46–65.
ANEXOS
Anexo 1
Encuesta para evaluar la experiencia de usuario en el sistema de información _______________________________ desarrollado en el Departamento de Sistemas de Información de la Coordinación General de Tecnologías de Información UACH.
Instrucciones
La evaluación se compone de pares opuestos de los atributos que pueden tener el sistema de información. Al marcar uno de los círculos, usted está expresando el nivel de aprobación del atributo.
Por lo tanto, en el ejemplo anterior se evaluó que el sistema es más atractivo que feo.
¡Muchas gracias por su colaboración!
|
Efectividad |
|||||||
|
1 |
Se cumplen objetivos |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
No se cumplen objetivos |
|
2 |
No se completan tareas |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Se completan tareas |
|
3 |
Sin fallas |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Tiene fallas |
|
Eficiencia |
|||||||
|
4 |
Rápido |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Lento |
|
5 |
Optimiza recursos |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
No optimiza recursos |
|
6 |
Ineficiente |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Eficiente |
|
Utilidad |
|||||||
|
7 |
Bueno |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Malo |
|
8 |
Insuficiente información |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Suficiente información |
|
9 |
No Satisfactorio |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Satisfactorio |
|
10 |
No interesante |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Interesante |
|
11 |
Incompleto |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Completo |
|
Confianza |
|||||||
|
12 |
Seguro |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Inseguro |
|
13 |
Cubre expectativas |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
No cubre expectativas |
|
Placentero |
|||||||
|
14 |
Sin imaginación |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Creativa |
|
15 |
Desagradable |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Agradable |
|
16 |
Atractivo |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Feo |
|
17 |
Incomodo |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Cómodo |
|
Interface de usuario |
|||||||
|
18 |
Organizada |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Desorganizada |
|
19 |
Consistente |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Inconsistente |
|
Aprendizaje en el Uso |
|||||||
|
20 |
No entendible |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Entendible |
|
21 |
Complicado de usar |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Fácil de usar |
|
22 |
Claro |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Confuso |
|
23 |
Fácil de aprender |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
ᴑ |
Difícil de aprender |
Adaptación del Cuestionario de Experiencia de Usuario (UEQ por sus siglas en Ingles) de los autores Rauschenberger et al., (2013) diseñado para cubrir una impresión integral de la experiencia del usuario.