Los artículos científicos son una de las principales fuentes de información en materia de investigación, para ser publicados en un medio adecuado (revista) deben pasar por un proceso estructurado. Sin embargo, la reciente crisis sanitaria a causa de la COVID-19 ha provocado que estos escritos hayan sido aprobados en un tiempo menor al que estaban sujetos. Aquí, analizamos artículos científicos ya publicados sobre la COVID-19, a través del índice de Legibilidad “Flesch Reading Ease” (FRE) y su relación con el factor de impacto para conocer el estado de legibilidad de la nueva información. Encontramos una relación entre el índice de Legibilidad y el factor de impacto, la cual debe ser corroborada con más estudios. También, observamos una puntuación baja en los escritos; aunque, esto ya se esperaba. Lo que nos hizo preocuparnos fue que, al igual la información científica especializada, la información para el público en general tiende a un bajo puntaje. Esto indica que debemos buscar una forma más adecuada de comunicar la nueva información de la literatura médica al público en general.

Keywords: legibilidad; artículos científicos; factor de impacto; covid-19; calidad.

The readability index and the impact factor

on recent covid-19 papers

ABSTRACT

Scientific articles are one of the main sources of research information, to be published in an appropriate medium (journal) they must go through a well-structured process. However, the recent health crisis by COVID-19 has caused these writings to be approved in less time than they were subject to. Here, we analyzed already published papers on COVID-19, through the Readability index (“Flesch Reading Ease” score formula) and its relationship with the impact factor to know the readability status of the new information. We found a relationship between the Readability index and the impact factor, which should be corroborated by more studies. A low score is also observed in the papers; however, this was already expected. What made us concerned was that, as specialized scientific information, information for the general public tends to have low scores. This indicates that we should look for a more appropriate way to communicate new information in the medical literature to the general public.

Keywords: readability; scientific papers; impact factor; covid-19; quality.

Artículo recibido 15 febrero 2023

Aceptado para publicación: 15 marzo 2023

INTRODUCCIÓN

El discurso es parte esencial de la comunicación para la sociedad; este puede ser escrito, oral y/o visual. Dentro del mundo de la ciencia, una de las principales fuentes de comunicación son los artículos científicos, estos son una forma de divulgar nuestros hallazgos, ideas y/o razones de manera clara, oportuna y directa; significan la finalización de nuestro trabajo (UNESCO, 1983). Todos los escritos pasarán por un proceso de validación para su publicación (Day, 2005).

Actualmente, existen servicios en línea que nos permiten acceder al contenido de más de 10.000 revistas indexadas de ciencia, tecnología, ciencias sociales, artes y humanidades; así como, utilizar un sistema de búsqueda basado en “palabras clave”. Esto ha llevado al desarrollado de métricas que intentan evaluar la calidad, impacto y/o seguimiento del trabajo científico. Uno de los índices que han surgido es el “factor de impacto”. El Factor de Impacto (FI) o Journal Impact Factor (JIF) es un índice que refleja el promedio anual del número de citas de los artículos publicados en los dos últimos años de una revista. El FI se sigue utilizando a pesar de la controversia generada desde hace varios años (Garfield, 2005)(McKiernan et al., 2019).

De igual forma, es conocido que múltiples factores llevan a los editores a rechazar un escrito enviado para su revisión por pares (Pierson, 2004), tales como problemas de diseño del estudio, problemas de redacción, falta de originalidad, una pregunta de investigación insignificante, falta de revisión bibliográfica, problemas de congruencia, así como la legibilidad, entre otros (Bordage, 2001)(Bornmann & Hans-Dieter, 2009). Todo esto nos hizo cuestionarnos cual es el estado actual de los trabajos publicados.

Ante el surgimiento de una emergencia sanitaria, tras el brote de un nuevo virus denominado SARS-CoV-2, esta pandemia mundial ha causado más de 670 millones de casos y más de 6,8 millones de muertes hasta el 02 de febrero de 2023 (8. Johns Hopkins Coronavirus Resource Center, 2023). La infección de la COVID-19 ha llevado a muchos grupos de investigación a dedicarse al estudio emergente de la nueva enfermedad, este evento ha generado una tremenda ola de nueva información en un espacio de tiempo relativamente corto. La base de datos "PubMed.gov" de la "Biblioteca Nacional de Medicina estadounidense" arrojaba las siguientes cantidades de escritos por año, utilizando la palabra "COVID-19" en su buscador; 295 en 2019; 92 418 en 2020; y 73 992 (hasta julio de 2021, fecha de conclusión de este estudio). Con el objetivo de evaluar el estado de la información generada de 2019 hasta julio 2021, revisamos resúmenes (abstracts) de meta-análisis sobre la COVID-19 con el índice de "Legibilidad" (Flesch, 1949); a su vez, buscamos si este está relacionado con el factor de impacto de la revista.

METODOLOGÍA

Estrategia de búsqueda

Se realizó una búsqueda dentro del portal de PubMed (https://pubmed.ncbi.nlm.nih.gov/) con las siguientes palabras clave: (COVID-19), (diagnosis), (treatment). Después, se aplicaron los siguientes filtros a los resultados dentro de la propia página: TEXT AVAILABILITY: abstract y ARTICLE TYPE: Meta-Analisis. Se obtuvieron 262 resultados (26 de abril de 2021). Se descartaron algunos artículos por no cumplir con el tema solicitado, de igual manera, se excluyeron protocolos de investigación y artículos no terminados. Se obtuvo un resultado de 235.

Posteriormente, se realizó un conteo de palabras con las herramientas de Microsoft Word 2016 de la paquetería de Office Professional Plus 2016. Para homogeneizar la muestra solo se aceptaron textos que promediaran entre 200 y 300 palabras. Este número se tuvo en cuenta al ser considerado el número promedio requerido en el resumen (abstract) de una revista típica de esta materia. El nuevo número fue 149; sin embargo, en siete de estos artículos no fue posible encontrar el factor de impacto de la revista en la que fue publicado. El número final fue de 142 escritos con una media aritmética de 246.11 palabras. De los cuales 139 fueron meta-análisis y 3 revisiones. Asimismo, 103 eran abstracts estructurados, es decir, tenían subtítulos que fueron eliminados en su conteo total de palabras; 39 no estaban estructurados, Figura 1.

Figura 1. Estrategia de búsqueda para la obtención de artículos científicos en la base de datos PubMed, publicados en revistas indexadas en la publicación anual JCR.

Legibilidad

Para delimitar este estudio, lo hemos centrado en un reconocido criterio llamado índice de legibilidad. La definición de Edgar Dale y Jeanne Chall (1949) dice que es la suma total (incluidas todas las interacciones) de todos esos elementos dentro de una determinada pieza de material impreso que afectan el éxito de un grupo de lectores. El éxito es la medida en que lo entienden, leyéndo a una velocidad óptima y encontrándolo interesante (DuBay, 2007). En 1948, en su trabajo “A New Readability Yardstick” (Flesch, 1948a), R. Flesch publicó una fórmula que busca la “facilidad de lectura”, a través de la longitud promedio de las palabras en sílabas, es decir, el número de sílabas por cada 100 palabras. Al cual se le asignó un valor en una escala de 0 a 100, Tabla 1. Flesch pensó que sus fórmulas podrían ser utilizadas para la enseñanza de la escritura y así ayudar a los escritores a ser más claros. En 1949 publicó el libro “The Art of Readable Writing" (Flesch, 1949)(Flesch, 1943) el cual obtuvo un gran éxito popular. Nuestro estudio utilizó la fórmula “Flesch Reading Ease Score” (FRES) para el análisis de los artículos, en la calculadora del sitio web “Readability Formulas” (https://readabilityformulas.com/).

Tabla 1. Valores de puntuación de la fórmula “Flesch Reading Ease Score”

Puntuación	Descripción	Literatura típica
0 a 30	Muy difícil	Científica
30 a 50	Difícil	Académica
50 a 60	Bastante difícil	Libros de texto
60 a 70	Estándar	Novelas
70 a 80	Bastante fácil	Periódicos
80 a 90	Fácil	Revistas Pulp-Fiction
90 a 100	Muy fácil	Historietas cómicas

Evaluación del factor de impacto

Se consultó el factor de impacto (IF) de las revistas seleccionadas en el JCR 2020, estos oscilaron entre 1.084 y 45.54. Posteriormente, se clasificaron según su FI en cinco grupos (Tabla 2), a los que se les obtuvo su FRES media. Observando las medias de los grupos, distribuidas según el IF de las revistas, se puede observar preliminarmente un ligero descenso en su puntuación, Figura 2.

Tabla 2. Distribución de los artículos científicos según su factor de impacto (IF).

Grupo	Número de artículos	Rango IF	FRES media
A	29	1 – 1.9	44.21
B	44	2 – 2.9	42.75
C	30	3 – 3.9	40.23
D	27	4 – 6.9	40.47
E	12	7 – 45.54	37.45

Figura 2. Medias de la puntuación FRES de los distintos grupos. Las medias se muestran con el error estándar de la media (SEM).

RESULTADOS Y DISCUSIÓN

A finales de 2019 surgió una crisis sanitaria que actualmente afecta a la población mundial, la Organización Mundial de la Salud (OMS) la declaró pandemia (World Health Organization, 2020). Por este motivo, muchos grupos de investigación han impulsado el estudio del nuevo virus emergente, denominado SARS-CoV-2.

Como parte de la necesidad de información sobre esta nueva enfermedad, se ha aprobado una gran cantidad de artículos científicos en un tiempo relativamente corto. La comunicación escrita es fundamental en tiempos de crisis, Edworthy et al., 2015, han demostrado que los mensajes escritos son más precisos a la hora de transmitir información. Por eso, nos preguntamos por la calidad de los escritos, ciertamente, no cuestionamos su contenido, pues como ya se sabe que para ser aceptado en una revista científica hay procesos bien estructurados que pueden demorar hasta un año.

Aunque, las fórmulas de legibilidad no fueron creadas para este propósito pueden darnos un indicio (Flesch, 1948b). Y es que varios estudios ya han constatado que las fuentes en Internet para el gran público no son tan fáciles de leer (Basch et al., 2020)(Kruse et al., 2021)(Ferguson et al., 2021). Sin embargo, en textos especializados con lenguaje altamente técnico para audiencias muy particulares, se recomienda el uso de lenguaje técnico, de lo contrario, parte del mensaje perdería sentido (Siebörger et al., 2011).

Así pues, dentro de la explicación de Flesch (1948) ya se predecía la baja puntuación que recibiría un artículo científico; aquí, encontramos esa predicción esperada. De igual manera, coincidimos con Yeung et al., 2018, en que las revistas con un factor de impacto más alto tienden a ser menos fáciles de leer. Asimismo, Pláven-Sigray et al. 2017, han observado una disminución en la puntuación FRES en un estudio con artículos de hace más de un siglo.

Por otro lado, Sawyer et al. 2008, encontraron que los artículos que han ganado premios tienden a ser más fáciles de leer. Aunque, Beaglehole (2010) menciona que las fórmulas son manipulables porque en su estudio la acción de insertar puntos altera la información.

Lo que demuestra que los artículos científicos mantienen y aparentemente conservarán esta tendencia de baja puntuación.

Lo que debemos recordar es la otra terrible situación que trajo la pandemia de la COVID-19, la infodemia. Las medidas tomadas a nivel nacional, local y/o personal han creado una atmósfera de información falsa (Scheufele et al., 2019), lo que ha difundido desinformación en Internet (Cuan-Baltazar et al., 2020). Creando polarización de la información en el público en general (Escandón et al., 2021). Afortunadamente, instituciones de renombre como la OMS han creado campañas para luchar contra la desinformación (Zarocostas et al., 2020).

CONCLUSIONES

Se ha observado una puntuación FRES baja en los artículos científicos, típica de los escritos científicos. Sin embargo, ante la crisis que ocasionó la pandemia de la COVID-19 aprendimos que hay que tomar las medidas necesarias para brindar información en campañas enfocadas al público en general dentro de su contexto sociocultural, derivadas de estos escritos científicos para evitar la desinformación. Entonces, será necesario mejorar el índice de legibilidad entre los textos científicos y la información al publico general.

LISTA DE REFERENCIAS

Basch, C. H., Mohlman, J., Hillyer, G. C., & Garcia, P. (2020). Public Health Communication in Time of Crisis: Readability of On-Line COVID-19 Information. Disaster medicine and public health preparedness, 14(5), 635–637. https://doi.org/10.1017/dmp.2020.151

Beaglehole, V.J. The Full Stop Effect: Using Readability Statistics with Young Writers. Journal of Literacy and Technology. 2010;11(4):55-83.

Bordage, G. (2001). Reasons reviewers reject and accept manuscripts: the strengths and weaknesses in medical education reports. Academic medicine : journal of the Association of American Medical Colleges, 76(9), 889–896. https://doi.org/10.1097/00001888-200109000-00010

Bornmann, L. & Hans-Dieter, D. The extent of type I and type II errors in editorial decisions: A case study on Angewandte Chemie International Edition. Journal of Informetrics. 2009;3:348-352. https://doi.org/10.1016/j.joi.2009.05.002

Cuan-Baltazar, J. Y., Muñoz-Perez, M. J., Robledo-Vega, C., Pérez-Zepeda, M. F., & Soto-Vega, E. (2020). Misinformation of COVID-19 on the Internet: Infodemiology Study. JMIR public health and surveillance, 6(2), e18444. https://doi.org/10.2196/18444

Day, R. (2005) Cómo escribir y publicar trabajos científicos. Washington: Organización Panamericana de la Salud. Publicación Científica. https://www.paho.org/hq/dmdocuments/como-escribir-escritos-cientificos-2010.pdf

DuBay, W.H. (2007) Smart Language: Readers, Readability, and the Grading of Text ISBN: 1-J4196-5439-X. https://files.eric.ed.gov/fulltext/ED506403.pdf

Edworthy, J., Hellier, E., Newbold, L., & Titchener, K. (2015). Passing crisis and emergency risk communications: the effects of communication channel, information type, and repetition. Applied ergonomics, 48, 252–262. https://doi.org/10.1016/j.apergo.2014.12.009

Escandón, K., Rasmussen, A. L., Bogoch, I. I., Murray, E. J., Escandón, K., Popescu, S. V., & Kindrachuk, J. (2021). COVID-19 false dichotomies and a comprehensive review of the evidence regarding public health, COVID-19 symptomatology, SARS-CoV-2 transmission, mask wearing, and reinfection. BMC infectious diseases, 21(1), 710. https://doi.org/10.1186/s12879-021-06357-4

Ferguson, C., Merga, M., & Winn, S. (2021). Communications in the time of a pandemic: the readability of documents for public consumption. Australian and New Zealand journal of public health, 45(2), 116–121. https://doi.org/10.1111/1753-6405.13066

Flesch, R. (1943). Marks of readable style, a study in adult education New York: Bur. of Publ, Teachers Coll., Columbia Univ., (Contr. to Educ. No. 897.).

Flesch R. (1948a). A new readability yardstick. The Journal of applied psychology, 32(3), 221–233. https://doi.org/10.1037/h0057532

Flesch, R. A. (1948b). Readability Formula In Practice. Elementary English. 1948;25(6):344–351. http://www.jstor.org/stable/41387302

Flesch, R.A. (1949).The Art of Readable Writing. New York: Harper.

Garfield, E. (2005). The Agony and the Ecstasy—The History and Meaning of the Journal Impact Factor. International Congress on Peer Review and Biomedical Publication. 2005;1-22. Available from: http://www2.psych.utoronto.ca/users/psy3001/files/JCR.pdf

Johns Hopkins Coronavirus Resource Center. (2023). Available from: https://coronavirus.jhu.edu/map.html

Kruse, J., Toledo, P., Belton, T. B., Testani, E. J., Evans, C. T., Grobman, W. A., Miller, E. S., & Lange, E. M. S. (2021). Readability, content, and quality of COVID-19 patient education materials from academic medical centers in the United States. American journal of infection control, 49(6), 690–693. https://doi.org/10.1016/j.ajic.2020.11.023

McKiernan, E. C., Schimanski, L. A., Muñoz Nieves, C., Matthias, L., Niles, M. T., & Alperin, J. P. (2019). Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. eLife, 8, e47338. https://doi.org/10.7554/eLife.47338

Pierson D. J. (2004). The top 10 reasons why manuscripts are not accepted for publication. Respiratory care, 49(10), 1246–1252.

Plavén-Sigray, P., Matheson, G. J., Schiffler, B. C., & Thompson, W. H. (2017). The readability of scientific texts is decreasing over time. eLife, 6, e27725. https://doi.org/10.7554/eLife.27725

Sawyer, A. G., Laran, J., & Xu, J. (2008). The Readability of Marketing Journals: Are Award-Winning Articles Better Written? Journal of Marketing, 72(1), 108–117. https://doi.org/10.1509/jmkg.72.1.108

Scheufele, D. A., & Krause, N. M. (2019). Science audiences, misinformation, and fake news. Proceedings of the National Academy of Sciences of the United States of America, 116(16), 7662–7669. https://doi.org/10.1073/pnas.1805871115

Siebörger, I. & Adendorff, R.A. (2011). ‘Can Contracts Be Both Plain and Precise?’, Southern African Linguistics and Applied Language Studies, 29(4), 483– 504.

UNESCO. (1983). Guía para la redacción de artículos científicos destinados a la publicación. 2 ed. París: UNESCO. https://blog.uclm.es/ceti/files/2015/07/06_Guia_UNESCO.pdf

World Health Organization (WHO). (2020). Coronavirus disease (COVID-19) pandemic. https://www.who.int/emergencies/diseases/novel-coronavirus2019.

Yeung, A. W. K., Goto, T. K., & Leung, W. K. (2018). Readability of the 100 Most-Cited Neuroimaging Papers Assessed by Common Readability Formulae. Frontiers in human neuroscience, 12, 308. https://doi.org/10.3389/fnhum.2018.00308

Zarocostas J. (2020). How to fight an infodemic. Lancet (London, England), 395(10225), 676. https://doi.org/10.1016/S0140-6736(20)30461-X