Invernizzi, Noela, and Amílcar Davyt. 2019. “Críticas recientes a la evaluación de la investigación: ¿vino nuevo en odres viejos?” Redes: Revista de estudios sociales de la ciencia y la tecnología 25 (49): 233–52.
This paper presents an analysis of a group of manifestos that criticize the use of quantitative indicators to assess scientific production.
Resumen
Español
Este artículo examina las críticas recientes a la evaluación de la producción científica plasmadas en siete documentos / manifiestos publicados entre 2010 y 2016. Los objetivos planteados son de dos tipos: a) examinar y valorar las críticas a la evaluación de la ciencia –académica– realizadas en los mencionados manifiestos y b) comparar esas críticas con las realizadas en décadas anteriores, indagando si hay identidades, divergencias, cuestiones viejas y emergentes. Los textos fueron seleccionados llevando en consideración su amplia divulgación y la discusión que suscitaron. El estudio fue realizado a partir de un análisis de contenido de los textos y de su contextualización mediante revisión de literatura. Concluimos que la mayor parte de las críticas a la evaluación de la producción científica realizada en los manifiestos no es nueva, aunque hay un claro desplazamiento del centro de la discusión desde la revisión por pares hacia la evaluación cuantitativa mediante indicadores bibliométricos. Es evidente también que algunas críticas, como las que señalan un deterioro en la calidad y relevancia de la actividad científica, han ido adquiriendo más fuerza en los últimos años, conforme la escala y la eficiencia de aplicación de la evaluación cuantitativa se han ido ampliando y sus efectos sobre la dinámica de producción de conocimiento y la actividad universitaria tienden a manifestarse más claramente.
English
This article examines recent critiques of scientific evaluation exposed in seven documents-manifestos published between 2010 and 2016. The goals are twofold: a) to examine and assess the critiques of (academic) science evaluation contained in the aforementioned manifestos and b) to compare these critiques with those made in previous decades, exploring the identities, divergences, old and emergent issues. The texts were selected taking into consideration their wide dissemination and the discussion they prompted. The study was carried out through content analysis of the texts and their contextualization through a literature review. We concluded that most of the critiques to science evaluation depicted in the manifestos are not new; however, there is a clear displacement of the center of the discussion from peer review towards quantitative bibliometric assessment. It is also evident that some critiques, particularly those calling attention to the degradation of scientific quality and relevance, became stronger over the past decade, following the increasing scale and efficiency of the application of quantitative evaluation methods, making more evident their effects on knowledge production and the academic activity.
Source
Invernizzi, Noela, and Amílcar Davyt. 2019. “Críticas recientes a la evaluación de la investigación: ¿vino nuevo en odres viejos?” Redes: Revista de estudios sociales de la ciencia y la tecnología 25 (49): 233–52.
Noela Invernizzi and Amilcar Davyt, 1 September 2021, "Invernizzi, Noela, and Amílcar Davyt. 2019. “Críticas recientes a la evaluación de la investigación: ¿vino nuevo en odres viejos?” Redes: Revista de estudios sociales de la ciencia y la tecnología 25 (49): 233–52.", contributed by Noela Invernizzi, STS Infrastructures, Platform for Experimental Collaborative Ethnography, last modified 1 September 2021, accessed 22 November 2024. https://stsinfrastructures.org/content/invernizzi-noela-and-amílcar-davyt-2019-“críticas-recientes-la-evaluación-de-la
Critical Commentary
This paper presents an analysis of a group of manifestos that criticize the use of quantitative indicators to assess scientific production.
Este artículo examina las críticas recientes a la evaluación de la producción científica plasmadas en siete documentos / manifiestos publicados entre 2010 y 2016. Los objetivos planteados son de dos tipos: a) examinar y valorar las críticas a la evaluación de la ciencia –académica– realizadas en los mencionados manifiestos y b) comparar esas críticas con las realizadas en décadas anteriores, indagando si hay identidades, divergencias, cuestiones viejas y emergentes. Los textos fueron seleccionados llevando en consideración su amplia divulgación y la discusión que suscitaron. El estudio fue realizado a partir de un análisis de contenido de los textos y de su contextualización mediante revisión de literatura. Concluimos que la mayor parte de las críticas a la evaluación de la producción científica realizada en los manifiestos no es nueva, aunque hay un claro desplazamiento del centro de la discusión desde la revisión por pares hacia la evaluación cuantitativa mediante indicadores bibliométricos. Es evidente también que algunas críticas, como las que señalan un deterioro en la calidad y relevancia de la actividad científica, han ido adquiriendo más fuerza en los últimos años, conforme la escala y la eficiencia de aplicación de la evaluación cuantitativa se han ido ampliando y sus efectos sobre la dinámica de producción de conocimiento y la actividad universitaria tienden a manifestarse más claramente.
This article examines recent critiques of scientific evaluation exposed in seven documents-manifestos published between 2010 and 2016. The goals are twofold: a) to examine and assess the critiques of (academic) science evaluation contained in the aforementioned manifestos and b) to compare these critiques with those made in previous decades, exploring the identities, divergences, old and emergent issues. The texts were selected taking into consideration their wide dissemination and the discussion they prompted. The study was carried out through content analysis of the texts and their contextualization through a literature review. We concluded that most of the critiques to science evaluation depicted in the manifestos are not new; however, there is a clear displacement of the center of the discussion from peer review towards quantitative bibliometric assessment. It is also evident that some critiques, particularly those calling attention to the degradation of scientific quality and relevance, became stronger over the past decade, following the increasing scale and efficiency of the application of quantitative evaluation methods, making more evident their effects on knowledge production and the academic activity.