Este mes, me gustaría discutir las inquietudes entre muchos de nuestra comunidad con respecto a cómo se evalúa la calidad de la investigación.
Como mencioné en mi último mensaje, para las empresas, dicha evaluación es relativamente sencilla: Se puede consultar la columna de pérdidas y ganancias. En la investigación académica, las medidas de éxito son más complejas, y hacer justicia a la ciencia requiere un análisis multidimensional. Desafortunadamente, quienes en última instancia deciden sobre la financiación de la investigación no son necesariamente expertos, y con demasiada frecuencia, se fijan principalmente en la bibliometría, por ejemplo, el número de citas que ha atraído una publicación o un investigador, el índice h del investigador, etc.
Si bien se puede afirmar que el número de citas tiene algún significado como indicador de la influencia de un artículo o investigador en un campo determinado, la evaluación es más difícil para los artículos muy recientes que no han tenido tiempo de atraer citas. En este caso, se acostumbra a observar las citas que una revista en particular ha atraído en el pasado, utilizando una medida como el Factor de Impacto de la firma de análisis Clarivate. Sin embargo, la relación entre la calidad de un trabajo de investigación y el rendimiento a largo plazo de la revista en la que se publica es, como mínimo, extremadamente indirecta. No obstante, algunas agencias de financiación exigen que los resultados de los proyectos se publiquen únicamente en una revista que se encuentre en el cuartil superior según el factor de impacto. Esta no es una buena noticia.
Hace once años, un grupo de editores y editoriales formuló recomendaciones a agencias de financiamiento, instituciones académicas, revistas, organizaciones que suministran métricas e investigadores individuales. Estas fueron plasmadas en la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA; sfdora.org). Más de 24.000 personas y organizaciones (incluida Optica) en 165 países han firmado la declaración durante la última década. Inclusive, en diciembre de 2023, uno de los firmantes, la Universidad de la Sorbona de París, suspendió su suscripción a las herramientas bibliométricas (incluyendo Web of Science) ofrecidas por Clarivate. Sin embargo, algunas organizaciones todavía se fijan en indicadores superficiales de calidad, y el Factor de Impacto, un criterio de calidad dudoso, para un trabajo de investigación individual, se sigue utilizando.
Todos podemos estar de acuerdo en que todo artículo científico merece ser revisado a fondo. Para la mayoría de los artículos, esto sucede varias veces, y de forma independiente: por la revista en el proceso de revisión por pares; por uno o varios organismos de financiación; por comités de búsqueda; tal vez por otros. Esta replicación no parece muy eficiente. Dado el deseo aparente y continuo de un indicador de calidad fácil de interpretar, sería bueno introducir más eficiencia, por ejemplo, utilizando el resultado del proceso inicial de revisión por pares. Varias revistas, incluyendo algunas publicaciones de Optica, ya ofrecen una revisión por pares transparente, en la que los autores y revisores pueden acordar que toda la correspondencia de revisión por pares esté disponible como parte del artículo publicado. Si bien es un paso en la dirección correcta, esto no proporciona un indicador de calidad que pueda ser interpretado fácilmente por los no expertos.
La forma de mejorar esta situación debería ser un tema de interés para todos los miembros de la comunidad investigativa.
Gerd Leuchs,
Presidente de Optica