Annales: evaluar las revistas científicas

Finalmente,  el embrollo de la evaluación de las revistas académicas, con el sinfín de protestas que ha generado en Francia, ha llegado a que algunas de esas publicaciones se hayan manifestado. Por ejemplo:

«Déclaration du comité éditorial de la revue Le Mouvement social«, Le Mouvement social
«Les Maux et les nombres«, L’Homme
«Non à la quantophrénie évaluatrice«, La Revue Philosophique
«La fièvre de l’évaluation«, Revue d’ histoire moderne et contemporaine

Y también Annales, que le dedica el editorial de su último número (6,2008):

El mundo de la investigación y de la educación superior parece estar atrapado por la fiebre evaluadora: es en este contexto en el que hay que situar la importancia del debate en torno a la reciente clasificación de  revistas  por parte de la European Science Fundación (ESF), así como en Francia por la l’Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (AERES),  inspirada en gran medida en la anterior. Estas clasificaciones separan las revistas europeas, primero  entre las que están incluidas y las que no, para luego dividir aquéllas en tres categorías: A, B y C.  La lectura de los documentos presentados por  la ESF y la  AERES permite apreciar  sus carencias. Los procedimientos y los principios que guían la clasificación son impresionistas, los expertos son anónimos y abundan los errores, de modo que algunas revistas aparecen varias veces, en ocasiones con diferentes clasificaciones o con el título equivocado. Peor aún, estas clasificaciones demuestran  injusticias flagrantes, que atentan al sentido común de una comunidad de investigadores que no ignora sus propios valores en ese punto. Las reacciones, a veces virulentas, no se han hecho esperar, tanto en Francia como en otros países europeos, como  Alemania o Inglaterra. Por todas estas razones, la posición de  Annales no puede ser otra que desear que ESF y la AERES retiren sus clasificaciones, por contestadas y controvertidas.

Sin embargo, el debate no ha terminado, porque tras  estas clasificaciones  se plantean otras cuestiones  que hemos de señalar: no se trata sólo de la evaluación de las revistas, sino también, por supuesto, de la evaluación de los investigadores y de las unidades de investigación. En un período de fragmentación del conocimiento y de proliferación de publicaciones, la idea de contribuir a la organización de un debate científico,  reconociendo la existencia de diferentes categorías de revistas, no  carece de sentido a priori, siempre  que no cree  compartimentos estancos ni jerarquías arbitrarias . E incluso entonces los criterios de clasificación y los objetivos deben ser claramente visibles, al tiempo  que los procedimientos sean fruto del consenso y de revisiones periódicas. Además, en los países donde las publicaciones dependen del apoyo de las instituciones y de la financiación pública, parece legítimo que haya herramientas que permitan asignar los recursos según criterios científicos. También cabría  esperar que el debate en torno a la evaluación de las revistas científicas permitiera discutir sobre  sus prácticas editoriales, haciendo más explícitas las expectativas de las instituciones que las financian y las de los investigadores que las alimentan y leen. En respuesta a las protestas de  revistas e investigadores, los expertos científicos de AERES dieron recientemente  pruebas de su interés en la discusión. Tenemos que tomar nota. Dejemos constancia de que  con la publicación de clasificaciones, sin discusión previa y sin que se haya establecido claramente su uso,  las instituciones europeas y francesa (a diferencia de los Estados Unidos, que  siempre se presenta como ejemplo, pero que no  aplica este tipo de clasificación) emprenden un camino cuyo peligro queda puesto de relieve a través de decenios  de investigación.  Annales no puede sino advertir contra el uso de estos dispositivos de medición y clasificación del conocimiento, al tiempo que desea fomentar la reflexión sobre el uso de unas herramientas que no tienen la neutralidad que se les atribuye. Es en nombre del compromiso científico con la práctica de las ciencias sociales en el que se deben expresar sus reservas con respecto a estas decisiones discutibles.   Es probable que estas clasificaciones  contribuyan  a  fijar el espacio intelectual haciendo  más difíciles  las innovaciones, otorgando a la vez  una prerrogativa  a  las revistas con mejor  reputación. El impuso de crear nuevas revistas, tan necesario para la vida intelectual, puede padecer las consecuencias .

Pero el principal problema que amenaza el principio de una única clasificación de revistas es la diversidad de magnitudes con las que las revistas pueden ser clasificadas. Una  revista puede ser la referencia internacional en su campo y  tener una difusión limitada a un pequeño círculo intelectual, mientras que otra puede abarcar una zona geográfica limitada y, en cambio,  ser leída por muchos más investigadores. Hay que felicitarse  por la existencia de una verdadera diversidad  de  revistas, garantía de un pluralismo metodológico e intelectual. Por último, la elaboración  de estas clasificaciones basadas en las distintas disciplinas, algo que varía de un país a otro, sólo agrava las dificultades. A veces lleva las cosas al absurdo, como cuando  las revistas interdisciplinarias  son evaluadas  en una  única disciplina, de modo que  su proyecto intelectual queda totalmente desnaturalizado. Las comunidades de conocimiento no son todas del mismo tamaño, ni tienen  las mismas fronteras ni el mismo funcionamiento,  y es importante reconocer esa diversidad irreductible. La cuestión de la evaluación de las revistas científicas, perfectamente legítima, sigue abierta, pero una única clasificación uniforme no es la solución: es innecesaria y contraproducente, con más efectos negativos que positivos .

Seguramente,  la resistencia a la clasificación de  revistas habría  sido menos cruda si no estuviera ligada a la introducción de nuevas formas de evaluación de los investigadores. El primer riesgo de una evaluación  es que se centre  estrictamente en criterios cuantitativos,  en un momento en el que la comunidad científica toma  conciencia de las limitaciones de las herramientas bibliométricas y de la vanidad de  medidas tales como el «factor de impacto»,  incluidas  las ciencias físicas o naturales, a cuyo mismo nivel se intenta poner a las ciencias sociales y humanas. Incluso aunque la cantidad de publicaciones no tenga  nada que ver a menudo  con la calidad de un investigador científico, y aún así pueda considerarse para medir sus actividades científicas  mediante  indicadores ciertamente falibles  pero objetivables, la ausencia de una correlación directa y el riesgo de sucumbir a la facilidad de los métodos cuantitativos incitan a la prudencia. Sobre todo porque, a diferencia de otras disciplinas, las obras de referencia en ciencias sociales no son siempre las revistas, pues los libros juegan un papel fundamental para estructurar el debate. Por otra parte, este tipo de diseño de la evaluación pone de manifiesto un malentendido. La función de un consejo de redacción no es puntuar los artículos, haciendo el trabajo de los evaluadores institucionales,  y no hay que hacer recaer sobre él  la parte más importante de la evaluación, la parte cualitativa, en un momento  en el que, por contra, es necesario defender las instancias colectivas de  evaluación. Un consejo de redacción trabaja  para garantizar la máxima calidad científica de los artículos publicados, pero también para defender un concepto de la investigación que es característico de cada revista. Los miembros de estos consejos toman decisiones intelectuales que no son neutras y que se inscriben en la historia y en la identidad de cada revista, lo que invalida el uso de una clasificación mecánica de las revistas como herramienta primordial para evaluar a los investigadores o a los grupos de investigación.

Así pues, nos parece peligrosa esa vía de  una evaluación cuantitativa basada en una clasificación de las revistas. Sin embargo, no hay argumentos  para rechazar, por principio,  una evaluación más rigurosa de la labor de los investigadores, y menos  en nombre del engañoso argumento de que todo vale. Se objeta que los investigadores ya están evaluados. Sin embargo, ¿quién puede proclamar seriamente que los mecanismos de evaluación individual no se pueden mejorar? La negativa a cualquier tipo de evaluación o el mantenimiento del statu quo no son más deseables que la propuesta de evaluación con criterios estrictamente cuantitativos. El compromiso con una concepción científica del trabajo intelectual en  la historia  y las ciencias sociales difícilmente se puede  acomodar con  la supuesta inconmensurabilidad de nuestras producciones. Del mismo modo, resulta paradójico que nuestra práctica consista en buena medida en evaluar a estudiantes o colegas más jóvenes y que, en cambio,  rechacemos cualquier debate sobre las formas de evaluación. Las condiciones actuales de la contratación en las  universidades, parasitadas con demasiada frecuencia  por el localismo y el clientelismo, pero también el desarrollo de las carreras, donde no se fomenta a los investigadores más dinámicos, e incluso a veces con evidente desfase entre el reconocimiento científico y el recorrido institucional, son argumentos en favor de  una evaluación más sistemática, a condición de que nos pongamos de acuerdo sobre la  formas de hacerla. Sin embargo, los recientes acontecimientos,  relacionados con la creación de organismos nacionales y europeos que evalúan las revistas, los investigadores y los proyectos con total opacidad, no son tranquilizadores en este sentido. Estas instituciones, cuyos miembros no se eligen sino que se nombran sin más,  contribuyen a reforzar el sentimiento de arbitrariedad, dada la ausencia de unos criterios y procedimientos que sean expuestos  públicamente para, posteriormente, ser reconocidos y validados colectivamente. Desarrollan hasta un nivel jamás antes  alcanzado la burocratización de la investigación, de modo que los profesores del nivel superior,  cuyo supuesto trabajo de investigadores a tiempo parcial   ya queda mermado por  la acumulación de tareas pedagógicas y administrativas, pasan a menudo más tiempo elaborando proyectos o escribiendo informes que dedicados a la propia investigación. Por último, y no es lo menos paradójico, mientras la retórica política afirma promover  la autonomía de las instituciones universitarias,  se está aplicando  en realidad  una centralización directamente sometida a un  control administrativo, es decir, político, que a menudo ignora  la realidad más elemental de la investigación.

No nos hagamos ilusiones: la evaluación es intrínsecamente problemática y poco satisfactoria en nuestras disciplinas. La evaluación cualitativa por pares, que oponemos de buena gana a la evaluación bibliométrica,  no es una panacea: para los investigadores supone dedicarle mucho tiempo,  depende de cómo se nombre a los evaluadores  y no garantiza que  se distinga el trabajo innovador.

Annales no pretende  ofrecer -tampoco es su función- una solución a estos problemas, sólo puede manifestar  su deseo de que haya una redefinición colectiva de las normas,  siguiendo criterios de transparencia,  autonomía y responsabilidad. En este período de incertidumbre económica y de creciente amenaza a las condiciones del trabajo científico, las revistas y los investigadores que publican deben demostrar hoy su capacidad de defender e ilustrar una idea de la investigación científica y de su evaluación que, aún siendo imperfecta, tengan la valentía de aplicarse a sí mismos.