Revisión por pares-Peer Review

El pasado verano la Universidad de Virginia acogió uno de los seminarios anuales que celebra su Scholarly Communication Institute. En esta ocasión, el asunto tratado fue: «Emerging Genres in Scholarly Communication». El balance final está disponible para quien quiera leerlo, así como un breve resumen.

El texto empieza con esta reflexión: «Los actuales modelos basados en la impresión de la producción, evaluación y publicación académicas se han demostrado insuficientes para satisfacer las demandas de los académicos y los estudiantes en el siglo XXI. En las humanidades, lo que el estudioso de la literatura James Chandler llama «the predominating tenure genres» de la monografía y los artículos de revistas se encuentran ante la acometida de una tormenta perfecta de  grandes trastornos que afectan a la educación superior. Los editores están luchando para rehacer unos modelos de negocio que están fallando. Las bibliotecas se esfuerzan en mantener las adquisiciones de materiales impresos mientras la oferta y demanda de medios digitales aumentan. La dependencia del profesorado de los modelos de tenure y revisión ligados a géneros impresos en peligro de extinción conduce a la indiferencia ante la innovación y las nuevas metodologías. Y los estudiantes, móviles y digitalmente fluidos,  que entran en las escuelas de pregrado y de posgrado corren el riesgo de distanciarse de la esencia histórica de la investigación humanística, limitada por regímenes pasados de moda de creación y acceso».

Así pues, ese encuentro sirvió para evaluar esos nuevos géneros de comunicación académica y su impacto. Este es el resumen:

«Los participantes consideraron que cuatro elementos de la producción académica -autoría, difusión, gestión y uso- siguen siendo fundamentales, pero se ha desplazado de manera significativa el cómo se hacen y por quién . En el entorno Web, los  lectores y usuarios también son autores, con la esperanza de anotar, revisar y reutilizar el contenido. El papel de editor es ahora desempeñado también por las bibliotecas, los académicos, los estudiantes  y, de hecho, por cualquier persona que pone contenidos directamente en la Web. Dicho esto, la mayoría de los participantes -aunque no todos- ven el papel de las editoriales académicas tan importante como siempre, si no mayor, porque la necesidad de examinar y validar los contenidos, preparar un manuscrito para su publicación y asegurar su cida editorial, además de captar la atención de unos usuarios escasos,  requiere las habilidades que los editores han cultivado durante décadas. La cuestión de dónde se produce la publicación organizativamente, ya sea conectada a un la sociedad científica, a una editorial universitaria, a una biblioteca de investigación, o a un grupo independiente de académicos,  está todavía sujeta a debate.

Los debates de los procesos de creación y revisión confirman que el compromiso directo de los académicos con las nuevas tecnologías les ha devuelto una interacción profunda con las principales actividades de investigación: la preparación de los datos primarios para su uso en un entorno digital; múltiple revisión por pares de los datos, sistemas de marcas, el diseño de elementos,  programas de análisis; primeras incursiones en los desafíos de la conservación y gestión a largo plazo en un entorno digital dinámico;  agresivas defensas de los derechos de autor en investigación y docencia en el entorno digital; y reforzada colaboración con bibliotecarios, tecnólogos, archiveros, coleccionistas y empresarios.

Los géneros que han surgido, sin duda, evolucionarán con el tiempo a medida que más personas los usen. Hay una cohorte creciente de académicos en todas las etapas de sus carreras que se dedican a la promoción de estos nuevos modelos y trabajan para normalizarlos dentro de las estructuras conservadoras de la educación superior. Los humanistas y sus colegas en las bibliotecas, las editoriales y los gestores de la educación superior necesitan asegurarse que las humanidades alcanzarán un máximo impacto entre los usuarios a través del acceso máximo. La aceleración del desarrollo de nuevos modelos de publicación que lleguen a las comunidades de usuarios más rápidamente es crítica».

A propósito de todo eso, Dan Cohen recordó hace meses un texto que iba en una dirección parecida. Se trata de «Systematic Differences in Impact across Publication Tracks at PNAS«, de David G. Rand y Thomas Pfeiffer. Digamos, como aclaración que PNAS es el acrónimo de «Proceedings of the National Academy of Sciences«, una de las revistas más citadas en su ámbito. Cohen entresacaba esta afirmación:

«La mayoría de los artículos publicados en PNAS se envían directamente a la revista y siguen el proceso de revisión estándar. El consejo editorial nombra a un editor para cada envío directo, quien solicita revisores. Durante el proceso de revisión los autores desconocen la identidad tanto del editor como de los revisores. PNAS se refiere a este método de publicación como «Vía II». Además de la presentación directa, a los miembros de la National Academy of Sciences (NAS) se les permite «comunicar» hasta dos artículos por año por otros autores. En este caso, los autores envian su texto a los miembros de la NAS, que luego requieren las opiniones de al menos otros dos investigadores y presentan el documento y las  evaluaciones al consejo editorial del PNAS para su aprobación. Al igual que con las presentaciones directas, los autores de los artículos «comunicados»  desconocen al menos en teoría la identidad de sus revisores, pero no la identidad del editor. PNAS se refiere a este método de publicación como «Vía I». Por último, los miembros de la NAS están autorizados a «contribuir» con tantos de sus propios trabajos al año como deseen. En este caso, los miembros del NAS eligen a sus propios revisores, recogen al menos dos evaluaciones y presentan su texto junto con las evaluaciones a la junta editorial del PNAS. La revisión por pares ya no es ciega, en tanto los miembros de la NAS seleccionan a sus propios evaluadores. PNAS se refiere a este método de publicación como «Vía III» … Examinar los trabajos publicados en el PNAS ofrece una oportunidad para evaluar cómo estas diferencias en la presentación y en el proceso de revisión por pares dentro de la misma revista afectan al impacto de los trabajos finalmente publicados. La posibilidad de que el impacto varíe de forma sistemática según la vía escogida ha recibido una gran atención últimamente, en particular a la luz de la decisión de PNAS de suspender la vía I. El análisis de citas que presentamos proporciona un tratamiento cuantitativo de la calidad de los trabajos publicados a través de cada vía, un debate que hasta ahora ha sido en gran medida de naturaleza anecdótica».

Y está es parte de la conclusión de ese estudio:

«El análisis presentado aquí demuestra claramente la variación en el impacto de los trabajos publicados mediante diferentes procesos de revisión en el PNAS. Encontramos que, en general, los textos cuyo autor es miembro de la NAS y ha contribuido al PNAS se citan significativamente menos que los que proceden de envíos directos. Sorprendentemente, sin embargo, encontramos que el 10%  de las contribuciones más citadas reciben significativamente más citas que el 10% de los envíos directos más citados. Así, las contribuciones dan textos menos influyentes en promedio, pero es más probable que produzcan textos realmente excepcionales».

Sospecho, concluye Cohen, que esto será verdad para muchos nuevos tipos de comunicación académica que se liberan de la revisión tradicional inter pares. Debido a su carácter más abierto y despreocupado, estos géneros, como los blogs, sin duda contienen mucha paja, y por tanto se los clasifica de forma estereotipada y negativa por muchos profesores, que (como he señalado en este espacio) son excesivamente conservadores en cuando a la comunicación académica. Pero en ese mar de material no tradicionalemte revisado habrá muchas publicaciones creativas e influyentes. Estoy dispuesto a apostar que eso será aún más pronunciado en las humanidades, donde la revisión por pares tradicional es particularmente hábil en homogeneizar el trabajo académico.