Artículos / Articles

DOI: 10.22325/fes/res.2024.209

La revisión por pares en las áreas de filosofía y filosofía moral en España. Creencias y debates sobre su consolidación, su idoneidad y su tipo ideal


Peer review in the fields of philosophy and moral philosophy in Spain. Beliefs and debates about its consolidation, its suitability, and its ideal type



Ramón A. Feenstra * ORCID

Departamento de Filosofía y Sociología, Universitat Jaume I de Castellón, España. feenstra@uji.es. Email

Emilio Delgado López-Cózar ORCID

Departamento de Información y Comunicación de la Universidad de Granada, España. edelgado@ugr.es. Email

Revista Española de Sociología (RES), Vol. 33 Núm. 1 (Enero - Marzo, 2024), a209. pp. 1-21. ISSN: 1578-2824


Recibido / Received: 27/02/2023
Aceptado / Accepted: 13/10/2023



Sugerencia de cita / Suggested citation: Feenstra, R. A., y Delgado López-Cózar, E. (2024). La revisión por pares en las áreas de filosofía y filosofía moral en España. Creencias y debates sobre su consolidación, su idoneidad y su tipo ideal. Revista Española de Sociología, 33(1), a209. https://doi.org/10.22325/fes/res.2024.209




RESUMEN

Poco se conoce sobre la actitud de los filósofos sobre la revisión por pares y cómo se enfrentan a este sistema que aspira a controlar y mejorar la calidad de la publicación científica. En campos como la filosofía, donde se discuten más ideas que hechos, es interesante preguntarnos si estamos ante un procedimiento ampliamente aceptado e interiorizado por su comunidad investigadora. Para responder a ello el presente estudio emplea, con investigadores de las áreas de filosofía y filosofía moral de España, la triangulación metodológica combinando una encuesta, un debate dentro de la reunión anual de una sociedad científica y entrevistas en profundidad. Los resultados muestran que el 99% cree que se trata de un procedimiento extendido en su campo. A pesar de ello la parte cualitativa del estudio apunta también a ciertas dudas sobre la interiorización real entre los investigadores de una cultura evaluadora por pares consolidada. Por otro lado, el 89% considera positivamente la idoneidad de la revisión por pares para evaluar la calidad de las publicaciones, aunque también se observan potenciales desvirtuaciones del ideal cuando, por ejemplo, se juzga mediado por sesgos u otras motivaciones. Finalmente, el estudio apunta a una clara preferencia, del 87%, por el doble ciego mostrándose cierto desconocimiento hacia otros tipos de revisión.

Palabras clave: Revisión por pares, publicación científica, filosofía, filosofía moral, integridad.


ABSTRACT

Little is known about philosophers’ attitudes towards peer reviewing and how they deal with this system aimed at regulating and improving the quality of scientific publications. In fields such as philosophy, where the tendency is to discuss ideas rather than facts, it is interesting to ask whether this procedure is widely accepted and internalized by the research community. In order to answer this question, the present study, conducted with researchers in the fields of philosophy and moral philosophy in Spain, uses a methodology based on three cornerstones consisting of a survey, a debate carried out at the annual meeting of a scientific society and indepth interviews. The results show that 99% of them believe that this is a widespread procedure within their field. However, the qualitative part of the study also reveals several doubts about the extent to which a consolidated peer review culture has actually been embraced by researchers. Nevertheless, 90% of them have a positive opinion regarding peer review as a suitable way of assessing the quality of publications, although potential deviations from the ideal are also observed when, for example, it is deemed to be influenced by bias or other motivations. Finally, the study reveals a clear preference, by 87% of the researchers, for the double-blind method and a certain lack of familiarity with other types of review.

Keywords: Peer review, scientific publication, philosophy, moral philosophy, integrity.




INTRODUCCIÓN


La revisión por pares es entendida como un sistema que busca controlar y mejorar la calidad de la publicación científica (Rowland, 2002; Mulligan et al., 2013; Das, 2016; Tennant et al., 2017). Su aplicación alcanza a disciplinas muy diversas erigiéndose como uno de los pilares centrales de autoridad de la ciencia (Zuckerman y Merton, 1971), pero ¿es aplicable sin resistencias a ramas donde predomina el debate de ideas como sucede con la filosofía y la filosofía moral? ¿Alcanza aceptación y un arraigo real en la comunidad investigadora de estas áreas?

En torno a la revisión por pares han proliferado investigaciones sobre los niveles de confianza que genera (Ware, 2008; Shattell et al., 2010; Mulligan et al., 2013) o sobre si se considera como un filtro imprescindible para la buena calidad de la comunicación científica, algo que llega a ser considera en sentido positivo para un 82% (Ware, 2016) o un 85% (Sense About Science, 2019) de investigadores de múltiples disciplinas. Estas cifras de confianza llegan incluso a ser superadas por el informe Publons (2018), donde un 31,2% de participantes lo consideran “importante” y un 66,8% “extremadamente importante” -es decir, un total de 98%- para garantizar la calidad y la integridad de la comunicación académica.

A pesar de estos datos positivos los debates sobre la puesta en práctica de la revisión por pares no están, ni mucho menos, cerrados (Campanario, 2002; Souder, 2011; Bornmann, 2011; Clarke & Esposito, 2019; Sense About Science, 2019). Se debaten sus posibles sesgos -de tipo ideológico, de afiliación o de género- (Rowland, 2002; Shatz, 2004; Daniel et al., 2007; Newton, 2010), y su fiabilidad como proceso de control de calidad, cuestionada por sonados experimentos en los que la revisión no fue capaz de detectar erratas o directamente engaños (Couzin, 2006; Bohannon, 2013). Por otro lado, se apuntan deficiencias como la lentitud del proceso (Hunter, 2012; Tennant et al., 2017), la desigualdad de criterios de los revisores (Das, 2016); la tendencia a rechazar ciertas investigaciones altamente innovadoras (Horrobin, 1990; Atkinson, 2001) o ciertas malas prácticas vinculadas a los procesos de revisión (Corlett, 2005; Resnik et al., 2008; Fonseca-Mora et al., 2014; Das, 2016; Jubb, 2016).

La amplitud de estudios de carácter empírico sobre la revisión por pares abarca a disciplinas muy variadas. Hoy se cuenta con información sobre todo para la rama de la medicina (Rowland, 2002; Das, 2016), pero los estudios se han generalizado y adquieren también un carácter multidisciplinar (Mulligan et al., 2013; Taylor & Francis, 2015; Sense About Science, 2019). En las humanidades contamos con información de la percepción sobre la revisión por pares en el contexto de estudios multidisciplinares (Taylor & Francis, 2015; Ware, 2016; Sense About Science, 2019); acerca de la posición de investigadores y editores de esta rama sobre la revisión por pares abierta (Ross-Hellauer et al., 2017) o del papel de los editores de humanidades y sus prácticas (de Matos Cardoso, 2011; Karhulahti y Backe, 2021). Mucho menos se sabe, sin embargo, si nos adentramos en una rama específica como es la filosofía. En este sentido, apenas se localizan estudios empíricos, con alguna excepción en la que se ha preguntado sobre la revisión por pares a investigadores (Haslanger, 2009) o a editores (Lee y Schunn, 2011) de este campo; o donde se han revisado datos de aceptación/rechazo por áreas (Zuckerman y Merton, 1971). Sin embargo, en filosofía sí se ha pensado y reflexionado sobre la cuestión (Shatz, 2004; Lee et al., 2013), las posibles dificultades o sesgos en la revisión como consecuencia de la pluralidad de escuelas o tradiciones filosóficas (Corlett, 2005; Katzav y Vaesen, 2017) o los potenciales efectos perniciosos respecto a investigaciones altamente novedosa (Atkinson, 1994; 2001). Finalmente, se localizan también dentro de la filosofía posiciones favorables a la abolición de la revisión prepublicación (Heesen y Bright, 2020).

El objetivo de este estudio se centra precisamente en tratar de cubrir el vacío en torno a las aproximaciones empíricas centradas sobre la percepción de los investigadores de filosofía y filosofía moral sobre la implantación e implementación de la revisión por pares en un país como España. Este contexto es relevante ya que la revisión por pares constituye una exigencia en procesos de evaluación formales de los investigadores como, por ejemplo, el sexenio desde el 2005 (Boletín Oficial del Estado [BOE], 2005), y de las evaluaciones de las revistas nacionales a través del sello de calidad de la FECYT convocado por primera vez en 2007 (Delgado-López-Cózar et al., 2006) 1 . Además, tal y como se detallará más adelante, la adopción de la revisión por pares por parte de las revistas españolas de filosofía y filosofía moral ha sido progresiva y más bien tardía (Feenstra y Teira, 2023). Finalmente, iniciativas recientes como Coalition for Advancing Research Assessment (COARA) 2 y la Estrategia Nacional de Ciencia Abierta (ENCA), 3 ponen también el foco sobre el papel (y las posibilidades) de la revisión por pares en el contexto español. La primera, postulando por una evaluación cualitativa entre pares en los procesos de promoción 4 . La segunda, abogando por un tipo concreto de evaluación, (la revisión por pares en abierto), con la finalidad de “aportar mayor rigor científico a las revisiones y garantizar la transparencia y la rendición de cuentas de las partes involucradas” (Ministerio de Ciencia e Innovación, 2023, p. 2).

Estos aspectos contextuales, así como la falta de investigaciones empíricas sobre la revisión por pares en las áreas de filosofía y la filosofía moral, hacen de esta una investigación relevante. Más concretamente, en este estudio se examinarán 1) el nivel de consolidación y asimilación de la revisión; 2) las percepciones sobre su validez e idoneidad, y finalmente 3) el tipo preferido de revisión.


Metodología


El presente estudio ha optado por realizar una triangulación metodológica que incluye la encuesta autoadministrada, una sesión de debate dentro de la reunión anual de una Sociedad Científica y 14 entrevistas en profundidad. Estas tres técnicas de recogida de datos se han empleado con la finalidad de obtener información tanto cuantitativa como cualitativa en torno a la revisión por pares. Asimismo, la investigación incorpora la revisión de los portales web de las revistas de filosofía en España, de las agencias de evaluación como CNEAI y ANECA y de los resultados del sello de calidad de la FECYT y del catálogo Latindex.

Encuesta autoadministrada

La población objeto de análisis en este estudio son los investigadores y profesores universitarios adscritos a las áreas de conocimiento de filosofía y filosofía moral en España. Asimismo, se incluyó a los investigadores que trabajan en el Instituto de Filosofía del Consejo Superior de Investigaciones Científicas (CSIC). Para identificar a los miembros de esta comunidad académica se realizó una búsqueda sistemática de las páginas web de las universidades españolas donde hay profesores e investigadores adscritos a estas áreas de conocimiento. Se buscó preferentemente en páginas web de departamentos y si éstas no existían se recurrió bien a las páginas web de los centros docentes (facultades y escuelas) o bien al directorio general de las universidades. De cada investigador o profesor se tomaron los siguientes datos: área de conocimiento y correo electrónico. El resultado condujo a la identificación de 541 profesores e investigadores pertenecientes a universidades (521 personas) y al CSIC (20 personas).

A inicios de febrero se realizó un proceso de validación mediante una prueba piloto de la encuesta compartida con una reducida muestra de la población. Concretamente a 8 investigadores de cuatro categorías (dos becarios de investigación, tres profesores ayudantes, dos profesores titulares y 1 catedrático afiliados a la Universitat Jaume I de Castelló y la Universitat de Valencia). Asimismo, se envió la encuesta a un editor con una experiencia superior a los 15 años en la edición de una revista de filosofía. Tras finalizar el proceso de validación se lanzó el cuestionario.

La encuesta online pudo contestarse durante los meses de febrero-junio de 2019. Se envió el 25 de febrero de 2019 un mensaje al correo electrónico institucional de cada uno de los 541 profesores e investigadores identificados. Se realizaron dos recordatorios: uno a las dos semanas y otro a las cuatro semanas. Asimismo, se pidió la colaboración a determinadas sociedades científicas y asociaciones profesionales de filosofía. Concretamente, la Asociación Española de Ética y Filosofía Política (AEEFP), la Sociedad Académica de Filosofía (SAF) y la Red Española de Filosofía (REF), que remitieron correos a sus asociados animando a participar en la encuesta durante el mes de mayo. Los participantes de la encuesta fueron informados de la naturaleza del estudio y de que se preservaría el anonimato en la explotación de los resultados. El cuestionario se cerró el 14 de junio de 2019. Han participado en la encuesta profesores e investigadores de 44 universidades, de las cuales 37 son públicas y 7 privadas y solamente de 3 instituciones no hemos recibido respuesta. Contestaron 201 personas (37,1%), aunque la tasa de respuesta fue superior en el área de conocimiento de Filosofía Moral (53,4%) que en la de Filosofía (30%). Para un nivel de confianza del 95,5% (dos sigmas) y P = Q, el error de muestreo es de ±5’6% para el conjunto, en el supuesto de muestreo aleatorio simple.

Las preguntas formuladas formaron parte de una encuesta general de 21 cuestiones diseñadas en Google Forms. Se abordaron temáticas como 1) Hábitos en la búsqueda de información, 2) Prácticas de comunicación y difusión de la investigación (Feenstra y Delgado López‐Cózar, 2022).; 3) Ética en la publicación científica (Feenstra et al., 2021) y 4) Evaluación científica y revisión por pares. Las preguntas sobre la revisión por pares incluyeron las siguientes formulaciones:

  1. ¿Es la revisión por pares de las publicaciones una práctica extendida en su área de conocimiento?

  2. Opciones de respuesta: Sí, No, No contesta

  3. Indique su grado de acuerdo con la siguiente afirmación: “la revisión por pares de los manuscritos enviados a una revista o una editorial es un procedimiento adecuado para evaluar la calidad de la publicación”.

  4. Opciones de respuesta. Muy de acuerdo, de acuerdo, en desacuerdo, muy en desacuerdo, no contesta

  5. ¿Qué tipo de revisión por pares le parece más idónea?

  6. Opciones de respuesta.

  7. Doble ciego: el autor desconoce la identidad del revisor/a y este la del autor

  8. Ciego: el autor desconoce la identidad del revisor/a

  9. Abierto: se conocen la identidad del/la autor/a y del/la revisor/a

Finalmente, el cuestionario incluyó una pregunta abierta para que los encuestados tuvieran la oportunidad de expresarse de forma libre sobre el objeto de estudio de esta investigación. En total 8 de 60 respuestas obtenidas en la sección abierta hacen mención a aspectos vinculados con la evaluación por pares.

Sesión de debate

El 30 de mayo los investigadores de este estudio participamos en la jornada anual de la Asociación Española de Ética y Filosofía Política (AEEFP) -celebrado en el Instituto de Filosofía del CSIC (Madrid)- con un seminario. El objetivo del estudio y de la sesión fue previamente notificada a los participantes y la sesión de debate tuvo una duración de 65 minutos. Finalizada la sesión las intervenciones fueron transcritas para su posterior valoración. Este foro de debate posibilitó el diálogo con 26 investigadores (2 investigadores con beca predoctoral, 3 investigadores con contrato posdoctoral, 3 ayudantes doctores, 1 contratado doctor, 10 profesores titulares y 7 catedráticos). De los 26 participantes 16 eran hombres y 10 mujeres. La sesión de debate permitió recabar más información cualitativa de investigadores de diferentes universidades y con heterogéneas trayectorias académicas. Además, las intervenciones posibilitaron una mejor preparación de las entrevistas en profundidad, desarrolladas en la última fase de la investigación.

Entrevistas

Las entrevistas fueron realizadas entre los meses de septiembre y octubre del 2019. Las 14 personas entrevistadas fueron escogidas atendiendo a variables de afiliación, categoría profesional, género y áreas de trabajo de manera que se garantizase la pluralidad de perfiles. Entre estas personas entrevistadas siete pertenecen al área de filosofía moral y siete a filosofía, siete mujeres y siete hombres. Los entrevistados ocupaban diferentes posiciones en la carrera académica (Ver tabla 2). Las afiliaciones de los entrevistados incluyen universidades como las de Barcelona, Castellón, Complutense (Madrid), Granada, Murcia, Valencia, Zaragoza, País Vasco, además del centro de Ciencias Humanas y Sociales del CSIC (Tabla 1).


Tabla 1 Relación de entrevistados

Número de entrevistaSituación laboralÁreaCódigo
1Investigador/a con beca predoctoralF. MoralBepro.Mo1
2Investigador/a con beca predoctoralF. Moral Bepr.Mo2
3Investigador/a con beca predoctoralFilosofíaBepr.Fi1
4Ayudante doctorFilosofíaAy.Fi1
5Contratado doctorFilosofíaCo.Fi1
6TitularFilosofíaTit.Fi1
7TitularFilosofíaTit.Fi2
8TitularF. MoralTit.Mo1
9TitularFilosofíaTit.Fi3
10TitularF. MoralTit.Mo2
11CatedráticoFilosofíaCat.Fi1
12CatedráticoF. MoralCat.Mo1
13CatedráticoF. MoralCatMo2
14CatedráticoF. MoralCat.Mo3


Las entrevistas semiestructuradas tuvieron una duración media de 35,30 minutos, siendo de 14,14 minutos la más breve y de 59,10 minutos la más larga. Estas fueron transcritas para su análisis. En conjunto se plantearon preguntas sobre cinco cuestiones centrales: 1) idioma y formatos preferidos de publicación, 2) revisión por pares, 3) pagar por publicar y acceso abierto, 4) percepciones de las malas prácticas en la investigación, y 5) indicadores bibliométricos y el sistema de evaluación español. En concreto, para el presente estudio las preguntas se plantearon de forma abierta preguntando sobre su experiencia y opinión en torno a la revisión por pares. Se optó por hacer la pregunta en este formato con la finalidad de reducir lo máximo posible la influencia del entrevistador y también con el objetivo de contrastar los datos obtenidos de la encuesta donde se planteaba como preguntas cerradas. La identificación de los diferentes participantes se realiza siguiendo la siguiente lista de acrónimos (Tabla 2).


Tabla 2 Listado de acrónimos

Fase de la carrera académica
Investigador con beca predoctoralBepr
Investigador con beca posdoctoral Pdr
Profesor ayudanteAy
Profesor contratado doctorCo
Profesor titularTit
CatedráticoCat
Área
Filosofía moralMo
FilosofíaFi
Fuente de la información
Entrevista
Sesión de debate
Sección abierta de la encuesta


Los investigadores solicitaron también en este proceso el consentimiento informado verbal antes de cada una de las entrevistas. Los audios de las entrevistas fueron registrados y posteriormente transcritos. Las entrevistas fueron sometidas a un proceso de análisis temático en la que se buscaron consensos discursivos. Este proceso fue realizado por dos investigadores realizando una doble codificación manual. Este proceso permitió detectar las percepciones centrales en torno a la revisión por pares.

El resumen de datos recabados de los tres procesos -encuesta, sesión de debate y entrevista- fue publicado, manteniendo el anonimato de los participantes, en un informe avalado por las asociaciones de filosofía y filosofía moral: AEEFP, SAF y REF 5 . El informe se depositó en formato abierto en un repositorio público, tal y como fue indicado en el inicio de proceso de captación de datos.


Resultados y discusión


La revisión por pares en la filosofía y filosofía moral en España… ¿una práctica extendida y realmente interiorizada?

Los resultados de la encuesta apuntan a que la revisión por pares representa una práctica extendida en ambas áreas. Es más, ante la pregunta sobre su aplicación (P.1) existe un consenso casi absoluto, del 99% (n=199), respecto a que la revisión por pares se utiliza de manera general para la selección y evaluación de las publicaciones en filosofía. Además, no se registran diferencias según especialidad (filosofía y filosofía moral).

Ahora bien, este contundente dato no implica automáticamente que la revisión por pares sea un proceso plenamente asimilado por esta comunidad académica. Hay otros indicios que apuntan a que la consolidación de la revisión por pares en las publicaciones del ámbito de la filosofía es más bien tardía y todavía no plenamente consolidada. Por ejemplo, Latindex identifica a 75 de un total de 118 revistas de investigación filosóficas vigentes como arbitradas 6 . Esto implica una progresión significativa respecto a décadas precedentes. En los años 2000 y 2001, según datos ofrecidos por Román-Román et al. (2002), solo el 12% y el 14% de revistas españolas de filosofía cumplían con el criterio de evaluadores externos de Latindex 7 . Sin embargo, se observa también como la consolidación no es plena (43 siguen sin ser definidas como arbitradas). La información que ofrece el sello de calidad de la FECYT muestra otros indicios sobre la tardía consolidación de la revisión por pares. En este caso, este sello aporta información que va más allá de las declaraciones de las revistas, dado que examina también sus prácticas 8 . En la primera convocatoria, del año 2007, ninguna revista española de filosofía obtuvo dicho reconocimiento. En el año 2009 lo obtuvo una revista (Teorema). En el año 2020 son 30 las revistas que obtienen el sello, una cifra que aumenta a las 34 revistas con la convocatoria de 2023 9 . Estos datos muestran la progresión de las revistas de filosofía, perceptible también para las publicaciones de otras áreas como la propia sociología 10 . Por otro lado, los datos dejan constancia de cierto espacio para la mejoría (teniendo presente el total de 118 revistas que identifica Latindex).

El aparato cualitativo de nuestra investigación aporta matices por lo que respecta a la asimilación de la evaluación por pares de la comunidad filosófica. De entre los diversos temas que abarca el estudio (sistema de evaluación, ética de la investigación, acceso abierto y revisión por pares) fue precisamente la revisión por pares la que generó un intenso debate. Esta cuestión fue ampliamente planteada por los participantes tanto en la sesión de debate (hasta un total de 8 intervenciones se centraron en exclusiva en esta cuestión) como en las entrevistas. Un hecho llamativo dado que las prácticas científicas consuetudinarias y sólidamente asentadas no suelen requerir este tipo de atención. Entre las diferentes manifestaciones cabe reseñar cuestionamientos sobre 1) la consolidación de la cultura evaluadora, 2) la igualdad de evaluación en función del medio y de la edad académica del evaluador, 3) el compromiso y, finalmente, 4) el cumplimiento de algunos principios básicos.

1. La consolidación de la cultura evaluadora

Algunos participantes no consideran que la evaluación esté lo suficientemente arraigada y manifiestan que:

Pero es cierto que en nuestra comunidad académica no estamos muy acostumbrados a debatir de manera pacífica y sosegada y a sobrellevar nuestras diferencias de manera respetuosa (Cat.Fi1-entrevista).

Debemos crear una cultura mucho más seria y profesional. No nos debe doler el rechazar artículos incluso cuando pensemos que es alguien que podamos conocer. (Tit.Mo2-debate)

Este tipo de comentarios ponen de manifiesto no solo una preocupación sobre las dinámicas de evaluación actual, sino también un anhelo de contar con una cultura académica donde la revisión esté más arraigada y sea más profesional.

2. Disparidad de la evaluación en función del medio de publicación y de la edad académica del evaluador

Por otro lado, se aprecia de manera llamativa como otros participantes observan acusadas diferencias en el desarrollo de la revisión por pares según se trata de revistas internacionales (haciendo referencia a revistas extranjeras) o españolas.

Ahora bien, creo que también hay una gran diferencia entre la sensación que da un proceso de revisión en una revista internacional extranjera y las revistas en castellano que yo conozco. Da la sensación de que el proceso de revisión es más serio (en las primeras). (…) Y en las revistas en castellano no me ha dado esa sensación. Lanzo una pregunta: ¿cuál es la tasa de aceptación y rechazo, o cuál es la tasa de aceptación para hacer revisiones en las revistas españolas? Porque estoy seguro de que es bastante bajo el de rechazo (Tit.Mo1-debate).

Es cierto que, en algunos casos cuando son más próximas (revistas españolas que conocemos) hacemos la revisión más de ir por casa. Y cuando te piden que revises artículos de otras más internacionales, pues es cuando te lo tomas más en serio (Tit.Mo4-debate)

Otros creen que se producen importantes diferencias en función de la edad académica de los investigadores, pareciendo los jóvenes los más habituados a este sistema.

Tengo la sensación de que la gente más joven evalúa con más rigor porque ha sido evaluada con más rigor también. Tengo esa sensación. Cuando estás acostumbrado a una experiencia personal, tiendes a reproducirla. Me estoy dando cuenta, como editor, de que, si envío una revisión a alguien más joven, voy a obtener una evaluación más profesional (Tit.Mo2-debate).

3. Falta de compromiso

También hay algunas declaraciones que manifiestan carencias en el compromiso que exige el cumplir con la evaluación por pares. Así, podemos escuchar, por ejemplo:

Quiero decir que la gente no está loca por hacer revisiones, dado que es otra cosa que hacemos gratis y con muchas presiones de tiempo. (…) Pero cada vez hay menos gente dispuesta a hacer revisiones gratis (y que sean buenas revisiones) y al final se acaba viciando el proceso (Ay.Fi1-entrevista).

Por otro lado, el problema de echar mano de revisores externos sin ningún tipo de compensación… hace que la gente (muy saturada de trabajo) muchas veces rechace la revisión. Al final los revisores empiezan a hacer menos… no hay realmente una implicación de toda la comunidad académica como debería de haber, en la que todos participen (Co.Fi1-entrevista).

4. Incumplimiento de algunos principios básicos

Finalmente, hemos recogido la percepción de carencias en lo que respecta al cumplimiento de los (exigentes) principios éticos que acompañan a la evaluación entre pares (Cat.Mo1-e Cat.Mo3-e, Tit.Fi3-e, Co.Fi1-e, Ay.Fi1-e, Bepr.Fi1-e,). Entre estas voces escuchamos preocupaciones como las siguientes:

Después hay vendetas o amiguismos. O incluso se deja llevar por el tema y, aunque el trabajo sea malo, pues como el tema es el suyo pues… lo único que dicen es “falta lo mío” (Cat.Mo3-entrevista).

Los egos implícitos siguen estando ahí… (Bepr.Fi1-entrevista).

Tampoco puede sustraerse uno de sus orientaciones, fobias y filias (Cat.Mo1-entrevista)

Ocurre que los revisores como somos los propios compañeros, cuando se le envía a un revisor especializado en el campo, pues se empiezan a mezclar otras cuestiones que no están relacionadas con la calidad de la publicación (Co.Fi1-entrevista)

Este tipo de manifestaciones parecen evidenciar determinada carencia de consolidación del proceso de revisión. Esta información coincide con lo observado en estudios previos que apuntan a cierta falta de profesionalización y normalización de los procesos de revisión en las revistas españolas (Román-Román et al., 2002; Coslado et al., 2011; Ruíz-Pérez et al., 2015). La asimilación por parte de la comunidad académica requiere su adhesión a una serie de dinámicas y a unos principios exigentes. En ese sentido, no se puede olvidar que estamos ante un proceso que se apoya sobre una actividad (mayoritariamente) altruista. Su consolidación depende tanto de la generosidad como del convencimiento y del compromiso de la comunidad.

Los heterogéneos debates aparecidos en nuestra investigación apuntan a que la revisión por pares no parece formar parte de las normas epistémicas de la disciplina. Su implantación en el campo de la filosofía obedece, más bien, a la adaptación progresiva de lo que son las normas sociales y más concretamente con las normas organizativas y con las políticas científicas. Una idea manifestaba, por ejemplo, en declaraciones como:

Me temo que en las revistas españolas el tema de la revisión es a veces más formal, para cumplir por parte de la revista con ciertos criterios que les aseguran estar en una determinada posición en el ranking (Tit.Mo1-debate).

Las políticas de las últimas décadas impulsadas por agentes claves como CNEAI, ANECA y FECYT en torno a la revisión (Ver tabla 3), tienen un impacto progresivo sobre la comunidad investigadora que se adopta a las nuevas exigencias.


Tabla 3 Fragmentos sobre criterios de calidad exigidos a las revistas científicas

CNEAI Resolución de 25 de octubre de 2005, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación https://www.boe.es/buscar/doc.php?id=BOE-A-2005-18342
APÉNDICE 1. Criterios para que un medio de difusión de la investigación (revista, libro, congreso) sea reconocido como de mínimo impacto para lo publicado en el mismo
Criterios sobre la calidad del proceso editorial 5. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros. 6. Evaluaciones previas de lo publicado por expertos ajenos al equipo editorial. 7. Anonimato en la revisión de los manuscritos. 8. Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista /editorial /comité de selección de una notificación motivada de la decisión editorial que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes originales (o retocados por la redacción) emitidos por los expertos externos. 9. Consejo de redacción, o comité de redacción integrado por director, secretario y algunos vocales. 10. Consejo asesor, formado por profesionales e investigadores de reconocida solvencia, sin vinculación institucional con la revista o editorial, y orientado a marcar la política editorial y someterla a evaluación y Auditoría
ANECA. Acreditación del Profesorado Principios y orientaciones para la aplicación de los criterios de evaluación Madrid, 9/01/2008. versión 1.0
Arte y Humanidades
Se valoran únicamente los libros que tengan ISBN y que se publiquen en editoriales especializadas de reconocido prestigio, en las que se pueda garantizar un riguroso proceso de selección y evaluación de los trabajos
En el caso de revistas no incluidas en las bases de datos de referencia, se consideran otras publicaciones que reúnan determinados indicios de calidad: la existencia de evaluación externa por pares; disponer de un comité científico de nivel internacional; que publiquen un porcentaje elevado de artículos cuyos autores no mantengan vinculación directa con la revista a través del consejo de redacción o de la institución editora; su periodicidad y una antigüedad superior a tres años; que contengan exclusivamente trabajos de investigación; que aparezca reseñada en los repertorios y boletines bibliográficos más vinculados a su especialidad; que publique trabajos en más de una lengua
FECYT ARCE: Apoyo a las Revistas Científicas Españolas Primera convocatoria 2007 https://calidadrevistas.pre.fecyt.es/sites/default/files/informes/presentacion1conv_1.pdf https://calidadrevistas.fecyt.es/convocatorias
Indicadores: Calidad del proceso editorial
5. Declara la periodicidad y la cumple
6. Utiliza evaluación por pares externa Revisión por pares: dos o más revisores leen y analizan los artículos para determinar tanto la validez de las ideas y los resultados, como su impacto potencial en el mundo de la ciencia Evaluadores externos: seleccionados ad hoc, para valorar la originalidad, novedad, relevancia y calidad metodológica de los trabajos
7. Anonimato Doble anonimato (1): la identidad de los autores y de los revisores tiene que estar oculta. Anonimato simple (2): ocultar sólo la identidad de los revisores En la evaluación: Puntúa el doble anonimato
8. La existencia de instrucciones para la revisión y hoja de evaluación para los manuscritos Criterio y comentarios de evaluación sobre la originalidad, relevancia, rigor metodológico y presentación formal. Procedimiento, formas y plazos de ejecución de la revisión
9. La comunicación de la decisión editorial debe ser de forma motivada: Razones para la aceptación, revisión o rechazo. Facilitar los dictámenes de los revisores a los autores.

La percepción sobre la idoneidad de la revisión por pares

En una disciplina donde predominan las ideas y la presencia de diferentes escuelas y tradiciones resulta interesante observar el nivel de aceptación hacia la revisión por pares. Los datos de la encuesta muestran un consenso elevado a la hora de definir la validez de la revisión por pares como método idóneo para fomentar la calidad de las publicaciones (P.2). El 89% de los profesores e investigadores de las áreas de filosofía y filosofía moral está de acuerdo (n=107) o muy de acuerdo (n=72) con ello. Solamente un 8% está en desacuerdo (n=17) y un 1% muy en desacuerdo (n=3) y el mismo porcentaje no responde a esta cuestión (n=2).

El apoyo medio mostrado, en una escala de 1-4, es de 3,28. Los datos según categorías profesionales (tras recodificación de variables, agrupando las categorías en las cuatro R), muestran un mayor apoyo de R3 (contratados doctores y profesores titulares) con un 3,35 (n=93) y una práctica coincidencia de R4 (catedráticos) y R2 (posdoctorales y ayudantes) con un 3,24 (n=33) y un 3,25 (n=25) respectivamente. En este caso, es el colectivo más joven R1 (investigadores predoctorales) el que otorga el menor apoyo 2,94, aunque siendo todavía elevado y con una muestra de respuestas algo menor (n=17).

En general, los datos de nuestro estudio suponen una aceptación mayor con respecto a determinadas aproximaciones que lo sitúan en el 74% (Ware, 2016). Sin embargo, coinciden con otros estudios (Sense About Science, 2019) y se muestran algo menos elevados con respecto el informe de Publons que lo establece en un 98% (2018).

Por otro lado, observamos como los investigadores de filosofía y filosofía moral identifican los términos revisión (revisores, review, peer) y evaluación (evaluadores, evaluar, evaluando, aceptación) con un proceso de mejora de las publicaciones. Estos términos son acompañados de adjetivos (buenas, bien, mejor, malos) que denotan el fin último de la revisión que es la mejora de la calidad. Así se expresan, por ejemplo, las siguientes intervenciones:

Yo sí creo que el sistema mejora la calidad de las publicaciones en las revistas. Podemos discutir si es el mejor o no. (…) [pero] es mejor que nada (Tit.Mo1-debate).

Un efecto positivo es que los trabajos mejoran (…) El sistema produce cosas buenas (Cat.Mo2-debate).

Se ha ganado en cuanto a calidad. No se ha llegado en revistas españolas a los cuartiles que se desea, pero sí que son muchísimo más rigurosos los procesos de revisión y publicación (Cat.Mo3-debate).

Los sistemas de evaluación desde los años 80 hasta ahora, creo que se ha conseguido una mejora general de los artículos que se publican en revistas. Si vais a una biblioteca y miráis las cosas que se publicaban, casi había que pescar las cosas buenas (Cat.Mo4-debate).

Por un lado, veo que es bueno que entre los compañeros se haga esa revisión y es un criterio de calidad (Co.Fi1-entrevista).

Yo creo que se ha elevado el nivel en las revistas. Hemos pasado de publicar todo a una cierta calidad (Cat.Mo2-entrevista).

Mi experiencia como evaluada: una revista española me ayudó a mejorar el artículo con comentarios (Tit.Mo3-debate).

Yo creo que es el mejor. Por un lado, porque los artículos que mandas y que les falta un poco todavía por madurar… recibes feedback de ellos. Y los que pueden ser publicables, pero tienen un aspecto que se puede mejorar, los revisores te lo hacen mejorar (Bepr.Mo1-entrevista).

Me parece fundamental la revisión por pares, por otras personas que por conocimiento y capacidad pueden ofrecer una opinión razonada al respecto y a la vez sugerencias interesantes (Cat.Mo1-entrevista).

Este amplio consenso resulta llamativo teniendo en cuenta que se han mostrado argumentos críticos con respecto este tipo de métodos desde la filosofía (Shatz, 2004; Corlett, 2005; Lee et al., 2013; Katzav y Vaesen, 2017; Heesen y Bright, 2020). Con todo, nuestros interlocutores defienden que la evaluación por pares permite mejorar la calidad de los trabajos, así como también introducir criterios ecuánimes que de alguna manera neutralizan relaciones de poder. En este sentido se manifiesta:

El hecho de que los artículos se evalúen es un requisito de imparcialidad. De lo contrario, el enchufismo estaría en cualquier parte y publicarían solamente los amigos de los amigos. Tiene que haber un criterio para abrir las publicaciones a los mejores (Tit.Mo2-entrevista)

Por un lado, garantiza que todos los artículos son supervisados y evaluados y que, el hecho de que sea anónimo (el doble ciego), garantiza la imparcialidad (Cat.Fi1-entrevista).

En general, son varias las manifestaciones que apuntan a la mejora en los procesos de toma de decisiones sobre manuscritos en las revistas de filosofía española, y lo expresan sobre todo en comparación con el sistema que predominaba previamente (descrito como carente de criterios claros). Cabe advertir que no se observan diferencias significativas en la opinión de los hombres y mujeres participantes en el estudio, ni en el debate, ni en las entrevistas. En cambio, sí se pudo apreciar algunos detalles en cuanto a las categorías profesionales. Así, los comentarios sobre la revisión por pares fueron dominados en el debate por académicos que ocupan posiciones consolidadas (titulares y catedráticos). En las entrevistas, los investigadores en posiciones iniciales de la carrera investigadora lo perciben como algo inherente del sistema que contribuye, por lo general, a mejorar la calidad. Asimismo, también muestran algunas quejas sobre experiencias negativas particulares (hecho que podría explicar la menor valoración previamente indicada). Los académicos que ocupan posiciones consolidadas son los que más se detienen a reflexionar sobre la revisión por pares, realizan comparaciones con lo anteriormente existente, perciben sus posibilidades (sin dejar de ponerle ciertos condicionantes) y especulan, en algunos casos, sobre sus posibles mejoras (o alternativas). Precisamente, de este tipo de aclaraciones permite ahondar en su valoración sobre la revisión por pares.

Un método valorado, pero no sin condiciones (o condicionantes)

La valoración positiva que se manifiesta sobre la revisión por pares no impide cierta crítica por parte de esta comunidad. En las entrevistas hay prácticamente consenso sobre su deseabilidad, siendo defendido sin ambages por dos participantes (Tit.Mo1-e, Tit.Mo2-e) así como visto positivamente en su balance final por el resto de entrevistados. Sin embargo, aparecen ciertos matices y condicionantes, no por lo que respecta a su idoneidad (o su ideal) pero sí en cuanto a su puesta en práctica. Algunas voces expresan, por ejemplo:

esto es como la democracia. Parece que es el menos malo (Cat.Mo3-entrevista).

se puede mejorar, pero no estoy ni mucho menos en contra de ello (Cat.Mo2-entrevista).

no se me ocurre alternativa mejor… es cierto que [todavía] se pueden eliminar sesgos, pero es cierto que es mejor el sistema que está ahora mismo funcionando (Cat.Mo3-debate).

De esta manera, constatamos como la validez y el potencial del método se asocia con la manera con la que los participantes se comprometen con sus principios básicos. Muy especialmente se reclama honestidad en la evaluación. Sus integrantes advierten del peligro de que la revisión por pares pueda convertirse en un mecanismo que censura o apaga ciertos discursos (en caso de realizarse un uso inadecuado del mismo). Estas preocupaciones son expresadas cuando se señala que:

(…) concurren factores más o menos corporativistas, que privilegian o excluyen un trabajo en función de su afinidad con las líneas investigadoras (Ay.Fi2-encuesta).

Es decir, el hecho de que el autor no conozca el evaluador permite que ciertos evaluadores (…) evalúen de una manera muy irresponsable. Y que utilicen la evaluación para censurar al autor o para mostrar sus desacuerdos con tesis que son perfectamente respetables. No se puede utilizar la evaluación para evitar el disenso teórico (Cat.Fi1-entrevista).

Tampoco me gusta cuando se nota que están juzgando tus tesis (el contenido) y no la forma en el que lo has expuesto, el método, las cuestiones de argumentación más formales, sino realmente la tesis que no les gusta en sí misma (Bepr.Mo2-entrevista).

Por mi experiencia, a veces me han hecho evaluaciones más malas que buenas en el sentido de que la persona que ha leído el artículo no tiene ni idea del marco teórico del que parto yo, o de la corriente que estoy tratando de exponer, de la propuesta que hago.(…) tumbando cosas que, por ejemplo, en la teoría [que asumo], son básicas y que no se pueden discutir en el sentido de que si lo haces, no partes de mi perspectiva que es la que yo estoy tratando de poner en evidencia claramente en este artículo (…) ¿cómo le discuto yo [a esos investigadores] si no comparten mis teorías? (Ay.Fi1-entrevista).

Esas cuestiones son [por ejemplo] si se defiende una tesis contraria al propio revisor, hay una tendencia a no ser tan neutral evaluando los trabajos. La neutralidad ahí se ve comprometida (Co.Fi1-entrevista).

Estas aseveraciones vienen a plantear que el ideal de evaluación por pares puede llevar a su desvirtuación cuando la aceptación y el rechazo de un texto se vincula a la cercanía o lejanía de las tesis y no a una evaluación rigurosa del contenido. Este tipo de preocupaciones ya han sido previamente señalados por parte de filósofos que observan como potencialmente problemático (o complejo) el aplicarlos sobre un campo marcado por la pluralidad de tradiciones y escuelas (Corlett, 2005; Katzav y Vaesen, 2017). Una amenaza que se convierte en real si el juicio del evaluador queda dominado por las preferencias hacia determinadas tradiciones, escuelas o ideologías.

En este sentido, es interesante observar como algunos estudios empíricos previos han apuntado que en filosofía la presencia de al menos un comentario inflamatorio se duplica (con un 30%) en comparación con la psicología (Lee y Schunn, 2011). Además, se observa como las dinámicas de rechazo son significativamente más elevadas en la filosofía, un dato observado en el trabajo clásico de Zuckerman y Merton que situaba la tasa de rechazo en filosofía en el 85% frente al 24% en física. Una diferencia posible de explicar por la falta de consenso o ausencia de paradigmas compartidos (Zuckerman y Merton, 1971).

A pesar de estas matizaciones, asociadas con la aplicación de la revisión por pares a la filosofía, nuestro estudio constata una general aceptación de su idoneidad por parte de la comunidad de la filosofía y la filosofía moral en España. Ahora bien, este proceso se considera capaz de fomentar una mejora de la calidad de la publicación, siempre que no se emplee con fines ajenos y espurios. La valoración positiva de la revisión por pares, como sistema de control de calidad, es compartida, pero se vincula -tal como ya han indicado otras aproximaciones (Grainger, 2007)- a la profesionalidad de las personas involucradas en el proceso.

El doble ciego como opción destacada, casi única

Los profesores de filosofía y filosofía moral se muestran claramente partidarios del anonimato en la evaluación por pares (P.3), y dentro de las distintas tipologías se inclinan abiertamente por el sistema doble ciego un 87% (n=175). Solo un 8% se muestra a favor de la revisión en abierto (n=16) y únicamente un 3% prefieren el procedimiento ciego (n=6). Un 2% (n=4) no contestó a esta pregunta. Resulta llamativo que las pocas personas que optan por el ciego ostentan una posición consolidada (5 titulares y 1 catedrático). Algo más repartido se muestra la distribución de categorías profesionales que optan por el abierto (2 catedráticos, 5 titulares, 1 contratado doctor, 1 ayudante, 1 posdoctoral, 2 predoctorales, 3 asociados, 1 “otro”). Esta preferencia por el doble ciego coincide con otros estudios que incluyen datos de las humanidades en estudios multidisciplinares. Así, se conoce que la preferencia por el doble ciego se sitúa en una ratio de 8 o superior sobre 10 (Taylor & Francis, 2015) o en el porcentaje de 87% para otras investigaciones (Mulligan et al., 2013). También nuestro material cualitativo de la investigación permite constatar esta preferencia generalizada hacia el doble ciego. Resulta llamativo que la mayoría de los entrevistados implícitamente dan por sentado que la evaluación por pares es totalmente ciega o debe serlo, entendiendo que la evaluación por pares estándar es la del “doble ciego” sin que parezca haber conciencia de que existen otros tipos. Las declaraciones de las 75 publicaciones científicas de filosofía españolas que Latindex identifica como arbitradas, muestran que ninguna revista apuesta por la revisión en abierto. Es significativo que la gran mayoría declara su compromiso por el doble ciego, aunque en algunos casos resulta complejo tener la certeza de si hacen referencia a la opción del “ciego” o el “doble ciego”. También es destacable que algunas de las declaraciones son largas y justificativas, evitándose formulaciones más normalizadas y estandarizadas. Una característica que, de nuevo, puede hacer dudar del nivel de asimilación de la revisión por pares y sus diversas tipologías, dado que las prácticas sólidamente asentadas y conocidas no suelen precisar de mucha justificación.

El repaso por las declaraciones de las publicaciones científicas y las conversaciones con los investigadores parecen evidenciar cierto desconocimiento sobre los tipos de revisión por pares existentes. En las entrevistas solamente dos personas llegan a mencionar como posible alternativa o sistema complementario la revisión abierta (Cat.Fi1-e, Cat.Mo1-e) y una el simple ciego (Tit.Fi3-e). Estas tres voces se muestran abiertas a pensar alternativas, aunque también parecen mostrar sus dudas. Así, podemos escuchar como una persona apunta por el ciego:

Una revisión en la que se conoce a las personas que están participando en la revisión, entiendo que limita la capacidad de la persona que está haciendo la revisión. Quizá a lo que no le veo mucho sentido es quizá al doble ciego, que la persona que está haciendo la revisión no sepa de quién es el trabajo que está revisando (Tit.Fi3-entrevista).

Por su parte, dos participantes parecen inclinarse a pensar en tipos inspirados en el abierto, aunque manifiestan a su vez la necesidad de cambiar la cultura de la comunidad investigadora para poder plantearlo como una alternativa atractiva. Así indican que:

Quizá en una evaluación en abierto, los evaluadores se lo pensarían mejor. Por eso se remite al doble ciego, porque es una manera de curarse en salud. Quizá en la medida en que vayamos teniendo en España una comunidad filosófica donde empecemos a citarnos, a leernos y a discutir entre nosotros, pues no sea tan necesario el doble ciego. Es necesaria la evaluación, pero no tiene que ser forzosamente la única garantía de calidad el hecho de que sea anónima (Cat.Fi1-entrevista).

Hacerlo más transparente sería más honesto, aunque más difícil. Creo que a la gente joven no le resultaría tan difícil aceptar un sistema así, pero a la gente más senior nos molestaría más. Es un asunto complejo (…) (Cat.Mo1-entrevista).

De esta manera, aquellos que piensan en posibles alternativas al modelo predominante del doble ciego, indican primero la necesidad de mejorar ciertas dinámicas de revisión en su comunidad, remitiendo así al primer punto que hemos analizado en este artículo.

Finalmente, también cuando se defiende el doble ciego los investigadores aprecian una problemática: la dificultad de hacerla efectiva en áreas pequeñas y altamente especializadas. Esta característica provoca que sus integrantes estén familiarizados con las líneas de investigación, con las tradiciones y con los argumentos del conjunto de su comunidad. Así, no es extraño escuchar intervenciones de académicos con larga experiencia investigadora apuntando lo siguiente:

uno sabe a quién está revisando en muchas ocasiones (…) pero creo que también es un poco hipócrita, porque al final las revisiones ciegas lo son relativamente (Cat.Mo1-entrevista).

Aunque muchas veces se puede adivinar quién revisa y quién escribe, por más que intentas disimular quién es… (Cat.Mo2-entrevista).

Pero cuando uno tiene experiencia (en la edición de revistas) y la gente reconoce las autorías, pero no lo dicen (Cat.Mo3-entrevista).

Cuando se trata de trabajos de mi área y de filósofos a los que conozco (…) yo prácticamente el 80% de los casos sé de quién es el trabajo, aunque me lo envíen sin datos del autor. Por los estilos, temática, sé quién es (…) (Tit.Fi3-e).

(…) no existe la revisión ciega (…) Entiendo que el peer review es un teatro muchas veces (Tit.Fi2-e).

Estas aseveraciones no parecen extrañas atendiendo a las características de las comunidades científicas de filosofía. Por ejemplo, así se constata también en el estudio de Haslanger (2009) donde un 16% de filósofos señalaron ser sabedores de haber sido rechazados por revisores que conocían la identidad de la autoría, mientras que un 23% tenían sus sospechas sobre ello.



Conclusiones


El presente estudio apunta a una general aceptación de la revisión por pares en la comunidad investigadora de filosofía y filosofía moral de España. Sin embargo, se observan también importantes matices. A pesar de la expansión de este sistema -evidenciada en el progresivo (aunque todavía no pleno) cumplimiento de los criterios Latindex o del sello de calidad de la FECYT por parte de las publicaciones- la comunidad investigadora manifiesta dudas en torno a la asimilación plena de la revisión por pares y sus exigencias. El ejercicio de evaluar a los pares parece generalizarse y obedecer principalmente a las demandas procedentes de las agencias de evaluación, sobre todo la CNEAI y la ANECA y el sello de calidad de la FECYT. La comunidad investigadora se adapta a estas exigencias, pero ello no implica una asimilación inmediata. Otro aspecto reseñable de la presente investigación es la valoración positiva de la comunidad académica de filosofía y filosofía moral sobre la idoneidad de la revisión por pares para fomentar la calidad de la producción científica. El proceso de revisión basado en valorar ideas, pensamientos, juicios, reflexiones, nociones, conceptos arraigados en idearios, doctrinas y argumentos difiere con respecto a la evaluación de datos obtenidos con metodologías y técnicas propias de las ciencias experimentales y buena parte de las ciencias sociales. Este hecho nos podía llevar a intuir un mayor recelo en la utilización sistemática de la revisión por pares. Sin embargo, esto no ha quedado constatado en esta investigación. Los motivos de esta posición favorable a la revisión quizás se explican (al menos en parte) por la generalización de la revisión como el sistema legítimo y valorado en el conjunto del sistema académico. Asimismo, también se ha observado como son varias las manifestaciones que apuntan a la mejora general en los procesos de toma de decisiones sobre manuscritos en las revistas de filosofía. Esto lo señalan de manera especial en comparación con el modelo previo que queda definido como opaco, al desconocerse los motivos que llevaban a aceptar o rechazar los textos.

Ahora bien, esta consideración positiva no supone una defensa sin matices de la revisión por pares. Los filósofos lo defienden como un buen sistema, pero dependiente de la satisfacción de una serie de principios e ideales. En definitiva, estamos ante un sistema de control de calidad tan bueno como la profesionalidad de aquellas personas involucradas en el proceso. Concretamente, se exige fomentar una cultura de la evaluación basada en la honestidad, la integridad y la rigurosidad. Se remarca la relevancia de juzgar los manuscritos por su valor y no por posibles diferencias de perspectivas filosóficas. Cabe tener presente que la propia naturaleza de la revisión se asienta y fundamenta sobre un principio altruista: todo investigador debe estar dispuesto a evaluar de manera honesta el trabajo de sus colegas, esperando recibir el mismo trato. Es un quid pro quo en el cual la responsabilidad y buena labor del revisor resulta esencial para que su puesta en práctica se acerque al ideal al que se asocia.

La presente investigación nos aporta información relevante sobre la revisión por pares en las áreas de filosofía y filosofía moral, pero presenta también ciertas limitaciones. En este trabajo no se ha abordado, por ejemplo, una sistemática diferenciación de la percepción según el género. Futuras investigaciones podrían complementar esta información. También sería interesante complementarlo con estudios centrados en otras áreas tanto de las humanidades como de las ciencias sociales, incluyendo ramas como la sociología. Esto permitiría contrastar con otras áreas que, del mismo modo que la filosofía, disponen en España de un nutrido número de publicaciones nacionales de acceso abierto no comerciales (ruta diamante). Y que, asimismo, muestran progresos en la implementación de la revisión por pares (en convocatorias como el sello de calidad de la FECYT). Además, una comparativa específica con sociología podría aportar información sobre áreas con metodologías diferentes a las filosóficas y ahondar en posibles similitudes y diferencias (¿perciben los sociólogos españoles igualmente la revisión por pares como un sistema positivo?).

Finalmente, los estudios sobre las revisiones por pares adquieren una significancia especial en el contexto actual. Por un lado, la Estrategia Nacional de Ciencia Abierta y su defensa sobre el impulso de las revisiones en abierto podría modificar las coordenadas del debate en los años venideros. Por el momento hemos visto como la preferencia se vincula a la opción del doble ciego e incluso algunos de los participantes consideran cierta falta de madurez en la cultura evaluadora de cara a implementar la opción en abierto en estas áreas. Por otro lado, la declaración COARA pone en el foco la esperanza en la evaluación por pares para mejorar los sistemas como la propia acreditación. La apuesta por priorizar la evaluación cualitativa (con la revisión por pares como eje central) será un tema de debate clave en el futuro inmediato. En este estudio ya se ha apuntado al potencial de este método, constatándose a su vez que su validez depende del buen hacer, de la profesionalidad y del respeto de los participantes de ideales básicos de la revisión por pares.




NOTAS


[2] Esta iniciativa de carácter trasnacional se lanza en enero de 2022. Ver: https://coara.eu/about/

[4] Una iniciativa que ha calado de forma especial en España, siendo en 2023 uno de los contextos con mayor número de instituciones firmantes. Ver: https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

[7] Dicha investigación aportaba datos donde se pone de manifiesto que el conjunto de revistas españolas del campo de las ciencias sociales y humanas sufría de importantes déficits en cuanto a la consagración de la evaluación externa, poniendo de manifiesto que “estamos en presencia de una diferente tradición frente a prácticas internacionalmente consagradas en la edición de revistas científicas” (Román-Román et al., 2002, p. 292).

[8] Dicho sello, tal y como se recoge más abajo, es otorgado de manera exclusiva a las revistas que se caracterizan por buenas prácticas editoriales y la buena gestión de los manuscritos (Delgado López-Cózar et al., 2006)

[10] Para el campo de la sociología los porcentajes de revistas españolas que cumplían en 2000 y 2001 con el criterio de evaluadores externos de Latindex se sitúa en 3,5% y 14% (Román-Román et al., 2002). Por su parte, atendiendo a cifras actuales, observamos que 89 de las 137 aparecen señaladas como arbitrabas. Por lo que respecta a la convocatoria del sello de calidad de la FECYT sí se localizan varias publicaciones con dicho sello en la primera convocatoria. Por ejemplo, Revista de Estudios Políticos, Migraciones y REIS. Revista Española de Investigaciones Sociológicas es reconocida con el sello en el 2007. A estas se suma Papers. Revista de Sociología en el año 2009. La Revista Española de Sociología obtiene el sello en la convocatoria V (2015). Ver: https://calidadrevistas.fecyt.es/sites/default/files/files/listadoiconvocatoria.pdf y https://calidadrevistas.fecyt.es/sites/default/files/files/listadoiiconvocatoria.pdf Actualmente en el ranking aparecen 50 para el campo de Ciencias Políticas y Sociología. https://calidadrevistas.fecyt.es/listado-revistas/29?field_anyo_value%5Bvalue%5D%5Byear%5D=2021


Financiación


La presente investigación se ha realizado sin contar con fondos. Asimismo, los autores informan no tener conflictos de interés. Informe de datos de la investigación disponible en: https://repositori.uji.es/xmlui/handle/10234/189924


Agradecimientos


Los autores agradecemos a Daniel Pallarés-Domínguez su ayuda en el proceso de recogida de datos. También a las tres principales asociaciones españolas de filosofía y ética, Asociación Española de Ética y Filosofía Política (AEEFP), Sociedad Académica de Filosofía (SAF) y Red Española de Filosofía (REF), su colaboración durante el proceso de investigación y su aprobación del informe de recogida de datos. Finalmente, nos gustaría aprovechar esta sección para agradecer la labor del editor y de los revisores anónimos, cuyos constructivos comentarios han resultado de gran ayuda para mejorar este trabajo.


REFERENCIAS


Atkinson, M. (1994). Regulation of science by peer review. Studies in History and Philosophy of Science Part A, 25(2), 147-158. https://doi.org/10.1016/0039-3681(94)90025-6

Atkinson, M. (2001). Peer review culture. Science and Engineering Ethics, 7(2), 193-204. https://doi.org/10.1007/s11948-001-0040-8

Bohannon, J. (2013). Who’s afraid of peer review?. Science, 342(6154), 60-65. https://doi.org/10.1126/science.342.6154.60

Boletín Oficial del Estado [BOE]. (2005). APÉNDICE. Criterios que debe reunir un medio de difusión de la investigación (revista, libro, actas de congreso) para que las aportaciones que en él se incluyan puedan ser consideradas «de impacto». 266 . Noviembre 2005. Boletín Oficial del Estado. https://www.boe.es/boe/dias/2005/11/07/pdfs/A36470-36476.pdf

Bornmann, L. (2011). Peer review and bibliometric: potentials and problems. En J. C. Shin, R., Toutkoushian, & U Teichler (Eds.), University rankings (pp. 145-164). Dordrecht: Springer. https://doi.org/10.1007/978-94-007-1116-7_8

Campanario, J. M. (2002). El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, 25(3), 267-285. https://doi.org/10.3989/redc.2002.v25.i3.107

Clarke & Esposito. (2019). The Value of Peer Review. Perceptions from the Hematology Community. A Report Commissioned by the American Society of Hematology. Clarke & Esposito. https://www.ce-strategy.com/2019/04/the-value-of-peer-review/

Corlett, J. A. (2005). Ethical issues in journal peer-review. Journal of Academic Ethics, 2(4), 355-366. https://doi.org/10.1007/s10805-005-9001-1

Coslado, M. A., Lacunza, I., y Ros, G. (2011). Evaluación de la calidad de revistas científicas españolas: análisis de sus procesos de revisión. El profesional de la información, 20(2), 159-164. https://doi.org/10.3145/epi.2011.mar.05

Couzin, J. (2006). ...And how the problems eluded peer reviewers and editors. Science, 311(5757), 23-24. https://doi.org/10.1126/science.311.5757.23

Daniel, H.-D., Mittag, S., & Bornmann, L. (2007). The potential and problems of peer evaluation in higher education and research. In A. Cavalli (Ed.), Quality assessment for higher education in Europe (pp. 71-82). London: Portland Press.

Das, A. K. (2016). Peer review for scientific manuscripts: emerging issues, potential threats, and possible remedies. Medical Journal Armed Forces India, 72(2), 172-174. https://doi.org/10.1016/j.mjafi.2016.02.014

de Matos Cardoso, M. M. T. (2011). El peer review de las revistas científicas en Humanidades y Ciencias Sociales: políticas y prácticas editoriales declaradas. Revista Española de Documentación Científica, 34(2), 141-164. https://doi.org/10.3989/redc.2011.2.796

Delgado López-Cózar, E., Ruiz-Pérez, R., y Jiménez-Contreras, E. (2006). La edición de revistas científicas directrices, criterios y modelos de evaluación. Presencia, 4. https://www.revistacomunicar.com/pdf/documentos/2011-04-Delgado.pdf

Feenstra, R. A., y Teira, D. (2023). El acceso abierto y el futuro de la filosofía en España. Revista de Hispanismo Filosófico, 28, 121-135.

Feenstra, R. A., & Delgado López‐Cózar, E. (2022). Philosophers' perceptions of pay to publish and open access in Spain: Books versus journals, more than a financial dilemma. Learned Publishing, 35(2), 118-129. https://doi.org/10.1002/leap.1426

Feenstra, R. A., Delgado López-Cózar, E., & Pallarés-Domínguez, D. (2021). Research misconduct in the fields of ethics and philosophy: researchers’ perceptions in Spain. Science and engineering ethics, 27(1), 1. https://doi.org/10.1007/s11948-021-00278-w

Fonseca-Mora, M. C., Tur-Viñes, V., y Gutiérrez-San, Miguel B. (2014). Ética y revistas científicas españolas de Comunicación, Educación y Psicología: la percepción editora. Revista española de documentación científica, 37(4), e065-e065. https://doi.org/10.3989/redc.2014.4.1151

Grainger, D. W. (2007). Peer review as professional responsibility: A quality control system only as good as the participants. Biomaterials, 28(34), 5199-5203. https://doi.org/10.1016/j.biomaterials.2007.07.004

Haslanger, S. (2009). Preliminary Report of the Survey on Publishing in Philosophy, APA Committee on the Status of Women in the Profession. Massachusetts Institute of Technology. http://www.mit.edu/~shaslang/papers/HaslangerPRSPP.pdf

Heesen, R., & Bright, L. K. (2020). Is peer review a good idea? The British Journal for the Philosophy of Science, 72(3), 635-663. https://doi.org/10.1093/bjps/axz029

Horrobin, D. F. (1990). The philosophical basis of peer review and the suppression of innovation. JAMA, 263(10), 1438-1441. https://doi.org/10.1001/jama.1990.03440100162024

Hunter, J. (2012). Post-publication peer review: opening up scientific conversation. Frontiers in computational neuroscience, 6, 63. https://doi.org/10.3389/fncom.2012.00063

Jubb, M. (2016). Peer review: The current landscape and future trends. Learned Publishing, 29(1), 13-21. https://doi.org/10.1002/leap.1008

Karhulahti, V. M., & Backe, H. J. (2021). Transparency of peer review: a semi-structured interview study with chief editors from social sciences and humanities. Research Integrity and Peer Review, 6(1), 1-14. https://doi.org/10.1186/s41073-021-00116-4

Katzav, J., & Vaesen, K. (2017). Pluralism and Peer Review in Philosophy. Philosophers’ Imprint, 17(19), 1-20. http://hdl.handle.net/2027/spo.3521354.0017.019

Lee, C. J., & Schunn, C. D. (2011). Social biases and solutions for procedural objectivity. Hypatia, 26(2), 352-373. https://doi.org/10.1111/j.1527-2001.2011.01178.x

Lee, C. J., Sugimoto, C. R., Zhang, G., & Cronin, B. (2013). Bias in peer review. Journal of the American Society for Information Science and Technology, 64(1), 2-17. https://doi.org/10.1002/asi.22784

Ministerio de Ciencia e Innovación, (2023). Estrategia Nacional de Ciencia Abierta (ENCA) 2023-207. Disponible en: https://www.ciencia.gob.es/Estrategias-y-Planes/Estrategias/ENCA.html

Mulligan, A., Hall, L. & Raphael, E. (2013). Peer review in a changing world: An international study measuring the attitudes of researchers. Journal of the American Society for Information Science and Technology, 64(1), 132-161. https://doi.org/10.1002/asi.22798

Newton, D. P. (2010). Quality and peer review of research: an adjudicating role for editors. Accountability in Research, 17(3), 130-145. https://doi.org/10.1080/08989621003791945

Publons. (2018). Global State Of Peer Review. Publons & Clarivate Analytics. https://publons.com/static/Publons-Global-State-Of-Peer-Review-2018.pdf

Resnik, D. B., Gutierrez-Ford, C., & Peddada, S. (2008). Perceptions of ethical problems with scientific journal peer review: an exploratory study. Science and Engineering Ethics, 14(3), 305-310. https://doi.org/10.1007/s11948-008-9059-4

Román-Román, A., Valero, M. V., y Caminos, C. U. (2002). Los criterios de calidad editorial Latindex en el marco de la evaluación de las revistas españolas de humanidades y ciencias sociales. Revista Española de Documentación Científica, 25(3), 286-307. https://doi.org/10.3989/redc.2002.v25.i3.109

Ross-Hellauer, T., Deppe, A., & Schmidt, B. (2017). Survey on open peer review: Attitudes and experience amongst editors, authors and reviewers. PLoS ONE, 12(12), e0189311. https://doi.org/10.1371/journal.pone.0189311

Rowland, F. (2002). The peer‐review process. Learned publishing, 15(4): 247-258. https://doi.org/10.1087/095315102760319206

Ruíz-Pérez, R., Martín-Martín, A., y Delgado López-Cózar, E. (2015). Las revistas universitarias en el marco de los criterios de evaluación de la actividad investigadora en España. Revista Española de Documentación Científica, 38(2), e081. https://doi.org/10.3989/redc.2015.2.1191

Sense About Science (2019). Quality, trust and peer review: researchers’ perspectives 10 years on. Sense About Science. https://senseaboutscience.org/wp-content/uploads/2019/09/Quality-trust-peer-review.pdf

Shattell, M. M., Chinn, P., Thomas, S.P. & Cowling, W. R. (2010). Authors’ and editors’ perspectives on peer review quality in three scholarly nursing journals. Journal of Nursing Scholarship, 42(1), 58-65. https://doi.org/10.1111/j.1547-5069.2009.01331.x

Shatz, D. (2004). Peer Review: A Critical Inquiry, Lanham, MD: Rowman and Littlefield.

Souder, L. (2011). The ethics of scholarly peer review: a review of the literature. Learned Publishing, 24(1), 55-72. https://doi.org/10.1087/20110109

Taylor & Francis. (2015). Peer review in 2015: A global view. Taylor & Francis Group. https://authorservices.taylorandfrancis.com/publishing-your-research/peer-review/peer-review-global-view/

Tennant, J. P., Dugan, J. M., Graziotin, D., Jacques, D., Waldner, F., Mietchen, D. et al. (2017). A multi-disciplinary perspective on emergent and future innovations in peer review. F1000Research, 6(6), 1151. https://doi.org/10.12688/f1000research.12037.3

Ware, M. (2008). Peer review in scholarly journals: Perspective of the scholarly community-Results from an international study. Information Services & Use, 28(2), 109-112. https://doi.org/10.3233/ISU-2008-0568

Ware, M. (2016). Peer review survey 2015. Publishing Research Consortium. Bristol: Mark Ware Consulting Ltd. https://www.elsevier.com/__data/assets/pdf_file/0007/655756/PRC-peer-review-survey-report-Final-2016-05-19.pdf.

Zuckerman, H., & Merton, R. K. (1971). Patterns of evaluation in science: Institutionalisation, structure and functions of the referee system. Minerva, 9, 66-100. https://doi.org/10.1007/BF01553188