Cambio de paradigma en los procesos de evaluación del profesorado

En los últimos años se han producido una serie de cambios que es importante conocer, ya que implican una nueva filosofía (evaluación, ciencia abierta) que viene para quedarse.

  • Se incrementa la tipología de las aportaciones (conjuntos de datos, metodologías, programas de ordenador, y modelos de aprendizaje automática) que se pueden presentar al Sexenio, difuminándose en cierta medida la diferencia entre aportaciones ordinarias y extraordinarias.
  • Requerimiento de depósito en un repositorio. Tanto las 5 aportaciones principales como las 2 sustitutorias deben estar depositadas en un repositorio (institucional, temático o generalista). Tenéis aquí toda la información sobre este requerimiento.
  • Sistema de publicación. Las aportaciones deben haber sido registradas o publicadas, según su tipología, en los años que se van a evaluar. Como novedad, se admiten, para el caso de las revistas científicas, artículos publicados en nuevos sistemas conocidos como publicación contínua (forthcoming, online first, in press, etc.), con la obligatoriedad de presentar el identificador persistente de dicha publicación.
  • Cambios en los criterios de evaluación. Si los criterios tradicionales para a evaluación de la contribución fueron fundamentalmente criterios cuantitativos, como el número de citas recibidas, el factor de impacto y cuartiles del medio de difusión, o la presencia en ciertas bases de datos o repertorios bibliográficos; ahora la ANECA quiere darle más peso a criterios cualitativos y a la aportación frente al medio de difusión siguiendo los preceptos del manifesto de Leiden, la Declaración de San Francisco (DORA) e la Coalition for Advancing Research Assessment (CoARA), y solicita una fotografía más compleja y rica, en la que se valorarán las siguientes dimensiones (ver Apéndice dos criterios da CNEAI):
    • Dimensión a nivel aportación (métricas de citación, de uso y lectura, de influencia, utilización o adopción social)
    • Dimensión a nivel medio de difusión (métricas de impacto del medio de difusión (revista, monografía, congreso…) y sobre la calidad en su gestión)
    • Dimensión relacionada con la contribución a la ciencia aberta (depósito en repositorios de acceso abierto institucionales, temáticos o generalistas; compartición de datos, metodologías, programas y modelos de aprendizaje; y ciencia abierta a la sociedad)
    • Presencia en bases de datos y repertorios bibliográficos. Los nuevos criterios establecen que la presencia en este tipo de herramientas puede sumar en la valoración o servir como argumento complementario, pero en ningún caso servir para obtener valoración positiva automática sin tener en cuenta la calidad intrínseca del contenido.
  • Unificación de criterios de evaluación. La tendencia es, respectando la idiosincrasia de la producción científica de cada campo, establecer unos criterios más homogéneos de la evaluación de la calidad. En base a esto:
    • Se elimina de la resolución el apartado de mínimos orientativos que aparecía en cada campo.
    • Se publica un baremo único para la aplicación de los mismos criterios en todos los comités asesores, eliminando así los baremos específicos de cada campo.
  • Penalizaciones. Este nuevo baremo penaliza gravemente (en muchos casos es motivo de exclusión) malas prácticas del ámbito editorial, entre ellas:
    • Reiteración de publicaciones (en las mismas revistas o editoriales científicas, particularmente en números especiales)
    • Conflicto de interés editorial (relación de los autores con el comité editorial que comprometan la objectividad y la calidad de la evaluación)
    • Malas prácticas de publicación (duplicación de contenidos, traducción de obra propia, plagio, alteración de datos, sufrer retractación…)
    • Procesos de revisión no contrastables (publicación en medios que practican una revisión por pares deficiente, periodos de aceptación muy breves de manera injustificada, etc.)
  • Bibliometría narrativa. La ANECA no solo pide que simplemente incorporemos estas métricas, sino que se contextualicen a través de un relato, de una "narración justificativa de los indicios de relevancia e impacto de cada aportación, apoyados por un uso responsable de indicadores cuantitativos". Esto se conoce como bibliometría narrativa. Tenéis aquí más información sobre qué es la bibliometría narrativa.
  • Autoría. El solicitante debe justificar una participación activa en la obra que postula y especificar su rol en su elaboración. Esta información deberá presentarse, como mínimo, dentro da narrativa, siguiendo la taxonomía CRediT. Según el baremo publicado, una autoría insuficientemente justificada restaría un 15% en la puntuación de la aportación.
  • Campo 0: Interdisciplinar y multidisciplinar. Ideal para aquellas personas que consideren que sus aportaciones "en su conjunto son de difícil encaje en el resto de los campos, por incluir aportaciones a diversas disciplinas". Para saber con más detalle cuándo solicitar la evaluación por este campo o no podéis consultar las FAQs de la ANECA.