Evaluación de la producción científica

Habitualmente para acreditar la actividad investigadora de un docente, en los modelos de curriculum se requiere confirmar que dicha actividad es intensa, de calidad y desarrollada de forma continuada en el tiempo. Esta experiencia es demostrable en especial mediante los resultados publicados y tomando como referencia una serie de datos e indicadores:

            Índice de impacto de las revistas donde se ha publicado

            El cuartil en el que se encuentran situadas dichas revistas

            Las bases de datos que indizan las revistas donde se ha publicado

            Las citaciones recibidas por los artículos, capítulos o libros publicados

            Criterios de calidad de las monografías en las que se publica: selección de originales, editorial…

Estos requisitos pueden variar, en mayor o menor medida, dependiendo de las Agencias de evaluación, programas, materias o disciplinas y los indicadores para verificar la calidad de la publicación también varían, según el tipo de publicación que hayamos elegido.

Índice o factor de impacto de una revista (IF)

Proporciona información sobre el nº de veces que se cita por término medio un artículo que se ha publicado en una revista concreta, lo que permite medir la repercusión que ha tenido una revista en la literatura científica. La fórmula más habitual es la siguiente:

Factor de impacto 2021 =

Citas recibidas en 2021 por los artículos publicados en 2019 y 2020 por esa revista concreta


Número total de artículos publicados en 2019 y 2020 en esa revista concreta

 

No se puede calcular el factor de impacto de un artículo, sí el de la revista dónde se haya publicado. Lo calcula el Journal Citation Report (acceso a través de la web de la Biblioteca, bases de datos, Índices de Impacto y citas).

Journal Citation Indicator

Se trata de un nuevo indicador que aparece por primera vez en el JCR de 2021.

Se aplica a todas las revistas de la colección principal de Web of Science. Es una métrica "normalizada" que permitiría teóricamente la comparación de revistas entre diferentes categorías.

Se calcula con los siguientes datos:

1. Media de citas esperadas en la categoría (Expected Citations)

Se tienen en cuenta las citas procedentes de documentos de la misma categoría, la misma tipología documental (solo artículos y revisiones) y el mismo año de publicación, y se calcula la media de citas para esa categoría y ese año. Serían las citas "esperadas".

2. Impacto normalizado de la categoría (Category Normalized Citation Impact, CNCI)

Es la ratio entre las citas obtenidas y las citas esperadas, para esa categoría y ese año de publicación. Si la revista se encuentra en varias categorías, se calcularía el CNCI para cada una de ellas, y se haría la media de todos los CNCI por año

3. Media de los impactos normalizados es Journal Citation Indicator

Más Información

SCImago Journal Rank (SJR)

El SJR está basado en la base de datos Scopus de Elsevier. Se trata de un indicador de visibilidad creado a partir del algoritmo de Page Rank de Google.

Las diferencias con el IF son principalmente:

Periodo de medición de 3 años (IF 2 años).

Elimina las autocitas o citas a la propia revista.

Calcula conjuntamente el ranking para ciencias y para ciencias sociales, mientras el IF lo separa, de manera que, si una revista de ciencias sociales cita un artículo de una revista de ingeniería, esta cita no interviene en el cálculo del IF.

Al aplicar un proceso basado en el Page Rank de Google, no todas las citas valen igual, según sea la revista de la que proviene la cita el SJR subirá más o menos.

SNIP (Source Normalized Impact per Paper)

Es un indicador bibliométrico desarrollado para Scopus por el Centre for Science and Technology Studies (CWTS) de la Universidad de Leiden.

Permite una comparación directa de publicaciones en distintos campos temáticos, midiendo la frecuencia con la que los autores citan otros documentos, la velocidad de maduración del impacto de la cita y la medida en que la base de datos cubre la literatura del campo.

Esta herramienta se aplica a unas 18.000 revistas, actas y colecciones de libros, permite la comparación directa de las revistas independientemente de su clasificación por materia y es actualizada cada 2 años para garantizar la continuidad de las medidas. Se puede consultar en Scopus

Índice H

Fue propuesto por Jorge Hirsch en el año 2005 para medir la calidad profesional de los científicos. Es un sistema que permite detectar a los investigadores más destacados dentro de un área de conocimiento. Su cálculo es muy sencillo, hay que ordenar los documentos de un investigador en orden descendente de nº de citas recibidas, numerarlos e identificar el punto en el que el nº de citas coincide con el nº de orden.

En el caso de las revistas: una revista tendrá índice h si ha publicado h artículos que tengan h citas cada uno.

Puede consultarse el índice h de autor en Web of Science, Scopus, Google Académico. El índice h de una revista puede encontrarse en Scimago Journal Rank, Google Scholar Metrics

Cuartil

Es la unidad utilizada para la medida de posición de una revista.

Se obtiene separando los grupos de revistas de una determinada especialidad, ordenados de mayor a menor visibilidad (factor de impacto). Si el listado resultante se divide en 4 grupos iguales, cada parte constituye un cuartil. En el primer cuartil se incluirán, por lo tanto, las revistas con el factor de impacto más alto.

Su localización depende de la fuente que consultemos, por ejemplo el JCR no da el cuartil, tenemos que calcularlo dividiendo el nº total de revistas en 4 grupos, como hemos indicado anteriormente. Sin embargo, en In-RECS los cuartiles salen indicados en el listado.

Tercil

A pesar de que la mayoría de los recursos que ofrecen evidencias de calidad sobre las publicaciones las ordenan en cuartiles, en los formularios de acreditación se pide el tercil.

Los terciles se calculan de la siguiente forma (siguiendo un ejemplo de 20 revistas incluidas en una categoría temática): El resultado de dividir 20 entre 3, al no ser divisible (resultado =6,67): los terciles quedarían de la siguiente manera: 7 revistas en el primer tercil, otras 7 en el segundo tercil y 6 en el último, tomándolas ordenadas según el factor de impacto, de mayor a menor.

Si la revista en la que el investigador publica ocupa la posición 7, estaría en el primer tercil, el más importante por incluir las revistas con mayor factor de impacto.

ICDS (Índice Compuesto de Difusión Secundaria)

El ICDS es un indicador que mide la difusión de las revistas en bases de datos científicas. Es el resultado de un proyecto elaborado por el grupo de investigación de la Facultad de Biblioteconomía y Documentación de la Universidad de Barcelona. Se puede consultar en la base de datos MIAR.

El ICDS es el resultado de un cálculo numérico que valora la mayor o menor difusión de la revista en las bases consultadas, conforme a los siguientes baremos:

  • 3 puntos: títulos presentes en siete bases de datos internacionales de índice y resumen de carácter multidisciplinar sobre ciencias sociales y humanidades: Academic Search Premier (ASP), Applied Social Sciences Index and Abstracts (Asiria), International Bibliography of Social Sciences (IBSS), Francis / Pascal, Fuente Académica y Periodicals Content Index (PCI).
  • 3 puntos: títulos presentes en alguna de las siguientes bases de datos de carácter especializado: Arte Index / Abstracts / Full Text, Educational Research Abstracts (ERA), Education Resources Information Center (ERIC), Geobase, Population Index, Historical Abstracts, Psicodoc, PsycINFO, ATLA Religion Database, Social Services Abstracts, Sociological Abstracts.

Ranking de visibilidad e impacto de revistas científicas españolas de Humanidades y Ciencias Sociales con Sello de Calidad FECYT.

 La metodología empleada por FECYT para evaluar las revistas de Humanidades y Ciencias Sociales para la obtención del Sello de calidad se basa en dos elementos: impacto y visibilidad. Para la valoración de estos elementos se analizan los indicadores siguientes: citación, índice h y cuartiles, obtenidos en bases de datos de reconocido prestigio: WOS, ESCI, JCR, Scopus, Scielo, Scimago, MIAR. Publica en el Boletín Oficial del Estado la convocatoria de Evaluación de Revistas Científicas, y posteriormente en su página web puede consultarse la relación de revistas acreditadas y el Ranking de visibilidad.

Los Índices de citas

Los índices de citas recopilan información de las citas bibliográficas que se realizan en los artículos académicos. Ello hace posible saber las citas recibidas por un autor o por un trabajo concreto.

¿Dónde se buscan?

La herramienta fundamental es el ISI Web of Science. Contiene tres bases de datos que ofrecen citas:

Science Citation Index (área temática de ciencias)

Social Sciences Citation Index (área temática de ciencias sociales)

Art and Humanities Citation Index (área temática de humanidades y arte)

También ofrecen información sobre las citas, de una publicación o de un autor, las siguientes fuentes:

Scopus

Dialnet

Bases de datos especializadas, según temática (v. Biblioteca Universitaria: Bases de datos clasificadas por materias)

No existe ninguna herramienta de temática general para cuantificar la calidad de las monografías. Siguiendo las pautas indicadas en los criterios de calidad temáticos y generales expuestos por la CNEAI y la ANECA, para determinar la calidad de una monografía podemos considerar los siguientes indicadores:

En la evaluación de libros y capítulos se tendrán en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas.

 

PRESTIGIO EDITORIAL

En el Apéndice 1 del BOE nº 292 de 1 de diciembre de 2017, se establece como uno de los criterios específicos en cada campo de evaluación según la CNEAI, la calidad del proceso editorial:

Tratándose de libros y capítulos de libros se valorarán las editoriales que ocupen posiciones destacadas, en su correspondiente especialidad, en Scholarly Publishers Indicators (SPI). También podrán considerarse, a juicio de la comisión, publicaciones en colecciones de editoriales universitarias que cuenten con el sello de Calidad en Edición Académica (CEA).

SPI Scholarly Publishers Indicators (SPI)              

Elaborado por el Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC), muestra un ranking obtenido mediante la aplicación de un indicador matemático a los resultados de una encuesta de valoración realizada por más de 3.000 investigadores  (ver metodología de aplicación). Consultar SPI

Sello de Calidad en Edición Académica (CEA)

El Sello tiene como objetivo reconocer las mejores prácticas dentro de la edición universitaria española y convertirse en un Indicador relevante que tanto las agencias de evaluación de la actividad investigadora como la comunidad académica e investigadora podrán identificar fácilmente. En su página web puede consultar la guía de evaluación, para conocer los pasos que se siguen para evaluar la calidad de una colección científica.

Está promovido por la Unión de Editoriales Universitarias Españolas (UNE) y avalado por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y la Fundación Española para la Ciencia y la Tecnología (FECYT).

En este enlace puede ver la relación de colecciones que han obtenido el sello, en qué convocatoria y la fecha en la que expira dicho certificado.

Ie CSIC (Índice de Editoriales CSIC).

Puede consultar su descripción y cálculo en su página web, de la que destacamos algunos puntos:

Se trata de un índice de editoriales con valor asignado. Para la elaboración de ie-CSIC se ha partido de las editoriales registradas en conCIENCIA, cuyos nombres han sido corregidos y homogenizados con el fin de obtener una única entrada por editorial. El listado resultante se ha contrastado con los datos de las editoriales que vienen recogidos en cuatro índices de amplio reconocimiento a nivel nacional e internacional como son: Book Citation Index (Thomson Reuters), Scholarly Publishers Indicators (SPI) / Prestigio editorial (Grupo ILIA/CSIC), Scopus Book Titles (Elsevier) y Norwegian Register for Scientific Journals, Series and Publishers (NSD).

Finalizado este cotejo, se ha elaborado un único y extenso listado en el que a cada editorial se le ha asignado un valor (alto, medio, bajo) siguiendo criterios homogéneos y utilizando datos obtenidos de los instrumentos de referencia consultados.

También se incluye el listado de editoriales con su valoración para su libre descarga.

RESEÑAS en revistas científicas especializadas

  • Bases de datos de la especialidad: Medline, Sociological Abstracts, MLA, Historical Abstracts…. En España: bases de datos del CSIC.
  • Bases de datos multidisciplinares: Scopus y Web of Science.
  • Google ( no en Google Scholar).
  • Dialnet.

 

VISIBILIDAD Y DIFUSIÓN

La presencia de las publicaciones en diferentes catálogos nacionales e internacionales confirma la difusión de las mismas.

Pueden consultarse grandes catálogos como:

  • Rebiun: catálogo Colectivo de la Red de Bibliotecas Universitarias.
  • Worldcat de OCLC.
  • KVK Karlsruher Virtueller Katalog.

Otros catálogos de Bibliotecas, Bibliotecas digitales, Repositorios, etc. 

 

 LOS ÍNDICES DE CITAS

 Los Índices de citas

Los índices de citas recopilan información de las citas bibliográficas que se realizan en los artículos académicos. Ello hace posible saber las citas recibidas por un autor o por un trabajo concreto.

¿Dónde se buscan? (todas las bases de datos que se relacionan a continuación pueden consultarse en la Biblioteca)

La herramienta fundamental es el ISI Web of Science. Contiene tres bases de datos que ofrecen citas:

Science Citation Index (área temática de ciencias)

Social Sciences Citation Index (área temática de ciencias sociales)

Art and Humanities Citation Index (área temática de humanidades y arte)

También ofrecen información sobre las citas, de una publicación o de un autor, las siguientes fuentes:

Scopus

Dialnet

Bases de datos especializadas, según temática.