Impacto científico

Citas, excluyendo autocitas / Citas normalizadas / Posición en citas

En la Tabla que acompaña el Apéndice «Dimensiones, métricas y fuentes de la bibliometría narrativa» de la Resolución de 9 de diciembre de 2024, de la CNEAI, por la que se publican los criterios para la evaluación de la actividad investigadora se sugieren los siguientes aspectos para contextualizar la información y sobre los que construir la narrativa:

• Citas recibidas por parte de autoras/es influyentes
• Citas recibidas en publicaciones influyentes
• Citas recibidas en secciones influyentes (metodología, discusión)
• Citas recibidas el último/primer año
• Número de citas recibidas considerando el año de publicación, la tipología documental y la disciplina, es decir, citas normalizadas.
• Porcentaje de citación respecto al promedio mundial, u otras referencias (geográficas o disciplinares).
• Posición (decil, tercil, cuartil) en el que se encuentra una aportación en un listado de aportaciones ordenadas por citas recibidas.
• Lugar de la aportación en el listado correspondiente, indicando el tamaño del listado y/o el prestigio de la fuente que genera el listado.

Web of Science

Web of Science (WoS) es una plataforma de la empresa Clarivate Analytics formada por una amplia colección de bases de datos de información bibliográfica, citas, resúmenes y referencias. Su Core Collection incluye los índices de ciencias (Science Citation Index), ciencias sociales (Social Sciences Citation Index) y artes y humanidades (Arts & Humanities Citation Index); los de libros y proceedings de ciencias y ciencias sociales y humanidades (Book Citation Index y Conference Proceedings Citation Index), los índices especializados en química Current Chemical Reactions e Index Chemicus y el Emerging Sources Citation Index, para publicaciones emergentes.

Indexa un número menor de publicaciones que Scopus, pues se considera mucho más estricta y rigurosa en sus procesos de selección editorial. No obstante, se le atribuye a su sistema de selección de publicaciones la creación de sesgos en cuanto a su cobertura de la literatura científica: indexa más revistas del área de las ciencias experimentales que de las ciencias sociales y predominan las revistas anglosajonas o editadas en inglés.

A la hora de buscar las citas recibidas por nuestro trabajo en WoS,debemos de tener en cuenta que, de todas las bases de datos a las que da acceso, es la Core Collection la que está contemplada por ANECA y CNEAI para sus procesos evaluativos. Por ello, cuando accedamos a la plataforma, en Search in, seleccionaremos Web of Science Core Collection.

Localizado el documento en la lista de resultados, accedemos al registro clicando sobre el título. A la derecha de la pantalla, aparece el número de citas recibidas en la Core Collection.

Recientemente se ha añadido una nueva herramienta (Enriched Cited References) para la contextualización de las citas. Concretamente, nos va a facilitar información acerca de con qué intención y/o finalidad ha sido utilizada en un documento.

Esta nueva funcionalidad, cuyos resultados se muestran en el registro del documento bajo el recuento de citas, clasifica las referencias evaluando las palabras exactas del autor o la autora en la frase que contiene la mención, así como en la anterior y en la siguiente. Todavía se encuentra en fase beta, de ahí que no dé cuenta del total de las citas. Las citas se clasifican en las siguientes categorías:

• Background: nuestra aportación sirve de orientación al estudio citante dentro de un área académica.
• Basis: nuestra aportación proporciona datos, métodos, conceptos e ideas que los autores citantes han usado directamente o en los cuales han basado su trabajo.
• Discuss: la aportación es mencionada debido a que el trabajo citante aborda una discusión más profunda y detallada.
• Support: el trabajo citante ha obtenido resultados similares.
• Differ: el trabajo citante ha obtenido resultados divergentes.

En Web of Science y Scopus podemos excluir las autocitas desde el listado de documentos citantes, localizando en el filtro correspondiente (Researcher Profiles/Authors) nuestro nombre.

Desde el propio registro del documento, podemos consultar también el Category Normalized Citation Impact (CNCI), un indicador normalizado de citación elaborado a partir de los datos recogidos en la Core Collection de Web of Science. Este indicador pone en relación las citas recibidas por el trabajo en cuestión con el número de citas esperadas por un trabajo de similares características en cuanto a la disciplina, el tipo de documento y el año de publicación a nivel mundial. Conforme a esto:

• Un CNCI de 1,00 indica que la publicación ha recibido el mismo número de citas que otros similares.
• Un CNCI mayor de 1,00 indica que la publicación ha recibido más citas de las esperadas para un artículo de sus características. Por ejemplo, de un artículo con un CNCI de 1.44 podríamos decir que ha obtenido un 44% más de citas de las esperadas.
• Un CNCI menor de 1,00 indica que la publicación ha sido menos citada de lo esperada en publicaciones similares. Por ejemplo, un CNCI de 0.85 significa que se han obtenido un 15% menos de citas de las esperadas.

Podemos acceder a este dato pulsando sobre Open comparison metrics panel. A continuación se desplegará una pestaña en la que figura también el Percentile in Subject Area, otra información relevante a la hora de defender nuestra aportación.

Percentile in Subject Area señala el percentil correspondiente al número de citas de la aportación cuando se compara con las de los demás documentos recogidos en la Core Collection de WoS, publicados en la misma fecha dentro de la misma categoría temática y de la misma tipología documental.

Los documentos mejor clasificados tendrán el percentil más alto; por ejemplo: si un artículo tiene un Percentile in Subject Area de 91, podemos afirmar que se encuentra entre el 9% más citado a nivel mundial de los artículos publicados en el mismo año en su categoría temática.

Essential Science Indicators (ESI)

Essential Science indicators (ESI) es una herramienta de Clarivate que analiza los datos de Science Citation Index-Expanded (SCIE) y Social Sciences Citation Index (SSCI) de la Web of Science Core Collection para determinar qué autores, organizaciones, países, revistas y trabajos muestran un mayor impacto dentro de la comunidad científica e identificar tendencias en los diferentes ámbitos de la investigación.

ESI utiliza 22 disciplinas generales para clasificar entidades e identificar documentos de relevancia. A diferencia de lo que ocurre en otras plataformas, cada revista se asigna a una sola disciplina, y la investigación publicada en esa revista quedará vinculada a esa disciplina exclusivamente. El ESI journal list puede consultarse en abierto para conocer en cuál de las 22 disciplinas está incluida la revista en la que hemos publicado nuestra aportación.

Con los datos que elabora permite establecer dos importantes categorías de artículos:

• Highly Cited Papers: documentos publicados en los últimos 10 años que han recibido suficientes citas para figurar en el Top 1% de los artículos publicados en su mismo año y misma disciplina.
• Hot Papers: documentos publicados en los últimos dos años que han sido citados suficientes veces en los últimos dos meses como para colocarse en el Top 0,1% en comparación con documentos equivalentes. Se trata, por tanto, de trabajos que reciben muchas citas en fecha muy reciente a la de su publicación.

Los artículos que reúnen ambas menciones, reciben la consideración de Top Papers. Esta información aparece en Web of Science, no solo en el registro del documento sino también entre los filtros que podemos aplicar a los resultados de una búsqueda.

Más allá de esto, y como veremos, podemos utilizar ESI para comparar el rendimiento en citas de nuestro trabajo con el del resto de la producción mundial.

Para acceder a ESI, desde Web of Science clicamos sobre Products y seleccionamos la plataforma.

Si queremos conocer el impacto relativo de un artículo, teniendo en cuenta su disciplina y año de publicación, iremos a Field Baselines y, una vez ahí, a Citation Rates, que nos ofrece promedios de citas por artículo y por año en cada disciplina de investigación.

Si nuestro trabajo está por encima de la media podemos indicar que «según el Citation Rates de Essential Science Indicators para los trabajos de (Año) recogidos en WOS, la media mundial de citas por artículo en (Disciplina) es de (X); por lo que podemos afirmar que nuestro trabajo se sitúa por encima de la media mundial, al contar con (X) citas».

También dentro de Field Baselines podemos consultar, a través de Percentiles, el número mínimo de citas que necesita un artículo de una disciplina concreta, publicado en un año concreto, para encontrarse en X percentil.

Atendiendo a la disciplina y al año en el que se ha publicado nuestro artículo, se puede conocer su rango porcentual, esto es, si el artículo se encuentra dentro del 10%, 20% … etc., de los artículos más citados para esa disciplina. Por tanto, si nuestro artículo, publicado en una revista considerada de la disciplina Computer Science, ha recibido 43 citas en el año 2018, podremos señalar que se encuentra dentro del 10% de los artículos más citados de esa disciplina a nivel mundial para el año 2018, según los datos proporcionados por ESI.

Scopus

Scopus es una base de datos que contiene referencias bibliográficas, resúmenes y citas provenientes de publicaciones científicas revisadas por pares. Producida por Elsevier, suministra información acerca de más de 44000 publicaciones periódicas (activas e inactivas) de aproximadamente 7000 editoriales de todo el mundo, con una cobertura temática de más de 240 categorías. Contiene muchos más documentos que WoS, e incluye más revistas españolas y de ciencias sociales y humanidades. Además de revistas, indexa también series monográficas, libros, actas de congresos, patentes y publicaciones profesionales. En líneas generales se pueden encontrar un 10% más citas que en WoS.

Para localizar las citas de nuestras aportaciones, desde el tipo de búsqueda Documents haremos lo siguiente:

• Si buscamos un artículo, el capítulo de un libro o una aportación a congreso, introducimos su título y seleccionar el campo Article title
• Si buscamos un libro, introducimos su título seleccionando tanto Source title como en Article title
• Para buscar las actas de un congreso, introducimos el título de la conferencia en el campo Conference.

Como ya señalamos, la búsqueda en el campo DOI será el que nos proporcione un único resultado inequívoco.

En la pantalla de resultados se nos ofrecerá un registro abreviado en el que figuran datos bibliográficos (título del documento, autores, título de la fuente y año de publicación) y, a la derecha, el número de citas que ha recibido. Clicando sobre este número o sobre More > Cited by accederemos al listado de documentos citantes. En este último caso, si hemos obtenido más de un resultado, deberemos seleccionar antes nuestro artículo en la lista de resultados marcando el cuadrado a la izquierda del registro.

Como vimos con WoS, simplemente consultando los filtros podemos extraer información muy interesante sobre los documentos desde los que se ha citado nuestro trabajo. Toda esta información se puede ampliar y consultar de forma mucho más visual accediendo a Analyze Results.

En Scopus podemos también excluir las autocitas automáticamente. Para ello, en la página de resultados, marcamos el documento y clicamos sobre Citation overview.

Cuando hayamos accedido a Citation overview, pulsamos sobre Exclude self citations para conocer el número de citas sin autocitas. Debe tenerse en cuenta que, en este caso, estaremos eliminando las autocitas de todos los coautores del documento.

También podemos eliminar las autocitas de la misma forma en la que haríamos en WoS, accediendo desde el registro del documento al listado de documentos citantes y manejando el filtro Author name.

Scopus nos proporciona igualmente un indicador de citación normalizado similar al Category Normalized Citation Impact (CNCI) de la Web of Science. Se trata del Field-Weighted Citation Impact (FWIC), elaborado a partir de los datos recogidos en Scopus, aunque su cálculo e interpretación es similar al CNCI. Por lo tanto:

• Un FWIC de 1,00 indica que la publicación ha recibido el mismo número de citas que otros similares.
• Un FWCI mayor de 1,00 indica que la publicación ha recibido más citas de las esperadas para un artículo de sus características. Por ejemplo, de un artículo con un FWCI de 1.85 podríamos decir que ha obtenido un 85% más de citas de las esperadas.
• Un FWCI menor de 1,00 indica que la publicación ha sido menos citada de lo esperada en publicaciones similares. Por ejemplo, un FWCI de 0.44 significa que se han obtenido un 66% menos de citas de las esperadas.

Para conocer el FWCI de una aportación, accede a su registro completo en Scopus.

A la derecha del número de citas recibidas en Scopus, se puede ver el Citation Benchmarking, percentil correspondiente al número de citas del documento cuando se compara con los demás documentos de su mista tipología recogidos en Scopus publicados en la misma fecha y dentro de la misma área temática. Como ya hemos comentado al hablar de otras herramientas, un percentil 80th indicaría que el documento se encuentra en el 20% más citado.

Dimensions

Dimensions es un buscador académico que facilita el acceso a una importante colección de publicaciones multidisciplinares (artículos, libros, capítulos de libros, preprints, actas de congreso, etc.) desde una sola plataforma. Entre otras fuentes de las que Dimensions extrae sus datos se encuentran algunas tan relevantes como:

• PubMed: motor de búsqueda de libre acceso que contiene citas y resúmenes de literatura relacionada con la biomedicina y la salud.
• PubMed Central: repositorio digital de acceso abierto de publicaciones científicas a texto completo del ámbito de las ciencias biomédicas y de la salud.
• arXiv: repositorio digital de preprints del campo de la física, las matemáticas, la informática, la biología cuantitativa, las finanzas cuantitativas y la estadística.
• Crossref: la mayor agencia de registro de identificadores de objetos digitales (DOI). Su base de datos facilita información sobre el DOI, los metadatos y la URL donde se ha almacenado el contenido online.

En noviembre de 2023, Dimensions contenía más de 140 millones de publicaciones, es decir, alrededor del 30% más que las bases de datos similares.

Su versión gratuita permite acceder a las colecciones Publications y Datasets; mientras que para consultar las colecciones Grants, Patents, Clinical Trials y Policy Documents es necesario suscribir su versión de pago. Para usar la versión gratuita deberemos estar registrados en la plataforma: pulsamos sobre Login y nos registramos en Dimensions, o introducimos nuestro correo y contraseña, en caso de que ya lo hayamos hecho.

Una vez dentro de la plataforma, contamos con un cajetín de búsqueda en la parte superior, en las que podemos buscar en todos los metadatos del documento, en su título y abstract o introduciendo su DOI.

Clicando sobre el título del registro abreviado accedemos al registro detallado. Si nos desplazamos al final de la página, llegaremos al número de citas, y podremos acceder al listado de ellas en clicando sobre Show all.

Tanto consultando los filtros como el apartado Analytical Views que acompañan el listado de documentos citantes, podremos extraer información para contextualizar las citas recibidas (categorías a las que pertenecen los trabajos, años de publicación, autores, revistas en las que aparecieron los trabajos…).

Otra forma de conocer el número de citas y las características de los documentos que las emiten es a través del Dimension Badge, plataforma gratuita de Dimensions que procesa los datos de citas de la publicación. Este se encuentra en el registro completo de la publicación, en la parte derecha de la pantalla.

Para acceder a una mayor información acerca de estas citas, debemos hacer clic sobre el icono. En las tres pestañas que se encuentran debajo de los datos bibliográficos de la publicación (Summary, Citations y Citing research categories) encontraremos información de gran utilidad para defender nuestro trabajo, como el porcentaje de citas recibidas en los últimos dos años, prueba de la vigencia de nuestra aportación.

En la primera pestaña, Summary, podemos encontrar el Field Citation Ratio (FCR), una forma más de medir la influencia científica basada en las citas recibidas, en este caso utilizando los datos recopilados en la plataforma Dimensions. Se calcula para todos los documentos publicadas a partir del año 2000 y con al menos 2 años de antigüedad y se presenta como el resultado de dividir el número de citas que ha recibido un artículo por el número promedio recibido por un documento publicados en el mismo año y dentro del mismo campo de investigación (Field of Research, FoR).

Como en el caso del FWCI de Scopus y del CNCI de InCites, los valores se articulan alrededor de 1.0. De modo que una publicación con un FCR de 1.0 ha recibido el mismo número de citas que el promedio; mientras que un artículo con un FCR de 2.0, por ejemplo, ha recibido el doble de citas que el promedio. Se consulta a través del Dimension Badge que hemos comentado unas líneas arriba, y se puede contextualizar en la pestaña Summary.

Google Scholar

Google Scholar es un buscador de documentos científicos y académicos que permite localizar distintas versiones de artículos, libros, capítulos de libros, aportaciones a congresos actas, patentes, resúmenes, tesis, trabajos académicos… a partir de la información que recopila de muy variadas fuentes científicas, académicas y profesionales (editoriales, sociedades científicas, repositorios de preprints, institucionales y temáticos, redes sociales académicas…).

Debido a su amplísima cobertura temática e idiomática, recoge más citas que WOS y Scopus. Pero hemos de tener en cuenta que no existe un control acerca de la calidad de las fuentes ni de los documentos indizados, por lo que conviene revisar las citas.

La forma más adecuada de buscar nuestro trabajo en Google Scholar es introducir en el cajetín su título entre comillas, para que recupere exactamente todas las palabras y en ese orden. En los resultados, bajo los datos bibliográficos y el abstract, aparece el dato Citado por más el número de documentos que han emitido citas.

Cuando pulsamos Citado por accedemos a los documentos citantes indexados por Google Scholar. Como ya hemos comentado, estas pueden estar duplicados, carecer de interés, o no pertenecer al ámbito académico, por lo que se recomienda revisarlos.

Otras herramientas: Scite y Semantic Scholar

Scite.ai es una herramienta de nueva generación que permite descubrir y evaluar los artículos de investigación a través de las citas recibidas. Está basada en «citas inteligentes», es decir, citas que proporcionan contexto y se clasifican dependiendo de si respaldan, discuten o simplemente mencionan la referencia citada. Además, Scite.ai facilita información acerca de en qué sección del manuscrito se localiza la cita.

Aunque se trata de una plataforma de pago, cuenta con una extensión para navegadores gratuita que agrega una pequeña ventana emergente a la derecha de la pantalla cuando Scite reconoce el DOI de una publicación científica. Si se clica sobre esta pestaña, es posible ver un informe parcial del registro.

Semantic Scholar es una herramienta desarrollada por el Allen Institute for AI para la búsqueda y descubrimiento de recursos científicos. Su contenido incluye publicaciones de todos los campos temáticos y es obtenido a partir de la indexación de editoriales e índices científicos líderes, como Cambridge, PubMed, arXiv, Springer Nature y otros.

En cuanto a las métricas que ofrece, resulta de especial interés la contextualización de las citas recibidas por la aportación según la sección del artículo en la que aparece. Destaca también lo que considera «citas relevantes», relevancia que determina un algoritmo a partir del número de citas que la publicación citante ha recibido a su vez y otros elementos contextuales de la misma.