Revista Española de Cardiología ha alcanzado en elaño 2004 un «factor de impacto» (FI) de1,8021. Esto supone prácticamente duplicar estepopular índice bibliométrico y representa unverdadero hito, no sólo para nuestra publicación,sino para todas las revistas médicas enespañol2. Por tanto, los editores pensamos queésta es una magnífica oportunidad para repasar losfundamentos, las implicaciones y las limitaciones de losíndices bibliométricos más utilizados hoy endía y también para realizar algunas reflexiones sobrenuestra línea editorial.
Cálculo de índices bibliométricos
Valorar de forma ecuánime los méritos de lainvestigación es un reto todavía no resuelto. Se hanpropuesto algunos métodos, en principio objetivos, paravalorar la calidad de la investigación, incluyendo la tasade citaciones y el FI de las revistasbiomédicas3-9. Los datos sobre las citaciones seobtienen de una base de datos generada por el Institute forScientific Information (ISI) que hoy forma parte de unainstitución privada (Thomson ISI) con sede en Filadelfia quede forma continua, computa y clasifica todas las citas que seproducen en las referencias bibliográficas de una importantelista de revistas científicas de todo el mundo. El ISIgestiona estas referencias en su base de datos para conocercuántas veces un artículo concreto ha sido citadodurante un determinado plazo de tiempo y por quién.Finalmente, desde 1963 estos datos son recogidos en el ScienceCitation Index (SCI) y, más recientemente, por elSCI-Expanded. Mientras que las listas de publicaciones por autorespermiten calcular las citaciones que un investigador ha recibidodurante un año, la tasa de citaciones recibida por unadeterminada revista científica puede medirse con el FI, quecalcula el porcentaje medio de citaciones recibidas sobre el totalde artículos de dicha publicación. Desde 1975, los FIde las diferentes revistas se publican anualmente en el JournalCitation Reports (JCR) del SCI y proporcionan unacomparación objetiva de la calidad científica de lasrevistas ampliamente aceptada1-6. En un principio, el FIfue ideado por el ISI simplemente como un índice«interno» de la calidad relativa de las diferentespublicaciones científicas que le permitía decidircuáles debían estar incluidas en su base dedatos10. Más tarde, este índice sepopularizó por su sencillez y, posteriormente, seconsolidó al demostrarse que se correlacionaba de maneraadecuada con diversos parámetros de calidad en las revistasbiomédicas11. Como luego veremos, aunque el FIactualmente se considera uno de los índices másaceptados de la visibilidad e incluso del prestigio de unapublicación, no está exento de importanteslimitaciones7-10.
ElISI indexa cerca de 8.500 revistas dentro de 200 diferentesáreas de conocimiento1. En el área debiomedicina, 16 están en castellano y 11 de ellas sonrevistas españolas. La utilidad de contar las referenciasbibliográficas de los artículos científicosfue sugerida en 1927 por Gross et al12. El FI fue«inventado» hace ya 50 años por Eugene Garfield,fundador del ISI, como un método sencillo quepermitía comparar diferentes revistas con independencia desu tamaño3-6. Se intentaba así corregir elincremento de citas que una revista podía recibirsimplemente por el hecho de publicar muchos artículos. El FIde una revista para un año determinado se calcula como elnúmero de citas recibidas durante ese año(procedentes de revistas indexadas por el ISI) a cualquierartículo publicado por dicha revista en los 2 añosprecedentes (numerador), dividido por el numero total de«artículos citables» publicados por la revistaen esos 2 años (denominador)3-6. Como ya hemosindicado, el ISI es un organismo independiente y con frecuencia esdifícil establecer con precisión quéartículos serán finalmente considerados como«citables» (substantive articles, source items,citable items). Además, el FI únicamente nosindica la frecuencia con que los artículos de una revistason citados a corto plazo3-6.
Otro indicador bibliométrico interesante proporcionado porel ISI es la vida media de citación o cited halflife. Este índice refleja el número deaños (contando hacia atrás) que recogen el 50% de lascitas recibidas por la revista en un año determinado. Desdeun punto de vista práctico este índice expresa eltiempo durante el cual los artículos publicados por unarevista siguen siendo citados y, por tanto, considerándoseútiles por la literatura científica1-6. Uníndice análogo, aunque inverso, es la vida media delos artículos que son citados por la propia revista(citing half life).
Asu vez, el «índice de inmediatez», citasrecibidas en un año a artículos de ese mismoaño divididas por el número total de artículos«citables» de dicho año, nos da una cierta ideadel dinamismo editorial de la revista. Finalmente, otroparámetro utilizado es el número total de citas (absolute citation counts) que una revista recibe undeterminado año a cualquier artículo que previamenteha publicado. Este método corrige en parte los problemas devisión a corto plazo típicos del FI, aunquetambién tiene algunas limitaciones, como favorecer lasrevistas más antiguas y las que publican másartículos5.
Limitacionesy abusos de los índices bibliométricos
Losprincipales problemas derivados de la utilización de losíndices bibliométricos pueden clasificarse en tresgrandes apartados: a) las limitaciones propias de estosíndices; b) su uso inadecuado, y c) susimplicaciones editoriales. Per O. Seglen7 resumióbrillantemente los problemas fundamentales que surgían alutilizar el FI de las revistas biomédicas para valorar lainvestigación científica (tabla 1).
Limitaciones inherentes de los índicesbibliométricos
Citas recibidas. Las citas recibidas por una revista dependende forma crítica de cuántas revistas sobre el mismoámbito de interés están incluidas en la basede datos del ISI3-10,13. Esto se produce porquesólo se computan las citas que provienen de este selecto«club» de revistas. El hecho de que sólo unnúmero relativamente reducido de revistas no publicadas eninglés esté incluido en esta base de datos explica unsesgo que claramente favorece a las publicacionesanglosajonas7-10,14-19. De hecho, se ha sugeridocalcular un FI modificado para las revistas que no se publican eninglés, que considere las citas realizadas en su mismalengua desde revistas no incluidas en la base de datos delISI20,21. También se ha observado una tendencia ala autocita entre investigadores norteamericanos, lo quetodavía incrementa más las citas recibidas por estoscientíficos7,22-24.
Lasrevistas básicas habitualmente consiguen un importantenúmero de citas3-10. Estas publicaciones secentran en investigación original reciente, suelen estarfuertemente representadas en la base de datos del ISI y son citadasno sólo desde artículos básicos, sinotambién por los artículos clínicos. Esimportante tener en cuenta los diferentes hábitos decitación presentes en las distintas áreas delconocimiento. Así, algunas disciplinas, por suscaracterísticas de desarrollo, mantienen citas con una largavida media. Otros campos, muy dinámicos y con unabibliografía que pronto queda desfasada, se venespecialmente beneficiados por los índicesbibliométricos que, como el FI, priman las citas a cortoplazo3-10. En este sentido se ha propuesto calcular unFI que contemple no 2, sino 5 o incluso 10años3-6. Por otro lado, es fácil entenderque los clínicos puros pueden leer artículosimportantes en sus revistas clínicas que les lleven amodificar significativamente su práctica diaria, pero queluego nunca citarán en nuevas publicaciones. Encomparación con las revistas de especialidades, las revistasde medicina general también tienden a beneficiarse delFI7-10. Aparte de las ventajas de su amplio campo deinfluencia, estas publicaciones pueden reorientarse para acogermejor los temas con mayor interés en cada momento. Lasrevistas de revisiones también son muy favorecidas por elFI, ya que no sólo incluyen un importante número decitas, sino que sus artículos son frecuentemente utilizadoscomo cita única y general sobre un tema3-10. Portodos estos motivos se ha sugerido el posible interés decorregir el FI y ajustarlo dentro de cada áreatemática para permitir efectuar comparaciones entredisciplinas25,26.
Lasrevistas que publican más artículos tienen másoportunidades de ser citadas y, en este sentido, el FI esútil, ya que «normaliza» para el tamañode la revista3-6. Sin embargo, también se hademostrado que los artículos largos, los que tienen muchosautores y los interdisciplinarios o con colaboraciones entrediversos centros reciben mayor número decitas3-6,27. La inclusión de 2 artículossobre el mismo tema en el mismo número de la revistatambién aumenta la probabilidad de que seancitados6. Finalmente, algunas revistas incluyennúmeros temáticos o monográficos sobreaspectos de candente actualidad que logran atraer un mayornúmero de citas que los númerosregulares7-9.
Laautocita (cita a la misma revista) también puede generardificultades específicas, ya que este factor no es tenido encuenta en el cálculo del FI3,10. La tendenciahacia una mayor autocitación se puede considerar justificadaen diversos supuestos, como en el caso de revistas nacionales,especialmente si no son publicadas en inglés, ytambién en revistas sobre temas muy específicos o encampos cubiertos por muy pocas publicaciones7,28.Garfield29 acepta que los editores favorezcan laautocitación, siempre que las citas seancientíficamente relevantes, como una forma de estimular asus lectores a comparar el trabajo publicado con otrosfácilmente accesibles y en un contexto cercano. Laautocitación también podría favorecerse desderevistas que pertenezcan a sociedades científicas, aunqueesta práctica devalúa el valor del FI finalmentealcanzado29-32. Para evitar este problema algunosinvestigadores han sugerido calcular un FI corregido, libre deautocitas10,22,25.
Finalmente, las revistas que logran una mayor difusiónreciben más citas3,10. Además, laspublicaciones con una ágil política editorial nosólo atraen a los autores por la posibilidad de publicarrápidamente sus resultados, sino que también sebenefician de esta dinámica al conseguir que un menornúmero de citas queden desfasadas (para el cálculodel FI) en los retrasos propios de la valoración delmanuscrito o en prolongados tiemposaceptación-publicación3-9,33. Todo loanterior explica cómo meros factores técnicos tienenuna relevancia considerable en el cálculo de los diferentesparámetros bibliométricos6-10.
Artículos publicados y artículos citables. Esnecesario destacar que no todos los artículos cuentan como«citables» en el cálculo realizado por elISI3-9. Así, los editoriales, las cartas aleditor y los resúmenes de congresos no computan comoartículos citables (denominador del FI), sin embargo, tantolas citas recibidas por estos documentos como los artículoscitados en sus referencias sí constituyen citasválidas para el FI. En este sentido, mantener una revista«dinámica» con abundantes comentarioseditoriales y un amplio espacio para correspondencia beneficia deforma directa no sólo al índice de inmediatez, sinotambién al FI3-10. Paradójicamente, lasResearch Letters pueden producir el efecto contrario, ya quecuentan como artículos citables (denominador) pero, al serartículos cortos y de menor interés relativo, tiendena generar pocas citas. De hecho, parece ser que estefenómeno condicionó un declinar del FI de TheLancet34,35, a pesar de lo cual, sus editoresdecidieron mantener la política editorial que habíanemprendido fomentando este tipo de correspondencia. Para evitarestos problemas, Garfield6 propuso un método algomás complejo (Journal Performance Indicators) quepermitía seguir y valorar a lo largo del tiempo todas lascitas que recibían los artículos«citables». En la actualidad, esta informaciónse puede obtener directamente desde internet por suscripcióna la Web of Knowledge del ISI17.
Finalmente, reducir el número total de manuscritospublicados (disminuyendo el denominador) puede constituir una formaobviamente muy arriesgada de incrementar o mantener el FIde una publicación. En este sentido, un interesante estudiodemostró que entre las 5 revistas de medicina másprestigiosas había una correlación negativa entre elFI alcanzado y el número de artículospublicados35. Por este motivo, la recomendación«no publiques demasiado» o «mira bien lo quepublicas» es tenida en cuenta por algunoseditores.
Uso inadecuado de los índicesbibliométricos
Debemos recordar que el FI sólo debe aplicarse a revistas yque los artículos o los autores no tienen FI sino queconsiguen un determinado número de citas. Con laasunción de que la revista es representativa de susartículos, se ha propuesto la posibilidad de sumar el FI delas revistas donde un autor ha publicado sus diferentesartículos para proporcionar una estimación de suslogros científicos36-40. Como por otro lado el FIde las revistas donde se publican los artículoscientíficos se ha utilizado institucionalmente para premiarla investigación (sobre todo en Europa)39,40,muchos autores han redirigido sus esfuerzos para publicar en lasrevistas con mayor FI. De esta forma se cierra un círculovicioso que premia a las revistas con mayor FI, atrayendomás investigadores hacia sus páginas, y castiga a losque tuvieron bajo FI a pesar de que tengan una ampliadistribución y excelente aceptación por parte de suslectores.
Sinembargo, ha quedado demostrado que publicar un artículo enuna revista con alto FI no garantiza que dicho artículo vayaa ser muy citado7. Además, se ha comprobado queel FI de una revista no es representativo del FI de susartículos porque la distribución del FI de losartículos no es homogénea ni «gaussiana»y tiene, además, una amplia dispersión, de tal formaque el 15% de los artículos más citados aporta el 50%del total de citas recibidas7. Sorprendentemente, apesar de reconocerse esta distribución no asimétricade las citas, se siguen empleando estimaciones de la media (como elFI) y no de la mediana en la valoración de lascitaciones7,41.
Porotro lado, el número de citas recibidas por un trabajo deinvestigación no indica necesariamente su importancia desdeel punto de vista intelectual. Así, el 60% de las revistasentre las 25 de mayor FI sólo publicarevisiones10. ¿Cómo se explica entoncesque tengan «impacto» si no publicaninvestigación realmente novedosa?10.Además, muchas aportaciones originales sonrápidamente incorporadas como conocimiento estable por lacomunidad científica, de tal suerte que la referenciaoriginal puede perder interés sin haber sido muy citada. Sinembargo, aportaciones meramente técnicas ometodológicas dentro de un área específicapueden erigirse como referencias obligadas durante muchosaños7. A su vez, otros trabajos realmentepioneros tardan en ser aceptados por la comunidadcientífica internacional y requieren una cierta«maduración» antes de alcanzar el reconocimientoque merecen, y sólo son correctamente valorados poríndices bibliométricos a largo plazo. Por desgracia,todos los ajustes que se han propuesto para subsanar laslimitaciones del FI le han restado sencillez y no han logradoafianzarse dentro de la comunidadcientífica13,25,26.
Finalmente, debemos recordar que el objetivo final de lainvestigación médica debe ser mejorar la salud de lapoblación. Aunque los índices bibliométricosantes descritos pueden valorar la calidad de un estudiocientífico, no permiten estimar su impacto sobre lasalud42. Por ello, diversospaíses42,43 están preocupados pordesarrollar nuevos índices que permitan estudiar eldenominado «impacto social» de la investigación,para conocer así los beneficios reales que aporta lainvestigación en la salud de los pacientes.
Todas las limitaciones señaladas deben tranquilizar y darnuevos argumentos a los investigadores que, en un mundo tankafkiano como el actual38, frecuentemente precisandefender sus estudios científicos ante los que prefieren «contar antes que leer» los trabajos quejuzgan36,37,41-44. Lo que realmente importa es elcontenido científico de un artículo es decir, suaportación original al conocimiento y, por tanto, nadapuede sustituir a su lectura y valoración, idealmente por unpanel de expertos36,37,41-44. Sin embargo, en laactualidad, tanto los autores como las instituciones siguen siendofrecuentemente juzgados y valorados (no sólo para recibirbecas de investigación) en relación con suspublicaciones en revistas con alto FI.
Índices bibliométricos:implicaciones editoriales
Podemos admitir que, desde el punto de vista editorial, el FI esuna correcta «moneda de cambio» para comparar lacalidad científica de diferentes revistas11,41 yayuda a los bibliotecarios y a las casas editoras en susestimaciones44. Aunque el FI no es un instrumentoperfecto, actualmente no disponemos de una alternativa mejor y, apesar de las importantes limitaciones mencionadas, estáampliamente aceptado por la comunidad científica. Enrealidad, gran parte de los problemas surgen más por un maluso que por defectos intrínsecos de este parámetro.Como el éxito internacional de una publicación vaestrechamente ligado a su FI (puede considerarse como la tarjeta devisita de la revista), parecería deseable intentar optimizareste índice bibliométrico con medidas editorialesrazonables. De otra forma, muchas revistas nacionales deinterés podrían quedar condenadas al«ostracismo» a pesar de tener una importanciacrítica, desde el punto de vista intelectual, para suslectores. Además, el FI puede ser utilizado por los editoresmás como un medio que como un fin en sí mismo, ya queal conseguir atraer artículos de mayor calidad puede ayudara mejorar el nivel científico de sus revistas.
Lamejor forma de aumentar el impacto de una revista es mejorar lacalidad científica de sus artículos y facilitar sudifusión2,45,46. Las decisiones proactivasdestinadas a ampliar el área de interés-influencia deuna revista también permiten captar una mayor audiencia y,eventualmente, mejorar el FI45. Por otro lado, acortarlos tiempos de revisión y deaceptación-publicación, promover artículos derevisión o de me-todología reciente y favorecer laautocitación son «herramientas» adicionales queel editor podría utilizar para favorecer el FI de surevista3,10. Sin embargo, las «maniobras»editoriales encaminadas a primar el FI a cualquier precio noestán justificadas en absoluto29-32.
Cuando el FI mejora, los editores «editorializan» (estecomentario es un buen ejemplo de ello), mientras que generalmenteguardan silencio ante descensos del FI de supublicación47. Curiosamente, podemos encontrarmuchos ejemplos de comentarios de los propios editores con unimportante número de referencias sobre artículosrecientes de su propia publicación8,33,48,49. Dehecho, esta extensa «Página del Editor», con 5autocitas adecuadas, podría incrementar, incluso un 0,02,nuestro FI del año 2005, asumiendo que mantengamos estableel número de artículos«citables».
Citacionesfrente a lectura de revistas biomédicas
Conocer si los artículos de una revista son realmenteleídos es una tarea mucho más difícil.Actualmente, podemos acercarnos a esta cuestión analizandoel número de entradas o de descargas completas demanuscritos (HTML o PDF), bien desde la página web de larevista (www.revespcardiol.org)2, desde diferentesbuscadores y bases de datos o bien directamente desdePubMed8. Facilitar las conexiones electrónicas esuna medida clave para mejorar la difusión del conocimiento yse ha definido el Web Impact Factor50 como elnúmero de enlaces que permiten acceder a la página deuna revista. Además, con el exponencial incremento de laspublicaciones electrónicas pronto podremos medir y compararlos datos de «visitas» a estas revistas creandoasí los factores de acceso, tanto paraartículos individuales como para las propiasrevistas8. Paradójicamente, nos podríamosllevar la sorpresa de que muchos artículos ampliamentecitados no son leídos de forma acorde y hay toda unamitología sobre autores capaces de citar mucho más delo que leen. Está demostrado que la disponibilidad de laversión electrónica completa de una revista eninternet consigue aumentar su difusión y eventualmente suFI51. Es interesante, sin embargo, que las herramientaselectrónicas de búsqueda «igualan» dealguna forma a las revistas y en la actualidad los investigadoresseleccionan directamente desde internet los artículos queles parecen más interesantes, con independencia de que seanpublicados o no en revistas con alto FI52.
Otros investigadores han indicado que el estudio de las descargasde un artículo concreto puede asimilarse a un factor deinterés49 que permitiría identificarde forma inmediata los artículos que suscitanmayor atención por parte de los lectores. No obstante, hayque tener en cuenta que, con frecuencia, estos documentos sondescargados simplemente por el título, los nombres de losautores o las palabras clave, sin una lectura previa delresumen49. Además, este acercamiento no tiene encuenta a los lectores de la versión impresa. Tambiénes posible que los lectores no encuentren interesante el documentoque han descargado, mientras que parece difícil imaginar quese utilice como referencia un documento que no se haya consideradointeresante o al menos polémico. Se ha indicado incluso quelos mismos autores podrían, fraudulentamente, realizarmuchas entradas a su artículo para que apareciera como muyvisitado. A pesar de estas limitaciones está claro que estanueva forma de bibliometría (webometría) estáaquí para quedarse y es interesante poder constatar ya quelos artículos de revisión y los artículos denúmeros especiales son, una vez más, los másconsultados49. Por último, el análisisinmediato de los artículos originales que han despertadomayor interés puede ayudar a los editores a orientar larevista hacia los temas más atractivos para sus lectores. Dehecho, muchas revistas ya dirigen a sus lectores hacia sus propiosbest sellers.
Datos deRevista Española de Cardiología
ELFI alcanzado por Revista Española deCardiología1 en el año 2004 la consolidacomo una revista científica internacional de máximacalidad. En 2004 hemos recibido un total de 997 citas, de lascuales 427 son citas recientes (2002-2003). Actualmente, RevistaEspañola de Cardiología es la publicación demedicina en español con mayor FI. Además, nuestrarevista ocupa el puesto 28 por FI entre las 71 prestigiosasrevistas del área cardiovascular consideradas por el JCR delISI. También es importante señalar que esta notablemejoría se ha producido manteniéndose constante elporcentaje de autocitas con respecto a años anteriores. Estoconfirma que el número de citas recibidas por RevistaEspañola de Cardiología desde otras publicacionessigue creciendo. En el futuro debemos aspirar a mantener una buenatendencia general de nuestro FI, probablemente con ligerasvariaciones anuales en forma de «dientes desierra»53,54 pero, a pesar de todas lasestrategias editoriales encaminadas a aumentar la calidad y lavisibilidad de nuestra publicación2,14,44-46,55,no parece muy realista esperar incrementos similares a losrecientemente obtenidos. Una vez alcanzada una fase de estabilidaden una revista de nuestro tamaño (media de 100artículos citables/año) deberíamos esperarvariaciones del FI no mayores del ±25%27,51.
Las570 citas restantes recibidas en 2004 son más antiguas y noayudan a nuestro FI pero, sin duda, constituyen un valiosoexponente de cómo los artículos publicados en RevistaEspañola de Cardiología siguen considerándoseútiles y, por tanto, siguen citándose a largoplazo.
Finalmente, como hemos indicado, el «índice deinmediatez» nos aproxima al dinamismo editorial de larevista. Este parámetro también ha mejorado de formamuy clara (1,023, con 88 citas) y actualmente nuestra revista sesitúa en un destacado sexto lugar entre las 71 revistascardiovasculares consideradas por el ISI.
Enla tabla 2 se enumeran las diferentes estrategias editoriales quese han ido implementando en nuestra publicación a lo largode los años y que, indudablemente, han sido determinantes enlos resultados actuales2,14,44-46,55.
Aspectos depolítica editorial
Estamos orgullosos de ver cómo, de forma progresiva, el FIde Revista Española de Cardiología ha ido mejorandohasta alcanzar los actuales niveles de competitividadinternacional. Podemos decir que nuestra Revista no sólo esmuy apreciada y leída2, sino que cada vez esmás citada1. Sin embargo, la misiónfundamental de una revista no debe consistir únicamente enservir de eficaz medio de comunicación entre losinvestigadores de un área específica (cosa que puedemedirse bien con el FI), sino que también debe proporcionarinformación veraz y de calidad que el médicoclínico considere de interés para su prácticadiaria. Aunque hay estudios que ponen de manifiesto que la calidadde una publicación percibida tanto por investigadores comopor clínicos se correlaciona de forma muy clara con el FI,esta correlación es mucho mejor desde la perspectiva de losinvestigadores56. Además, otros estudios resaltanlas dificultades del FI para identificar de manera correcta losartículos que finalmente serán seleccionados en lasreferencias de las guías de práctica clínicabasadas en la evidencia55,57. Por todo ello, y a pesarde estar satisfechos de poder ofrecer a nuestros autores einvestigadores un interesante FI, está claro que la calidady prestigio alcanzados por Revista Española deCardiología en absoluto dependen de una simple cifra. Portanto, nuestra política editorial en ningún modo secentrará en este objetivo. Estamos seguros de que elimportante incremento de nuestro FI no causará una«impactitis», sino que a modo de suave terapia(«impactoterapia») permitirá abrir nuevaspuertas y mejorar el contenido científico de nuestraRevista. Nuestra misión como editores seguirá siendofavorecer un desarrollo integral de nuestra publicación,logrando un balance armónico entre su atractivo para losinvestigadores y su interés para los clínicos, quepodrán seguir encontrando en Revista Española deCardiología estímulo y ayuda para el complejo procesode toma de decisiones requerido durante el trabajo diario con suspacientes.
Full English text available from: www.revespcardiol.org
Correspondencia:
Revista Española de Cardiología. SociedadEspañola de Cardiología.
Nuestra Señora de Guadalupe, 5-7. 28028 Madrid.España.
Correo electrónico: rec@revespcardiol.org