Revista Española de Cardiología Revista Española de Cardiología
Rev Esp Cardiol. 2008;61:589-94. - Vol. 61 Núm.06 DOI: 10.1157/13123064

Validación del modelo probabilístico EuroSCORE en pacientes intervenidos de injerto coronario

Sarah Lafuentea, Antoni Trillaa, Laia Brunia, Raquel Gonzáleza, María J Bertrána, José Luis Pomarb, Miguel A Asenjoa

a Servicio de Medicina Preventiva y Epidemiología. Hospital Clínic. IDIBAPS. Universidad de Barcelona. Barcelona. España.
b Servicio de Cirugía Cardiaca y Vascular. Hospital Clínic. Universidad de Barcelona. Barcelona. España.

Palabras clave

Modelo probabilístico. Evaluación de resultados. Mortalidad hospitalaria. Injerto coronario.

Resumen

Introducción y objetivos. EuroSCORE es un modelo probabilístico para estimar la probabilidad de mortalidad hospitalaria en pacientes sometidos a cirugía cardiaca. Es un instrumento útil para evaluar la calidad asistencial. Existen dos variantes del modelo, el EuroSCORE logístico (EU-L) y el EuroSCORE aditivo (EU-A). El objetivo del estudio es validar el modelo EuroSCORE en pacientes intervenidos en el Hospital Clínic de Barcelona y comparar los resultados de las dos variantes del modelo. Métodos. Se ha incluido a los pacientes intervenidos de injerto coronario en el Hospital Clínic de Barcelona durante 2 años consecutivos. Se ha validado el modelo a partir de su capacidad de calibración (prueba de Hosmer-Lemeshow) y discriminación (área bajo la curva ROC). Se han comparado los dos modelos con un análisis descriptivo de la media de la mortalidad para el total y según grupos de riesgo y mediante su poder de discriminación. Resultados. Un total de 498 pacientes fueron intervenidos e incluidos en el estudio. La calibración del modelo es satisfactoria (p = 0,32) y el área bajo la curva ROC es de 0,83. La mortalidad hospitalaria observada alcanzó el 5,8% y la estimada, el 4,2% (EU-L) y el 3,9% (EU-A). Se han observado mayores diferencias en el grupo de pacientes de alto riesgo, en los que la mortalidad predicha por la variante logística se aproxima más a la mortalidad real. Conclusiones. EuroSCORE ha sido validado adecuadamente y puede utilizarse para medir los resultados de la práctica asistencial. El modelo logístico se aproxima más a la mortalidad real en el grupo de pacientes de alto riesgo.

Artículo

INTRODUCCIÓN

Los centros sanitarios necesitan información fidedigna sobre su actividad en cuanto a resultados, calidad y coste-efectividad. Esto es así, en gran medida, por el constante aumento de los gastos en salud y la limitación de los recursos disponibles, pero también debido a las crecientes demanda y necesidad de evaluar los resultados clínicos y poder compararlos. Disponer de información sobre la calidad asistencial es un objetivo importante de cualquier institución y, por lo tanto, es necesario poder resumir la actividad realizada en resultados ajustados a las características propias de cada centro1.

En el campo de la cirugía cardiaca, tanto en Europa2 como en Estados Unidos3, la publicación periódica de informes de resultados está muy extendida y convenientemente regulada4,5. Para ello se han desarrollado diversos modelos matemáticos que, a partir de un grupo de factores de riesgo correspondientes a un paciente concreto, son capaces de predecir la probabilidad con la que un determinado evento, como la muerte, puede suceder en ese individuo6.

El European System for Cardiac Operative Risk Evaluation (EuroSCORE) es un modelo logístico predictor de la mortalidad hospitalaria en pacientes sometidos a intervención cardiaca. A partir de 18 variables de riesgo y con un coeficiente beta asociado a cada una de ellas (tabla 1), proporciona la probabilidad de morir de cada individuo. Este modelo fue creado y validado inicialmente en un estudio transversal7,8 de 19.030 pacientes europeos en el año 1999, y se ha convertido, desde entonces, en el modelo más utilizado en el mundo en este tipo de pacientes.

Existe una variante del modelo logístico, mucho más simple, denominada EuroSCORE aditivo, que adjudica un peso determinado a cada factor de riesgo que presenta el paciente. La suma de estos pesos proporciona la probabilidad aproximada de morir. El uso extenso y uniforme de un único modelo probabilístico permite realizar comparaciones temporales internas y externas y puede ayudar a minimizar la conducta adversa al riesgo fomentada por las comparaciones de resultados no ajustadas9,10.

El objetivo principal del estudio es validar este modelo predictor de mortalidad en un entorno determinado, a partir de sus capacidades de calibración y de discriminación11 y, de este modo, poder asegurar que el modelo predice bien la mortalidad de los pacientes intervenidos en un contexto como el de un hospital docente concertado dentro de la sanidad pública.

De las dos variantes del modelo, el aditivo es el que más se ha utilizado, ya que, a pesar de ser menos preciso, es mucho más sencillo de calcular y se puede determinar a la cabecera del paciente. Sin embargo, se ha demostrado la capacidad superior de la ecuación logística para predecir la mortalidad, especialmente en pacientes de riesgo elevado, y por ello se recomienda utilizar dicha variante en este tipo de pacientes12-14. Un segundo objetivo del estudio es comparar los dos modelos y definir cuál es el más adecuado a los distintos grupos de riesgo.

MÉTODOS

Sujetos

Se trata de un estudio de validación realizado de manera retrospectiva en el Hospital Clínic de Barcelona (HCB). El hospital cuenta con 720-740 camas de hospitalización y realiza 40.000 ingresos anuales. Los pacientes con enfermedades cardiovasculares son atendidos en el Instituto Clínico de Enfermedades del Tórax, que, entre otros, agrupa a los servicios de Cirugía Cardiovascular y Cardiología. El estudio fue aprobado por el Comité Ético de Investigación Clínica del HCB.

A partir del registro informático del centro (SAP®) se ha obtenido la relación de todos los pacientes intervenidos de los procedimientos definidos en la CIE-9-CM15 y asignados a los códigos 36.10 a 36.17 y 36.19. El SAP es utilizado con finalidad tanto clínica como administrativa y tiene una alta fiabilidad. El 100% de las altas son codificadas. Constituyeron la población de estudio todos los pacientes intervenidos de derivación coronaria entre el 1 de julio de 2004 y el 1 de julio de 2006.

Variables y análisis estadístico

Para cada uno de los pacientes incluidos en el estudio, se han identificado las 18 variables incluidas en el modelo predictor EuroSCORE (tabla 1), variables administrativas (fecha de ingreso y de alta) y la mortalidad ocurrida durante el ingreso correspondiente a la intervención. Estos datos se han obtenido a partir de las historias clínicas informatizadas (que incluyen informes de alta, quirúrgicos, de preanestesia y de laboratorio). Los valores no reflejados explícitamente en la historia se han considerado como factores de riesgo ausentes en el momento de realizar el análisis.

Se han utilizado las dos variantes del modelo12 para predecir la mortalidad. Para el EuroSCORE aditivo, la probabilidad de morir se ha calculado sumando los pesos relativos de cada variable de riesgo en cada individuo.

Para calcular la mortalidad predicha por el modelo logístico se ha utilizado la siguiente ecuación:

Mortalidad = e ( b 0 + Sb i c i) / 1 + e ( b 0 + Sb i c i)

donde b 0 tiene un valor –4,789594 (constante de la regresión logística) y b i es el coeficiente de regresión de la variable c i de la tabla 1. Para la variable edad, en el método logístico se ha multiplicado b por tantas unidades como años el paciente excedía la edad de 60 años. En el método aditivo, su peso era de 1 por cada 5 años (o parte de este número) que el paciente tuviera por encima de 60.

Para estudiar la validez del modelo de regresión logística aplicado a este conjunto de datos se ha analizado su capacidad de calibración y de discriminación. La calibración del modelo se ha evaluado mediante la prueba de bondad de ajuste de Hosmer-Lemeshow16-19.

Esta prueba estima un estadístico C a partir de la diferencia entre valores de mortalidad observados en la realidad y los esperados por el modelo en distintos grupos de riesgo. Cuanto menor sea el valor del estadístico mejor calibra el modelo. Un valor de p > 0,05 indica que el modelo ajusta bien los datos y, por lo tanto, predice bien la probabilidad de morir de los pacientes. Esta prueba es utilizada mayoritariamente para validar un modelo que acaba de ser creado, pero resulta igualmente útil para validar con una base de datos externa un modelo logístico ya existente, como es el caso que nos ocupa.

La discriminación se determina por la capacidad del modelo para distinguir a los pacientes que morirán durante el ingreso de los que sobrevivirán. La capacidad de discriminación se ha analizado mediante el cálculo del valor del área bajo la curva ROC. Valores de 0,5 indican que el modelo no discrimina mejor que el azar y valores de 1 indican discriminación perfecta17.

La comparación de las dos variantes del modelo se ha realizado mediante el cálculo de la mortalidad predicha por los dos modelos en la totalidad de los pacientes y en dos grupos de riesgo. Los grupos de riesgo se han definido tomando como límite entre ellos un valor de EuroSCORE aditivo de 6 puntos6, con lo que se crea un grupo de alto riesgo y otro de bajo riesgo. Se escogió éste por ser un valor de corte previamente descrito8,12.

Se ha calculado la curva ROC para ambos modelos.

El análisis de validación se ha llevado a cabo con el paquete estadístico STATA® v.8 y los de comparación, con el paquete estadístico SPSS® v.12.0.

RESULTADOS

Un total de 498 pacientes fueron intervenidos de derivación coronaria en el HCB entre el 1 de julio de 2004 y el 30 junio de 2006. La frecuencia de aparición de las variables de riesgo del EuroSCORE en estos pacientes se resume en la tabla 2.

En la validación del modelo logístico sobre esta base de datos, se obtuvo un estadístico C en la prueba de Hosmer-Lemeshow de 11,51 (p = 0,32) y un valor del área bajo la curva ROC de 0,83 (fig. 1).

Fig. 1. Curva ROC para el modelo logístico de EuroSCORE.

En el total de pacientes intervenidos se observaron 29 muertes hospitalarias, lo que representa una mortalidad del 5,8%. La mortalidad total predicha fue del 3,9% con el modelo aditivo y el 4,2% con el logístico (tabla 3).

Cuando comparamos la mortalidad por grupos de alto y bajo riesgo, se observa que en el de bajo riesgo (n = 412) la mortalidad real es muy similar a la predicha por ambos modelos; en cambio, en el de alto riesgo (n = 86) los valores obtenidos por el modelo logístico se aproximan más a los valores reales (tabla 3). En cuanto al poder de discriminación, los dos se ajustan bien a la realidad, con unos valores del área bajo la curva ROC de 0,84 (modelo aditivo) y 0,83 (modelo logístico) (figs. 1 y 2).

Fig. 2. Curva ROC para el modelo aditivo de EuroSCORE.

DISCUSIÓN

Para evaluar la calidad de los servicios sanitarios e informar adecuadamente al paciente sobre los probables resultados del proceso asistencial, muchas veces no resulta suficiente conocer los valores brutos de los resultados generales observados o esperados. Son necesarios (y más útiles) los modelos pronósticos que tengan en cuenta determinadas características de los pacientes y proporcionen resultados de intervenciones ajustados según el riesgo6.

En cirugía cardiaca existen muchos modelos predictores de mortalidad por intervención cardiaca que ajustan por riesgo. Uno de los más utilizados estos últimos años en el mundo occidental es el EuroSCORE8.

El HCB es un centro de referencia para este tipo de cirugía cardiaca, y por ello realiza anualmente un elevado número de intervenciones de derivación coronaria. En un centro de estas características es importante disponer de datos fiables y comparables que permitan evaluar la calidad asistencial.

Antes de utilizar un modelo probabilístico fuera del ambiente donde fue creado20, éste debe ser validado para asegurarse de que no proporciona probabilidades erróneas. En este estudio se ha procedido a la validación21 del EuroSCORE en nuestro hospital.

El valor obtenido del estadístico C de Hosmer-Lemeshow es p = 0,32, lo que permite afirmar que el modelo calibra bien la probabilidad de morir de los pacientes intervenidos en nuestro centro. El poder de discriminación valorado con el área bajo la curva ROC es 0,83, valor también satisfactorio. Con estos datos es posible concluir que el modelo EuroSCORE ha quedado validado en este centro y que se trata de un instrumento fiable. Las predicciones de probabilidad de morir que se obtienen son válidas y ajustadas al riesgo real que presentan los pacientes intervenidos en el HCB. Cabe destacar que la variable mortalidad durante el ingreso refleja la mortalidad más favorable (no recoge la mortalidad tras el ingreso), aunque creemos que la mortalidad fuera del ingreso por causa de la intervención ha sido prácticamente nula.

Los resultados expuestos concuerdan con los publicados en un artículo previo sobre la validación del modelo en seis países de la Unión Europea22, en el que

España participó con 2.422 pacientes; se obtuvo del estadístico C de Hosmer-Lemeshow p = 0,38 y un área bajo la curva ROC de 0,87. Sin embargo, esta validación nacional se realizó en pacientes de ambientes y condiciones muy dispares, por lo que son necesarias validaciones más contextualizadas antes de poder utilizar con seguridad un modelo de regresión.

El modelo aditivo, también llamado estándar, es el que más se ha utilizado debido a la posibilidad de obtenerlo de una manera sencilla a la cabecera del paciente. Se trata de una simplificación del modelo logístico, ya que el peso que adquiere cada variable presente deriva del valor del coeficiente de regresión de ésta. Un estudio12 concluyó que este modelo tiende a subestimar el resultado cuando predice la probabilidad de morir en pacientes de alto riesgo.

Para realizar la comparación de las dos variantes del modelo, debido a la baja prevalencia del evento «mortalidad», se han considerado únicamente dos grupos de riesgo. Categorizar la muestra en más grupos no ha sido posible, ya que las mortalidades predichas tendrían unos intervalos de confianza demasiado amplios para poder compararlos. Se ha comparado de manera descriptiva las mortalidades predichas y esperadas en cada uno de los grupos. El valor límite para definir los grupos es un valor de EuroSCORE aditivo > 6. En este estudio se observa que el modelo logístico predice con mayor precisión la probabilidad de morir en pacientes de elevado riesgo, resultado que coincide con estudios comparativos previos con ambos modelos12.

Los resultados obtenidos permiten afirmar que el sistema logístico es más preciso y más apropiado para ser utilizado en la práctica diaria en los servicios de cirugía cardiaca, ya que en la mayor parte de ellos se dispone actualmente de recursos tecnológicos suficientes para su cálculo inmediato.

Un estudio con un mayor tamaño de la muestra y, por lo tanto, más eventos registrados (muertes) proporcionaría resultados más potentes, ya que la prueba de Hosmer-Lemeshow se basa en eventos esperados respecto a observados.

No se ha realizado la comparación directa de las mortalidades real y esperada, porque se trata de dos distintas variables que informan sobre sucesos. La mortalidad real describe el evento muerte, observado o no, para cada paciente (variable dicotómica). La mortalidad esperada indica, en cambio, el porcentaje de riesgo que tiene cada paciente en función de las características que el modelo considera (variable cuantitativa continua). La manera de analizar la relación entre estas dos variables consiste precisamente en la validación del modelo. La utilidad del modelo validado reside en la valoración del riesgo de los pacientes para poder comparar las mortalidades observadas entre ellas, teniendo en cuenta siempre el nivel de riesgo.

La publicación de los resultados asistenciales en Estados Unidos y Reino Unido es una realidad desde hace más de 15 años. El impacto de estas publicaciones ha sido analizado extensamente, y se han obtenido claros resultados en la mejora de la calidad asistencial23. El instrumento aquí validado podría ser útil para obtener información sistemática de los resultados de las intervenciones en los centros proveedores de servicios. Esta información podría ser publicada y estar disponible tanto para los ciudadanos como para los compradores de servicios sanitarios.

CONCLUSIONES

Los resultados de este estudio permiten concluir que el EuroSCORE se comporta como un modelo probabilístico útil en un hospital público y docente. Por ello se puede utilizarlo para estimar el riesgo de mortalidad en pacientes intervenidos de derivación coronaria y evaluar los resultados de la práctica asistencial. El modelo logístico es el más fiable, especialmente en pacientes en mayor riesgo.

ABREVIATURAS
EU-A: EuroSCORE aditivo.
EU-L: EuroSCORE logístico. EuroSCORE: European System for Cardiac Operative Risk Evaluation.
HCB: Hospital Clínic de Barcelona.
ROC: receiver operating characteristic.

Full English text available from: www.revespcardiol.org

VÉASE EDITORIAL EN PÁGS. 567-71


Correspondencia: Dr. A. Trilla.
Servicio de Medicina Preventiva y Epidemiología. Hospital Clínic de Barcelona.
Villarroel, 170. 08036 Barcelona. España.
Correo electrónico: atrilla@clinic.ub.es

Recibido el 11 de agosto de 2007.
Aceptado para su publicación el 19 de diciembre de 2007.

Bibliografía

1.Chassin MR, Hannan EL, DeBuono BA. Benefits and hazards of reporting medical outcomes publicly. N Engl J Med. 1996;334:394-8.
Medline
2.Rowan K, Harrison D, Brady A, Black N. Hospitals’ star ratings and clinical outcomes: ecological study. BMJ. 2004;328:924-5.
Medline
3.Davies HT, Marshall MN. Public disclousure of performance data. Lancet. 1999;353:1639-40.
Medline
4.Keogh B, Spiegelhalter D, Bailey A, Roxburgh J, Magee P, Hilton C. The legacy of Bristol: public disclosure of individual surgeons’ results. BMJ. 2004;329:450-4.
Medline
5.Keogh BE, Dussek J, Watson D, Magee P. Public confidence and cardiac surgical outcomes. BMJ. 1998;316:1759-60.
Medline
6.Asimakopoulos G, Al-Ruzzeh S, Ambler G, Omar RZ, Punjabi P, Amrani M, et al. An evaluation of existing risk stratification models as a tool for comparison of surgical performances for coronary artery bypass grafting between institutions. Eur J Cardiothorac Surg. 2003;23:935-41.
Medline
7.Roques F, Nashef SA, Michel P, Gauducheau E, De Vincentiis C, Baudet E, et al. Risk factors and outcome in European cardiac surgery: analysis of the EuroSCORE multinational database of 19030 patients. Eur J Cardiothorac Surg. 1999;15:816-22.
Medline
8.Nashef SA, Roques F, Michel P, Gauducheau E, Lemeshow S, Salamon R. European system for cardiac operative risk evaluation (EuroSCORE). Eur J Cardiothorac Surg. 1999;6:9-13.
9.Bridgewater B, Grayson AD, Au J, Hassan R, Dihmis WC, Munsch C, et al. Improving mortality of coronary surgery over first four years of independent practice: retrospective examination of prospectively collected data from 15 surgeons. BMJ. 2004;329:421.
Medline
10.Treasure T. Lessons from the Bristol case. BMJ. 1998;163:1685-6.
11.Wade A. Derivation versus validation. Arch Dis Child.
12.Michel P, Roques F, Nashef SA; EuroSCORE Project Group. Logistic or additive EuroSCORE for high-risk patients? Eur J Cardiothorac Surg. 2003;23:684-7.
Medline
13.Bridgewater B, Grayson AD, Jackson M, Brooks N, Grotte GJ, Keenan J, et al. North West Quality Improvement Programme in Cardiac Interventions. Surgeon specific mortality in adult cardiac surgery: comparison between crude and risk stratified data. BMJ. 2003;327:13-7.
Medline
14.Sergeant P, De Worm E, Meyns B. Single centre, single domain validation of the EuroSCORE on a consecutive sample of primary and repeat CABG. Eur J Cardiothorac Surg. 2001;20: 1176-82.
Medline
15.The International Classification of Disease.s, 9th Revisio.n, Clinical Modification (ICD-9-CM), Sixth Edition. Free online searchable 2004 ICD-9-CM and Medical Terminology Dictionary [citado 28 Ago 2005]. Disponible en: http://icd9cm.chrisendres.com/ index.php
16.Lemeshow S, Hosmer D. A review of goodness of fit statistic for use in the development of logistic regresión models. Am J Epidemiol. 1982;92-106.
17.Hosmer DW, Lemeshow S. Applied logistic regression. 2.a ed. New York: John Wiley & Sons; 2000.
18.Rué M. Apunts metodològics sobre els models probabilistics. Annals de Medicina. 2004;87:10-1.
19.Lemeshow S, Klar J, Teres D. Outcome prediction for individual intensive care patients: useful, misused, or abused? Intensive Care Med. 1995;21:770-6.
Medline
20.Bhatti F, Grayson AD, Grotte G, Fabri BM, Au J, Jones MT, et al. The logistic EuroSCORE in cardiac surgery: how well does it predict operative risk? Heart. 2006;92:1817-20.
21.Hosmer DW, Taber S, Lemeshow S. The importance of assessing the fit of logistic regression models: a case study. Am J Public Health. 1991;81:1630-5.
Medline
22.Roques F, Nashef SA, Michel P, Pinna Pintor P, David M, Baudet E; The EuroSCORE Study Group. Does EuroSCORE work in individual European countries? Eur J Cardiothorac Surg. 2000; 18:27-30.
23.Hannan EL, Kilburn H, Racz M, Shields E, Chassin MR. Improving the outcomes of coronary artery bypass grafting surgery in New York State. JAMA. 1994;271:761-6.
Medline