Comprueba con tus propios casos si una escala o un modelo de riesgo que ya usas, o que te quieren vender, funciona en tu población. No entrena nada: mide lo que ya está registrado junto al desenlace real.
Para qué sirve
Un hospital, un banco o una aseguradora usan a menudo una puntuación hecha con otra población: una escala publicada, el modelo de un proveedor o uno del propio servicio. Casi nadie comprueba si funciona con sus casos.
Esta comprobación toma la puntuación que ya se registra junto al desenlace real y responde cinco preguntas:
¿Ordena bien? Si los casos con el evento puntúan más que los que no lo tienen (AUROC, con su intervalo).
¿Acierta en el riesgo? Solo si la puntuación es una probabilidad: si el riesgo que dice es el que luego ocurre (calibración).
Al umbral de hoy Sensibilidad y especificidad con el corte con el que se usa, y cuántos avisos genera.
¿Con quién falla? El mismo análisis por subgrupos (edad, sexo, servicio…), sin número cuando hay menos de 30 casos, o menos de 10 eventos o de 10 no eventos.
Frente a otra puntuación Si una ordena mejor que la otra, sobre las mismas filas y con su intervalo. Es la comparación más directamente interpretable.
La simulación
Prueba el caso de ejemplo o tu propio CSV. En esta página tu CSV se lee en este navegador y no se envía a ningún sitio; la demo funciona de otra manera (mira «Con tus datos»). Las cifras las calcula esta página con JavaScript, no el núcleo de MatrixAI: sirven para ver cómo se lee un informe, no como resultado.
MatrixAI Studio · Comprobar una puntuación que ya usasSimulación · datos inventados
1 · Tus datos
En esta página se lee en este navegador y no se envía a ningún sitio. Hasta 30 MB.
El caso de ejemplo son 2.400 ingresos inventados con dos puntuaciones: un riesgo de un proveedor (una probabilidad que sobrestima el riesgo y falla más en mayores de 80) y una escala de 0 a 10 puntos. La versión de Excel trae punto y coma, coma decimal, «NA» y el desenlace escrito de tres formas.
Cargando el ejemplo…
El CSV que lee
Pensado para el CSV que de verdad hay en un hospital, que casi siempre sale de Excel o de una consulta a la base de datos:
Separador punto y coma (el de Excel en castellano), coma, tabulador o barra vertical.
Coma decimal (0,3). Se detecta por columna y se te enseña.
Windows-1252, que es lo que escribe Excel de Windows con «CSV delimitado por comas». Si el fichero no es UTF-8 válido se lee así, y la página lo dice.
Vacíos escritos como NA, N/A, NULL, NaN, «-» o «?», o en blanco: no cuentan, y se te dice cuántos.
El desenlace como lo escribe la gente: Sí, SI, sí, 1, Yes. Tú dices qué valor es el evento; nunca se adivina.
Probabilidad en % (23,5): la declaras como «probabilidad en %»; no se deduce.
Varios ingresos por paciente: con una columna de identificador, los intervalos se calculan por paciente.
Una primera columna sin nombre con números de fila (lo que escribe write.csv de R) se detecta y se descarta.
Ficheros .xlsx de Excel: no. Expórtalos antes a CSV.
El tope en esta página es de 30 MB.
Lo que este informe no es
No es una validación para uso clínico ni una evaluación regulatoria. Es una evaluación retrospectiva con los datos que aportas.
Si la puntuación ya se usaba para decidir, parecerá peor de lo que es (la paradoja del tratamiento): un riesgo alto pudo llevar a tratar, y el tratamiento evitó el desenlace.
Todas las cifras dependen de cómo se registró el desenlace: uno mal o tarde registrado las mueve todas.
Tú dices qué se predice y en qué plazo: el horizonte del desenlace (durante el ingreso, a 30 días, a 6 meses) y cuándo se calculó la puntuación se declaran, nunca se deducen. Si estos casos participaron en el desarrollo de la puntuación, o no lo sabes, el informe dice que no es una validación externa.
Una muestra que no representa a la población donde se usa la puntuación no dice cuánto valen sus avisos allí: por eso VPP y VPN solo salen si dices que sí la representa. Entonces la calibración y el beneficio neto describen la muestra aportada, no la población de uso (una muestra con más fallecidos de los habituales los distorsiona). Si dices que sí la representa, lo declara quien ejecuta la comprobación y MatrixAI no lo comprueba.
Una cifra publicada es una referencia, no un veredicto: se pone junto a una estimación local, y la población, el desenlace, el seguimiento y la incertidumbre de la cifra original pueden no ser comparables. Caer fuera del intervalo local no demuestra que la cifra original esté mal. La comparación de dos puntuaciones sobre los mismos casos es la más directamente interpretable.
Con menos de 30 casos en un grupo, o menos de 10 eventos o de 10 no eventos, no se publica número. Ocultar los grupos pequeños ayuda, pero no garantiza la anonimización.
Solo desenlaces sí/no. Multiclase, regresión y supervivencia (tiempo hasta el evento) quedan fuera.
Cómo se calcula esta simulación
JavaScript en esta página, no el núcleo de MatrixAI. Las cifras del Studio las calcula el núcleo.
Intervalos por remuestreo: 200 remuestras y semilla fija (137), estratificadas por desenlace o, si das un identificador de paciente, por paciente entero.
El AUROC cuenta los empates como medio acierto. La calibración es el intercepto y la pendiente de una regresión logística sobre el logit del riesgo prometido.
Un grupo se marca «peor» cuando su AUROC está más de 0,08 por debajo del total.
Con tus datos
En la demo
Admite tu CSV, con un tope de 10.000 filas o 5 MB. Tu CSV sale de tu equipo hacia el servidor de la demo, se procesa en memoria y se descarta. No subas a ella datos de pacientes ni datos personales: la demo es para datos públicos o inventados.
Todo es local: la comprobación corre en tu máquina y el CSV no sale de ella. Sin tope de filas más allá de la memoria y sin necesidad de conexión. Entrega un informe de una página en castellano e inglés y un recibo firmado con la clave de tu instalación.