Aprendiendo IA
Aprender con IA: qué esconde un 90 % de acierto
Un porcentaje necesita contexto para decir algo útil. Según Peter Brodeur y colaboradores, en su prepublicación, el sistema incluyó una propuesta exacta o muy cercana entre las primeras 7 en el 90 % de los casos evaluados. Esta lección propone identificar la población, el denominador, el criterio de acierto y la supervisión. Usamos las cifras diagnósticas de esa prepublicación, no las de la versión final de la revista, y el comunicado de Beth Israel Deaconess Medical Center para practicar la lectura.
En resumen
- Antes de interpretar un resultado, localiza qué pacientes podían participar.
- Al comparar las medidas del ejemplo, distingue encontrar una respuesta entre varias propuestas de acertar con la primera.
- Separa la valoración de utilidad para preparar la consulta de la evaluación de coincidencia diagnóstica.
Empieza por las personas
Busca los criterios de entrada antes de detenerte en el porcentaje. Según Peter Brodeur y colaboradores, en la prepublicación, podían participar pacientes adultos del centro, con inglés como idioma principal registrado, acceso al portal del paciente y posibilidad de conversar desde un ordenador. Debían tener un único motivo principal de consulta y el personal de triaje ya debía haber descartado que necesitasen atención de emergencia.
Actividad: localiza alguna condición que impida trasladar directamente el resultado a cualquier paciente. Respuesta orientativa: revisa el idioma, el acceso tecnológico y la selección previa. Según Peter Brodeur y colaboradores, también se excluyeron los embarazos conocidos y los motivos de consulta relacionados con la salud mental.
Encuentra el grupo detrás de cada cifra
| Qué se evalúa | Grupo de referencia | Qué permite interpretar |
|---|---|---|
| Coincidencia diagnóstica | 98 pacientes que completaron la conversación y la consulta | El grupo que completó ambas fases |
| Ayuda para preparar la consulta | 44 casos con transcripción o resumen revisado antes de la visita | En el 75 % de esos casos, los médicos dijeron que les había ayudado |
Actividad: identifica en la tabla el denominador de la evaluación diagnóstica y el de la valoración de utilidad. Anota por separado qué grupo corresponde a cada pregunta.
Respuesta orientativa: para interpretar la utilidad, busca los casos con revisión del material antes de la visita. Mantén esa valoración vinculada a su grupo de referencia, sin extenderla a todos los participantes.
Distingue una primera respuesta de una lista
| Posición considerada | Casos | Porcentaje comunicado |
|---|---|---|
| Entre las primeras 7 propuestas | 88 de 98 | 90 % |
| Primera opción | 55 de 98 | 56 % |
Lee las filas como preguntas distintas. Una comprueba si la lista contiene una respuesta aceptada; la otra, si el sistema la sitúa en primer lugar. Al compararlas, conserva la posición considerada en cada fila.
Según Peter Brodeur y colaboradores, en la prepublicación, AMIE incluyó una propuesta exacta o muy cercana entre las primeras 3 propuestas en 73 de 98 casos.
Actividad: ¿permite la fila de la lista afirmar que el sistema suele acertar con su primera respuesta? Respuesta orientativa: esa afirmación necesita la fila de primera opción. Ampliar la lista cambia la pregunta que se está evaluando.
Comprueba qué significa acertar
Según Peter Brodeur y colaboradores, el diagnóstico de referencia se estableció revisando la historia clínica y la información posterior a la visita. Después, los evaluadores compararon las propuestas del sistema con ese diagnóstico y aplicaron una escala que distinguía la coincidencia exacta de una muy cercana.
Actividad: compara incluir una propuesta exacta o muy cercana con dar el diagnóstico exacto. Respuesta orientativa: la segunda frase exige más. Si una medida admite ambas clases de coincidencia, no describas todos los casos aceptados como diagnósticos exactos.
Añade la supervisión a tu lectura
Actividad final: redacta una frase que describa el alcance del estudio sin convertirlo en una promesa de uso autónomo. Incluye la selección de pacientes, el tipo de respuesta evaluada y la vigilancia médica.
Respuesta orientativa: según Peter Brodeur y colaboradores, se seleccionó a los pacientes mediante requisitos de participación y se evaluó si las propuestas incluían una coincidencia exacta o muy cercana. Según BIDMC, las conversaciones tenían vigilancia médica en tiempo real y posibilidad de intervención; el trabajo se diseñó para evaluar la viabilidad, no para determinar si la IA mejora los resultados de salud.
Conclusión
Al leer otro estudio, busca la población, el denominador, la posición de la respuesta, el criterio de acierto y la supervisión. Usa esas piezas para explicar qué afirma cada medida y reconocer cuándo una frase promete más de lo que se evaluó.
Fuentes primarias
La continuación natural
Aprende IA a tu ritmo con nuestros cursos gratuitos.
En nuestra plataforma de aprendizaje TAKU podrás acceder a este y muchos otros cursos de manera totalmente gratuita.
HACER ESTE CURSO EN TAKU
Comentarios