Aprenent IA
Aprendre amb IA: què amaga un 90 % d'encert
Un percentatge necessita context per dir alguna cosa útil. Segons Peter Brodeur i col·laboradors, a la seva prepublicació, el sistema va incloure una proposta exacta o molt propera entre les primeres 7 en el 90 % dels casos avaluats. Aquesta lliçó proposa identificar la població, el denominador, el criteri d'encert i la supervisió. Per practicar aquesta lectura, fem servir les xifres diagnòstiques de la prepublicació, no les de la versió final de la revista, i el comunicat de Beth Israel Deaconess Medical Center.
En resum
- Abans d'interpretar un resultat, identifica quins pacients hi podien participar.
- Quan comparis les mesures de l'exemple, distingeix trobar una resposta entre diverses propostes d'encertar-la a la primera.
- Separa la valoració de la utilitat per preparar la consulta de l'avaluació de la coincidència diagnòstica.
Comença per les persones
Busca els criteris d'entrada abans de fixar-te en el percentatge. Segons Peter Brodeur i col·laboradors, a la prepublicació, hi podien participar pacients adults del centre, amb l'anglès com a llengua principal registrada, accés al portal del pacient i possibilitat de conversar des d'un ordinador. Havien de tenir un únic motiu principal de consulta, i el personal de triatge havia d'haver descartat que necessitessin atenció d'emergència.
Activitat: identifica alguna condició que impedeixi aplicar directament el resultat a qualsevol pacient. Resposta orientativa: revisa la llengua, l'accés tecnològic i la selecció prèvia. Segons Peter Brodeur i col·laboradors, també se'n van excloure els embarassos coneguts i els motius de consulta relacionats amb la salut mental.
Troba el grup que hi ha darrere de cada xifra
| Què s'avalua | Grup de referència | Què permet interpretar |
|---|---|---|
| Coincidència diagnòstica | 98 pacients que van completar la conversa i la consulta | El grup que va completar totes dues fases |
| Ajuda per preparar la consulta | 44 casos amb transcripció o resum revisat abans de la visita | En el 75 % d'aquests casos, els metges van dir que els havia ajudat |
Activitat: identifica a la taula el denominador de l'avaluació diagnòstica i el de la valoració d'utilitat. Anota per separat quin grup correspon a cada pregunta.
Resposta orientativa: per interpretar la utilitat, busca els casos amb revisió del material abans de la visita. Mantén aquesta valoració vinculada al seu grup de referència, sense estendre-la a tots els participants.
Distingeix una primera resposta d'una llista
| Posició considerada | Casos | Percentatge comunicat |
|---|---|---|
| Entre les primeres 7 propostes | 88 de 98 | 90 % |
| Primera opció | 55 de 98 | 56 % |
Llegeix les files com a preguntes diferents. Una comprova si la llista conté una resposta acceptada; l'altra, si el sistema la situa en primer lloc. Quan les comparis, conserva la posició considerada en cada fila.
Segons Peter Brodeur i col·laboradors, a la prepublicació, AMIE va incloure una proposta exacta o molt propera entre les primeres 3 propostes en 73 de 98 casos.
Activitat: la fila de la llista permet afirmar que el sistema sol encertar amb la primera resposta? Resposta orientativa: aquesta afirmació necessita la fila de primera opció. Ampliar la llista canvia la pregunta que s'avalua.
Comprova què vol dir encertar
Segons Peter Brodeur i col·laboradors, el diagnòstic de referència es va establir revisant la història clínica i la informació posterior a la visita. Després, els avaluadors hi van comparar les propostes del sistema i van aplicar una escala que distingia la coincidència exacta d'una de molt propera.
Activitat: compara incloure una proposta exacta o molt propera amb donar el diagnòstic exacte. Resposta orientativa: la segona frase exigeix més. Si una mesura admet totes dues classes de coincidència, no descriguis tots els casos acceptats com a diagnòstics exactes.
Tingues en compte la supervisió
Activitat final: redacta una frase que descrigui l'abast de l'estudi sense convertir-lo en una promesa d'ús autònom. Inclou-hi la selecció de pacients, el tipus de resposta avaluada i la vigilància mèdica.
Resposta orientativa: segons Peter Brodeur i col·laboradors, es van seleccionar els pacients mitjançant requisits de participació i es va avaluar si les propostes incloïen una coincidència exacta o molt propera. Segons BIDMC, les converses tenien vigilància mèdica en temps real i possibilitat d'intervenció; el treball es va dissenyar per avaluar-ne la viabilitat, no per determinar si la IA millora els resultats de salut.
Conclusió
Quan llegeixis un altre estudi, busca la població, el denominador, la posició de la resposta, el criteri d'encert i la supervisió. Fes servir aquests elements per explicar què afirma cada mesura i reconèixer quan una frase promet més del que es va avaluar.
Fonts primàries
La continuació natural
Aprèn IA al teu ritme amb els nostres cursos gratuïts.
A la nostra plataforma d'aprenentatge TAKU podràs accedir a aquest i a molts altres cursos de manera totalment gratuïta.
FES AQUEST CURS A TAKU
Comentaris