Search Dental Tribune

Strumenti di intelligenza artificiale a support dell’anestesiologia dentale

Attualmente, i modelli linguistici di grandi dimensioni sono limitati sulla quantità di informazioni che possono fornire in modo accurato sull’anestesiologia dentale (Immagine: Tada Images/Shutterstock).

YOKOSUKA, Giappone: I modelli linguistici di grandi dimensione (LLM), un tipo di strumento di intelligenza artificiale (AI), stanno guadagnando popolarità in tutte le discipline mediche, compresa l’anestesiologia dentale, per il loro potenziale nel migliorare la raccolta di informazioni, la cura dei pazienti e le pratiche educative. Un nuovo studio giapponese ha valutato l’utilità dei principali LLM in anestesiologia dentale e ha concluso che, sebbene LLM come ChatGPT-4 e Claude 3 Opus si dimostrino promettenti, ulteriori progressi nell’addestramento del modello e nella tempestiva ingegnerizzazione, nonché la disponibilità di informazioni di alta qualità e specifiche per il settore, sono essenziali per la loro effettiva integrazione in anestesiologia dentale.

I modelli LLM selezionati dai ricercatori includevano anche Gemini 1.0 e sono stati utilizzati per l’esame di certificazione della Società giapponese di anestesiologia dentale. L’obiettivo era quello di valutare l’utilità di questi modelli confrontando la loro accuratezza nel rispondere alle domande d’esame, offrendo spunti per la loro applicazione in anestesiologia dentale.

Lo studio ha utilizzato 295 domande a scelta multipla dell’esame, dal 2020 al 2022, escludendo le domande che richiedevano un’interpretazione visiva o che erano considerate inappropriate. Le domande sono state inserite manualmente nei modelli LLM, senza una specifica tecnica di prompt. Ogni modello ha risposto alle domande tre volte e l’accuratezza è stata determinata confrontando le risposte con quelle del consenso degli anestesisti dentali certificati. Le prestazioni sono state analizzate in sei categorie: fisiologia di base, anestesia locale, sedazione e anestesia generale, gestione sistemica, gestione del dolore, shock e rianimazione.

ChatGPT-4 ha ottenuto la massima accuratezza (51,2%), seguito da Claude 3 Opus (47,4%), mentre Gemini 1.0 è rimasto significativamente indietro (30,3%). ChatGPT-4 e Claude 3 Opus hanno ottenuto risultati particolarmente buoni in aree come la gestione sistemica e la gestione del dolore. Tuttavia, tutti i modelli hanno dimostrato tassi di accuratezza complessivi inferiori al 60%, suggerendo limiti nella loro attuale utilità per il processo decisionale clinico in anestesiologia dentale.

Lo studio ha attribuito l’accuratezza relativamente bassa a diversi fattori. In primo luogo, la disponibilità online di informazioni sull’anestesiologia dentale è limitata, il che potrebbe influire sulle prestazioni dei modelli. Inoltre, l’assenza di una specifica ingegneria dei prompt e le potenziali ambiguità delle domande originali giapponesi potrebbero aver ulteriormente contribuito ai risultati non ottimali. Gli autori hanno osservato che l’ottimizzazione dei prompt potrebbe migliorare significativamente l’accuratezza dei LLM nel rispondere alle domande mediche.

Nonostante queste limitazioni, lo studio ha evidenziato il potenziale dei LLM nel supportare la pratica dell’anestesiologia dentale, in particolare nelle attività amministrative come la documentazione. Tuttavia, ha anche messo in guardia dal fare affidamento su di essi per decisioni cliniche complesse, a causa di rischi come le “allucinazioni”, in cui i modelli generano risposte plausibili ma errate.

Lo studio, intitolato “Evaluating large language models in dental anesthesiology: A comparative analysis of ChatGPT-4, Claude 3 Opus, and Gemini 1.0 on the Japanese Dental Society of Anesthesiology board certification exam”, è stato pubblicato online il 27 settembre 2024 su Cureus.

 

 

Tags:
To post a reply please login or register
advertisement
advertisement