ChatGPT: Πήρε μεγαλύτερο βαθμό σε τεστ ιατρικής από κανονικούς γιατρούς

Κάποιοι γιατροί δεν έχουν την μεταδοτικότητα, την αμεσότητα και την όρεξη να εξηγήσουν στους ασθενείς τους τι τους συμβαίνει. Τι θα γινόταν όμως εάν ένα ρομπότ με τεχνητή νοημοσύνη απαντούσε στην κάθε ερώτηση του ασθενούς, με τρόπο που να μεταδίδει τη γνώση αλλά και να τον κάνει να αισθάνεται πιο άνετα; 

Ερευνητές του Πανεπιστημίου της Καλιφόρνια διεξήγαγαν μια νέα μελέτη με αυτό ακριβώς το ερώτημα κατά νου, βάζοντας το διάσημο ChatGPT της OpenAI στο ρόλο της τεχνητής νοημοσύνης. Η μελέτη εξέτασε μέσω ειδικού τεστ την ενσυναίσθητη ικανότητα απάντησης των ιατρών και του γνωστού AI chatbot, για να διαπιστωθεί ποιες από τις δύο πλευρές είχαν καλύτερες επιδόσεις, καθώς απάντησαν σε 195 ιατρικά ερωτήματα. Οι ερευνητές άντλησαν ερωτήσεις που είχαν αναρτηθεί σε ένα δημόσιο subreddit με την ονομασία "AskDocs". Για παράδειγμα, ένα άτομο ρώτησε πόσο επικίνδυνο είναι να καταπιεί κανείς μια οδοντογλυφίδα. Ένας άλλος ρώτησε αν θα πάθει διάσειση εάν χτυπήσει το κεφάλι του σε μια μεταλλική μπάρα.

Ένας επαγγελματίας ιατρός, του οποίου τα πιστοποιητικά επαληθεύτηκαν από έναν επόπτη, απάντησε στις ερωτήσεις του subreddit, ενώ οι ερευνητές πέρασαν παράλληλα τις ίδιες ερωτήσεις από το ChatGPT. Έπειτα μια ομάδα γιατρών κλήθηκε να επιλέξει "στα τυφλά" αν ο γιατρός ή το ChatGPT έδωσαν καλύτερη απάντηση στο εκάστοτε ερώτημα, χωρίς φυσικά να γνωρίζουν ποιος απάντησε τι. 

Κάθε περίπτωση εξετάστηκε από τρεις διαφορετικούς κριτές και η βαθμολογία υπολογίστηκε κατά μέσο όρο, με αποτέλεσμα να προκύψουν συνολικά 585 αξιολογήσεις. Στο 79% των περιπτώσεων, οι κριτές προτίμησαν τις απαντήσεις του chatbot, οι οποίες είχαν καλύτερης ποιότητας πληροφορίες και πιο ενσυναίσθητη γλώσσα από τις απαντήσεις των γιατρών.

Οι απαντήσεις του chatbot ενέπιπταν κατά 4 φορές περισσότερες από αυτές των γιατρών στα υψηλότερα πλαίσια ποιότητας και γύρω στις 10 φορές περισσότερες έφτασαν στις υψηλότερες αξιολογήσεις ενσυναίσθησης. Οι απαντήσεις του chatbot ήταν επίσης περίπου 4 φορές μεγαλύτερες από αυτές που έδιναν οι γιατροί, με μέσο όρο 211 λέξεις ανά ανάρτηση σε σύγκριση με τις 52 λέξεις του γιατρού.

Το αν ένα τέτοιο εργαλείο είναι χρήσιμο στην πράξη ή όχι, μένει να το δούμε. Ωστόσο οι ερευνητές τονίζουν ότι τα διαδικτυακά φόρουμ δεν μπορούν να αντικατοπτρίζουν τις τυπικές αλληλεπιδράσεις ασθενούς-ιατρού, όπου υπάρχει προϋπάρχουσα σχέση. 

Και ενώ το ChatGPT θα μπορεί να παρέχει μια ευγενική, ευανάγνωστη απάντηση που φαίνεται συνεπής με την πρώτη ματιά, κάνει βασικά λάθη στην κωδικοποίηση και τα μαθηματικά και πολλά δεδομένα που περιλαμβάνονται στις απαντήσεις του είναι επινοημένα ή λανθασμένα. Τονίζουν στην έρευνά τους ότι λόγω της τάσεις των ΑΙ να παραληρούν και να επινοούν γεγονότα "θα ήταν επικίνδυνο να βασιστεί κανείς για οποιαδήποτε πραγματική πληροφορία" και θα πρέπει οι απαντήσεις να "ελέγχονται προσεκτικά από έναν γιατρό". 

"Η παρούσα μελέτη θα πρέπει να παρακινήσει την έρευνα για την υιοθέτηση βοηθών ΑΙ για την αποστολή μηνυμάτων", γράφουν οι ερευνητές. "Εάν περισσότερες ερωτήσεις ασθενών απαντηθούν γρήγορα, με ενσυναίσθηση και υψηλά στάνταρ, αυτό θα μπορούσε να μειώσει τις περιττές κλινικές επισκέψεις, απελευθερώνοντας πόρους για εκείνους που τους χρειάζονται".

Το paper της έρευνας αναρτήθηκε στο JAMA Internal Medicine. Με πληροφορίες από το sciencealert.com