Γιατί τα γλωσσικά μοντέλα κάνουν hallucinations — και γιατί ο τρόπος που τα βαθμολογούμε τις διατηρεί

Γιατί τα μοντέλα μαντεύουν — και γιατί τα μάθαμε να το κάνουν

Ρωτήστε ένα μεγάλο γλωσσικό μοντέλο για τα γενέθλια ενός αγνώστου και μπορεί να απαντήσει «7 Μαρτίου» με τη σταθερή αυτοπεποίθηση κάποιου που το διαβάζει από μια κάρτα — και να κάνει λάθος, τρεις φορές στη σειρά, με τρεις διαφορετικές ημερομηνίες. Οι συγγραφείς δίνουν ακριβώς τέτοιο παράδειγμα: κορυφαία μοντέλα που ρωτήθηκαν μια απλή πραγματολογική ερώτηση — τα γενέθλια ενός ανθρώπου ή τι σημαίνει ένα άγνωστο ακρωνύμιο — επινοούν το καθένα με αυτοπεποίθηση διαφορετική απάντηση, και καμία δεν είναι σωστή. Η βιομηχανία το ονομάζει hallucination, όρος που το κάνει να ακούγεται σαν σφάλμα αντίληψης. Η πρώτη κίνηση της εργασίας είναι να αφαιρέσει το μυστήριο.

Ξεκινήστε από το πώς κατασκευάζεται ένα μοντέλο. Στο πρώτο και μεγαλύτερο στάδιο εκπαίδευσης μαθαίνει, ουσιαστικά, πώς μοιάζει η ρέουσα γλώσσα διαβάζοντας τεράστιες ποσότητες κειμένου. Τώρα πάρτε ένα γεγονός χωρίς μοτίβο πίσω του — τα γενέθλια ενός συγκεκριμένου ανθρώπου. Αν η ημερομηνία εμφανίστηκε μία φορά στο κείμενο εκπαίδευσης, ή ποτέ, δεν υπάρχει κάποιο μοτίβο από το οποίο να πιαστεί ένας μηχανισμός μάθησης μοτίβων: από την οπτική του μοντέλου, η απάντηση είναι αυθαίρετη. Οι συγγραφείς το διατυπώνουν με ακρίβεια δανειζόμενοι μια παλιά ιδέα του Alan Turing από άλλο πρόβλημα: αν ένα στα πέντε γενέθλια εμφανίζεται μόνο μία φορά στα δεδομένα, ένα μοντέλο θα πρέπει να αναμένεται να κάνει λάθος τουλάχιστον σε ένα στα πέντε — όχι επειδή είναι χαλασμένο, αλλά επειδή δεν υπήρχε αρκετό υλικό για να μάθει. (Με την ίδια λογική, τα μοντέλα σχεδόν ποτέ δεν κάνουν λάθος στην πρωτεύουσα μιας χώρας: αυτές οι πληροφορίες εμφανίζονται διαρκώς.) Οι συγγραφείς υποστηρίζουν προσεκτικά ότι το να ξεχωρίζεις μια αληθινή δήλωση από μια εύλογη ψευδή είναι από μόνο του δύσκολο πρόβλημα, και ότι το να παράγεις μόνο αληθείς δηλώσεις είναι τουλάχιστον εξίσου δύσκολο. Υπάρχει ένα κατώφλι σφάλματος ενσωματωμένο στη διαδικασία.

Αυτό εξηγεί από πού προέρχονται οι hallucinations. Δεν εξηγεί γιατί επιβιώνουν — γιατί τα μοντέλα, μετά από όλη την πρόσθετη εκπαίδευση που υποτίθεται ότι τα κάνει χρήσιμα και ειλικρινή, συνεχίζουν να μπλοφάρουν αντί να παραδέχονται αβεβαιότητα. Εδώ η αναλογία της εργασίας είναι σχεδόν ενοχλητικά εύστοχη. Φανταστείτε έναν μαθητή σε εξέταση που δεν ξέρει μια απάντηση. Αν το κενό παίρνει μηδέν και μια μαντεψιά μπορεί να πάρει έναν βαθμό, η κίνηση που μεγιστοποιεί τη βαθμολογία είναι να μαντέψει — με αυτοπεποίθηση, συγκεκριμένα, ποτέ «δεν είμαι σίγουρος». Οι μαθητές το μαθαίνουν. Το ίδιο και τα μοντέλα — επειδή τα βαθμολογούμε με τον ίδιο τρόπο. Οι συγγραφείς εξέτασαν τα benchmarks στα οποία ανταγωνίζεται πραγματικά το πεδίο, τα leaderboards στα οποία ρυθμίζονται τα μοντέλα, και βρήκαν ότι σχεδόν όλα δίνουν στο «δεν ξέρω» ακριβώς την ίδια βαθμολογία με μια λάθος απάντηση: μηδέν. Με αυτόν τον κανόνα, ένα μοντέλο που πάντα μαντεύει θα ξεπεράσει ένα κατά τα άλλα ίδιο μοντέλο που δηλώνει ειλικρινά την αβεβαιότητά του. Με αρκετά κυριολεκτική έννοια, τα βαθμολογούμε ώστε να συμπεριφέρονται έτσι.

Αυτό είναι το κομμάτι που αξίζει να κρατήσουμε, επειδή πηγαίνει κόντρα στον συνηθισμένο τίτλο. Οι hallucinations συχνά παρουσιάζονται ως αναπόφευκτο, σχεδόν μυστικιστικό όριο της τεχνολογίας. Η εργασία αμφισβητεί και τα δύο. Το κατώτατο όριο του pretraining δεν είναι μυστήριο — είναι συνηθισμένο στατιστικό σφάλμα, από το είδος που η μηχανική μάθηση κατανοεί εδώ και δεκαετίες. Και η επιμονή τους δεν είναι αναπόφευκτη — είναι εν μέρει κίνητρο που εμείς δημιουργήσαμε και μπορούμε να αλλάξουμε. Ένα σύστημα που απλώς αρνείται να απαντήσει όταν δεν είναι σίγουρο δεν θα hallucinate καθόλου· ο λόγος που τα αναπτυγμένα μοντέλα δεν συμπεριφέρονται έτσι είναι ότι οι πίνακες βαθμολογίας μας τιμωρούν την άρνηση.

Τι έκαναν οι συγγραφείς

Η εργασία έχει τρία μέρη. Πρώτον, ένα μαθηματικό επιχείρημα ότι κάποιο ποσοστό hallucination επιβάλλεται στατιστικά κατά το pretraining, δείχνοντας ότι το «παράγε μόνο έγκυρο κείμενο» είναι τουλάχιστον τόσο δύσκολο όσο ένα δυαδικό πρόβλημα ταξινόμησης «είναι αυτή η δήλωση έγκυρη;». Δεύτερον, ένα επιχείρημα — υποστηριζόμενο από έρευνα δέκα σημαντικών benchmarks — ότι οι συνήθεις μετρικές ακρίβειας ανταμείβουν τη μαντεψιά αντί για την αποχή. Τρίτον, μια προτεινόμενη λύση και μια μελέτη περίπτωσης που τη δοκιμάζει: αξιολογήσεις με open rubrics, όπου η βαθμολόγηση δηλώνεται μέσα στην ίδια την ερώτηση (για παράδειγμα, «σωστή απάντηση +1, λάθος −1, άρα απέχεις αν είσαι λιγότερο από 50% σίγουρος»), ώστε το μοντέλο να γνωρίζει πότε ανταμείβεται η ειλικρίνεια. Το δοκιμάζουν σε τέσσερα frontier models — Gemini 3 Pro της Google, GPT-5 της OpenAI, Grok 4 της xAI και Claude Opus 4.5 της Anthropic — χρησιμοποιώντας τις 4.326 πραγματολογικές ερωτήσεις του SimpleQA. Είναι σαφείς ότι η μελέτη περίπτωσης είναι ενδεικτική, «όχι ελεγχόμενη αξιολόγηση μεταξύ μοντέλων» (προεπιλεγμένες ρυθμίσεις, χωρίς tuning, χωρίς εξομάλυνση κόστους).

Τι βρήκαν

• Το pretraining επιβάλλει κάποιο σφάλμα. Ο ρυθμός με τον οποίο ένα μοντέλο παράγει ψευδείς δηλώσεις με αυτοπεποίθηση έχει κατώτατο όριο που συνδέεται με (περίπου το διπλάσιο) σφάλμα του καλύτερου ταξινομητή «είναι αυτή η δήλωση έγκυρη;» που μπορεί να κατασκευαστεί από αυτό. Για γεγονότα χωρίς μαθήσιμο μοτίβο, αυτό το όριο είναι τουλάχιστον το singleton rate — το ποσοστό των γεγονότων που εμφανίζονται ακριβώς μία φορά στην εκπαίδευση. Κάποιο hallucination είναι αναπόφευκτο ακόμη και με απολύτως καθαρά δεδομένα.
• Η βαθμολόγηση ανταμείβει συγκεκριμένα τη μαντεψιά. Με τη συνήθη βαθμολόγηση σωστό/λάθος, το να μην απέχεις ποτέ είναι η βέλτιστη στρατηγική, και η έρευνα των συγγραφέων βρίσκει ότι η μεγάλη πλειονότητα δημοφιλών benchmarks βαθμολογεί το «δεν ξέρω» απλώς ως λάθος. Ένα χαρακτηριστικό παράδειγμα από τα ίδια τους τα μοντέλα: στο SimpleQA, η ακατέργαστη ακρίβεια ευνοεί ελαφρά το o4-mini της OpenAI — που απαντά σχεδόν σε όλα και κάνει λάθος πάνω από τα τρία τέταρτα του χρόνου — έναντι του GPT-5-mini, που κάνει πολύ λιγότερα λάθη επειδή απέχει όταν δεν είναι σίγουρο. Το πιο ριψοκίνδυνο μοντέλο φαίνεται καλύτερο στον πίνακα.
• Τα open rubrics αντιστρέφουν το κίνητρο στη μελέτη περίπτωσης. Δοκιμάζουν μια απλή τεχνική μείωσης hallucination (το μοντέλο απαντά δύο φορές και απέχει αν οι δύο απαντήσεις διαφωνούν). Με τη συνήθη ακρίβεια, η τεχνική μειώνει τα λάθη αλλά μειώνει και την ακρίβεια — άρα η μετρική αποθαρρύνει την υιοθέτησή της. Με open rubrics, η ίδια τεχνική βγαίνει καλύτερη και στα τέσσερα μοντέλα για διάφορα επίπεδα ποινής· και το GPT-5-mini — που η ακατέργαστη ακρίβεια τιμωρούσε επειδή απείχε όταν δεν ήταν σίγουρο — ξεπερνά το o4-mini όταν η βαθμολόγηση δηλώνεται ανοιχτά (n = 4.326 ερωτήσεις ανά μοντέλο).

Τι πιθανότατα σημαίνει αυτό

Η μείωση των hallucinations δεν είναι κυρίως ζήτημα επινόησης περισσότερων ειδικών τεστ hallucination. Είναι ζήτημα αλλαγής του τρόπου με τον οποίο τα κύρια benchmarks βαθμολογούν την αβεβαιότητα, ώστε το ειλικρινές «δεν ξέρω» να μην τιμωρείται πλέον. Όσο ο πίνακας βαθμολογίας δεν αλλάζει, η μείωση hallucination θα συνεχίζει να κοστίζει μονάδες ακρίβειας και άρα να αποθαρρύνεται — γι’ αυτό οι συγγραφείς χαρακτηρίζουν το πρόβλημα «κοινωνικοτεχνικό»: εν μέρει καλύτερη μετρική, εν μέρει πειθώ ώστε τα σημαντικά leaderboards να την υιοθετήσουν.

Τι δεν αποδεικνύει

• Δεν δείχνει ότι τα open rubrics διορθώνουν τις hallucinations στην πραγματική χρήση. Το υποστηρικτικό πείραμα είναι μικρή, σκόπιμα μη ελεγχόμενη μελέτη περίπτωσης — τέσσερα μοντέλα με προεπιλεγμένες ρυθμίσεις, μία επιλεγμένη τεχνική, ένα τεστ πραγματολογικών ερωτήσεων — σχεδιασμένη να δείξει την αντιστροφή του κινήτρου, όχι να κατατάξει μοντέλα ή να αποδείξει γενική αποτελεσματικότητα.
• Δεν υποστηρίζει ότι η βαθμολόγηση είναι η μοναδική αιτία. Λάθη στα δεδομένα εκπαίδευσης, πραγματικά δύσκολα προβλήματα και άγνωστα prompts παραμένουν ξεχωριστές πηγές.
• Δεν στηρίζει τη δημοφιλή άποψη ότι οι hallucinations είναι αναπόφευκτες. Οι συγγραφείς υποστηρίζουν το αντίθετο: ένα σύστημα που απαντά μόνο σε ερωτήματα τα οποία μπορεί να ελέγξει και αλλιώς λέει «δεν ξέρω» δεν θα hallucinate.
• Δεν εξαφανίζει το κατώτατο όριο του pretraining — το εξηγεί και το οριοθετεί, και το όριο αφορά ψευδείς πραγματολογικές δηλώσεις με αυτοπεποίθηση, όχι κάθε συμπεριφορά του μοντέλου.
• Δεν δείχνει ότι τα open rubrics είναι επαρκή από μόνα τους. Αλλάζουν τι ανταμείβει μια αξιολόγηση· δεν αντικαθιστούν retrieval, χρήση εργαλείων ή καλύτερα βαθμονομημένα μοντέλα.

Πόσο ισχυρά είναι τα στοιχεία;

• Ο πυρήνας είναι μαθηματικά — τυπικά κατώτατα όρια, όχι μετρήσεις. Ως θεωρητικό επιχείρημα στέκει με τους δικούς του όρους.
• Βασίζεται σε σκόπιμα απλουστευμένα μοντέλα του προβλήματος· οι ίδιοι οι συγγραφείς επισημαίνουν την «ψευδή τριχοτόμηση» του να θεωρείς κάθε απόκριση σωστή, λάθος ή «δεν ξέρω», και το εξιδανικευμένο πλαίσιο «αυθαίρετων γεγονότων» που χρησιμοποιείται για το καθαρότερο όριο.
• Η έρευνα benchmarks είναι μικρό, επιμελημένο δείγμα — δέκα σημαντικές αξιολογήσεις, όχι εξαντλητικός έλεγχος.
• Η μελέτη περίπτωσης είναι πραγματική αλλά περιορισμένη: τέσσερα frontier models, μία τεχνική, μόνο SimpleQA, προεπιλεγμένες ρυθμίσεις, ρητά «όχι ελεγχόμενη αξιολόγηση». Είναι proof of concept για το επιχείρημα των κινήτρων, όχι αποτέλεσμα benchmark.
• Αξίζει να αναφερθεί η οπτική γωνία: τρεις από τους τέσσερις συγγραφείς εργάζονται ή εργάστηκαν στην OpenAI, και η εργασία υποστηρίζει ότι το πεδίο πρέπει να αλλάξει τον τρόπο αξιολόγησης των μοντέλων. Είναι μια καλά τεκμηριωμένη θέση από ενδιαφερόμενο μέρος, όχι ουδέτερη εξωτερική ανασκόπηση — κάτι που πρέπει να ζυγιστεί, όχι να απορριφθεί. (Προς τιμήν της, η εργασία στρέφει την κριτική στα δικά της μοντέλα, o4-mini και GPT-5-mini, εξίσου πρόθυμα όσο και στα άλλα.)

Γιατί έχει σημασία

Αναπλαισιώνει ένα υπερβολικά διαφημισμένο πρόβλημα. Το «hallucination» συνήθως παρουσιάζεται είτε ως μυστηριώδες ελάττωμα είτε ως ακίνητος τοίχος· η εργασία το κάνει πιο καθημερινό και εν μέρει αυτοπροκαλούμενο — ένα στατιστικό κατώτατο όριο που μπορούμε να κατανοήσουμε, πάνω από ένα κίνητρο που επιλέξαμε εμείς. Το ευρύτερο μάθημα είναι πιο ήσυχο και πιο χρήσιμο: η περαιτέρω πρόοδος στην αξιοπιστία ίσως εξαρτάται τόσο από το τι μετράμε όσο και από το τι κατασκευάζουμε.

Καθαρή σύνοψη

Οι ψευδείς απαντήσεις με αυτοπεποίθηση από γλωσσικά μοντέλα προέρχονται από δύο σημεία. Το πρώτο είναι στατιστικό: όταν ένα γεγονός δεν έχει μοτίβο που να μπορεί να μάθει, ένα μοντέλο εκπαιδευμένο να μιμείται τη γλώσσα θα κάνει μερικές φορές λάθος, και αυτό το κατώτατο όριο μπορεί να εκτιμηθεί (για παράδειγμα από το πόσα γεγονότα εμφανίζονται μόνο μία φορά στην εκπαίδευση). Το δεύτερο είναι τα κίνητρα: σχεδόν κάθε benchmark στο οποίο κατατάσσονται τα μοντέλα βαθμολογεί το «δεν ξέρω» το ίδιο με μια λάθος απάντηση, άρα η μαντεψιά πάντα συμφέρει — σε σημείο που ένα μοντέλο που κάνει λάθος τα τρία τέταρτα του χρόνου μπορεί να ξεπερνά ένα πιο ειλικρινές μοντέλο που απέχει. Η πρόταση των συγγραφέων δεν είναι ακόμη ένα τεστ hallucination αλλά τα «open rubrics»: δήλωσε τη βαθμολόγηση μέσα στην ερώτηση. Σε μελέτη περίπτωσης τεσσάρων frontier models, αυτό αντιστρέφει το κίνητρο ώστε μια τεχνική μείωσης hallucination να ανταμείβεται αντί να τιμωρείται. Είναι εργασία θεωρίας συν έρευνας benchmarks, με μικρό και ρητά μη ελεγχόμενο πείραμα, αξιολογημένη στο Nature· η λύση είναι πολλά υποσχόμενη αλλά δεν έχει ακόμη αποδειχθεί σε κλίμακα, και οι hallucinations υποστηρίζεται ότι δεν είναι ούτε μυστηριώδεις ούτε αυστηρά αναπόφευκτες.

Έλεγχος χωρίς υπερβολές

Τι δείχνει η εργασία: Ένα μαθηματικό κατώτατο όριο σύμφωνα με το οποίο κάποιο hallucination επιβάλλεται κατά το pretraining (τουλάχιστον το «singleton rate» για γεγονότα χωρίς μοτίβο)· μια έρευνα που βρίσκει ότι τα περισσότερα κορυφαία benchmarks δεν δίνουν καμία πίστωση στο «δεν ξέρω»· και μια μελέτη περίπτωσης τεσσάρων μοντέλων όπου η δήλωση της βαθμολόγησης στο prompt («open rubrics») κάνει μια τεχνική μείωσης hallucination να κερδίζει εκεί όπου η απλή ακρίβεια την τιμωρούσε.

Τι είναι εύλογο αλλά όχι αποδεδειγμένο: Ότι τα open rubrics, αν ενσωματωθούν στα βασικά benchmarks, θα μειώσουν ουσιαστικά τις hallucinations στα αναπτυγμένα μοντέλα. Το υποστηρικτικό πείραμα είναι μικρό και ρητά μη ελεγχόμενο.

Τι δεν δείχνει: Ότι οι hallucinations είναι αναπόφευκτες (υποστηρίζει το αντίθετο)· ότι η βαθμολόγηση είναι η μόνη αιτία· ότι οι hallucinations μπορούν να εξαλειφθούν πλήρως· ότι η μελέτη περίπτωσης κατατάσσει τα τέσσερα μοντέλα μεταξύ τους.

Κύριοι περιορισμοί: Σκόπιμα απλουστευμένο μοντέλο σωστό/λάθος/«δεν ξέρω» (οι συγγραφείς το ονομάζουν «ψευδή τριχοτόμηση»)· μικρή επιμελημένη έρευνα benchmarks (δέκα αξιολογήσεις)· μη ελεγχόμενη μελέτη περίπτωσης (τέσσερα μοντέλα, μία τεχνική, ένα τεστ, προεπιλεγμένες ρυθμίσεις)· και ένα επιχείρημα με επικεφαλής ανθρώπους της OpenAI για το πώς πρέπει το πεδίο να αξιολογεί τα μοντέλα.

Πόση εμπιστοσύνη πρέπει να έχει ένας γενικός αναγνώστης; Υψηλή ότι το hallucination δεν είναι ούτε μυστηριώδες ούτε αυστηρά αναπόφευκτο, και ότι τα σημερινά βασικά benchmarks ανταμείβουν τη μαντεψιά. Μέτρια ότι η προτεινόμενη λύση βοηθά — υπάρχει πλέον πραγματικό proof of concept, αλλά όχι ακόμη επίδειξη ότι λειτουργεί ευρέως και σε μεγάλη κλίμακα.