Η Meta ανέβασε στο leaderboard AI που δεν θα δώσει στο κοινό!

Το Σαββατοκύριακο που πέρασε, η Meta λάνσαρε δύο νέα μοντέλα τεχνητής νοημοσύνης, με το μεσαίου μεγέθους Llama 4 Maverick να ανεβαίνει γρήγορα στη δεύτερη θέση του leaderboard του LMArena. Μόνο που αυτό προκάλεσε κύμα αντιδράσεων.

Ο λόγος είναι ότι το μοντέλο που παρουσίασε η Meta για benchmarking δεν ήταν το ίδιο με αυτό που θα διαθέσει στο κοινό. Αντί για την open-source έκδοση, χρησιμοποίησε μια πειραματική παραλλαγή που είχε βελτιστοποιηθεί για να αποδίδει καλύτερα σε συνομιλίες, κάτι που πολλοί θεώρησαν παραπλανητικό.

Συγκεκριμένα, το Llama-4-Maverick-03-26-Experimental υποβλήθηκε στο LMArena, μια πλατφόρμα όπου οι χρήστες συγκρίνουν απαντήσεις μοντέλων και ψηφίζουν το καλύτερο. Η Meta το ανέβασε λέγοντας πως ξεπερνά το GPT-4o και το Gemini 2.0 Flash, αλλά στη συνέχεια παραδέχτηκε πως το μοντέλο αυτό δεν είναι ίδιο με την έκδοση που προσφέρει στους developers.

Η LMArena δεν έκρυψε τη δυσαρέσκειά της, λέγοντας ότι:

Η ερμηνεία της Meta για την πολιτική μας δεν ευθυγραμμίζεται με τις προσδοκίες μας.

Επιπλέον, ανανέωσε άμεσα τους κανόνες της για να διασφαλιστεί περισσότερη διαφάνεια στο μέλλον. Αν και η Meta δεν παραβίασε κάποιον κανονισμό, πολλοί θεωρούν πως “μαγείρεψε” την κατάταξη. Ο AI ερευνητής Simon Willison, μάλιστα, σχολίασε ότι: 

Εντυπωσιάστηκα όταν είδα το μοντέλο στη 2η θέση, αλλά τώρα νιώθω ηλίθιος που δεν διάβασα τα ψιλά γράμματα. Όσο για το γιατί έγινε το release Κυριακή, ο ίδιος ο Zuckerberg απάντησε πως: 

Τότε ήταν έτοιμο.