Με μόνο $50 ερευνητές έφτιαξαν δική τους AI που ανταγωνίζεται το o1 του ChatGPT!

Ερευνητές από το Stanford University και το University of Washington κατάφεραν να εκπαιδεύσουν ένα προηγμένο reasoning μοντέλο τεχνητής νοημοσύνης με κόστος κάτω από $50 σε cloud computing!

Το μοντέλο, με την ονομασία s1, αναπτύχθηκε μέσω μιας διαδικασίας γνωστής ως distillation, η οποία εξάγει τις δυνατότητες συλλογισμού από ένα υπάρχον AI μοντέλο εκπαιδεύοντάς το νέο μοντέλο στις απαντήσεις του. Η ερευνητική ομάδα εφάρμοσε τη μέθοδο distillation στο s1, χρησιμοποιώντας ως βάση το Gemini 2.0 Flash Thinking Experimental της Google, με αποτέλεσμα να δημιουργηθεί μια νέα AI που εμφανίζει επιδόσεις συγκρίσιμες με τα OpenAI o1 και DeepSeek R1 σε δοκιμές μαθηματικών και προγραμματισμού.

Το μοντέλο s1, μαζί με τα δεδομένα και τον κώδικα εκπαίδευσής του, έχει διατεθεί στο GitHub, υπογραμμίζοντας τη δέσμευση των ερευνητών για την προώθηση της open-source ανάπτυξης στην AI. Αντί για τις παραδοσιακές προσεγγίσεις εκπαίδευσης που απαιτούν τεράστιους υπολογιστικούς πόρους, το s1 βελτιστοποιήθηκε μέσω ενός dataset που περιλάμβανε 1.000 προσεκτικά επιλεγμένες ερωτήσεις και τις αντίστοιχες απαντήσεις τους. Η εκπαίδευση του μοντέλου ολοκληρώθηκε σε λιγότερο από 30 λεπτά χρησιμοποιώντας 16 Nvidia H100 GPUs, ενώ ένας από τους ερευνητές εκτίμησε ότι η απαιτούμενη επεξεργαστική ισχύς μπορεί σήμερα να ενοικιαστεί με περίπου $20.

Η επιτυχία αυτή εγείρει ερωτήματα σχετικά με την προσβασιμότητα και την εμπορευματοποίηση των reasoning μοντέλων στο μέλλον. Μέχρι τώρα, η ανάπτυξη AI μοντέλων έχει κυριαρχηθεί από μεγάλες επενδύσεις από εταιρείες όπως η Meta, η Google και η Microsoft, οι οποίες αναμένεται να διαθέσουν εκατοντάδες δισεκατομμύρια δολάρια ακόμη σε AI υποδομές το 2025. Ωστόσο, η αναπαραγωγή υψηλών επιδόσεων AI μοντέλων με χαμηλό κόστος μέσω distillation ενδέχεται να θέσει προκλήσεις στην αποκλειστικότητα αυτών των επενδύσεων. Η OpenAI έχει ήδη κατηγορήσει τη DeepSeek για μη εξουσιοδοτημένη χρήση του API της για distillation, αναδεικνύοντας τις ανησυχίες των μεγάλων AI εργαστηρίων σχετικά με την προστασία των proprietary μοντέλων τους.

Παρότι το distillation αποτελεί μια αποδοτική προσέγγιση, δεν οδηγεί αυτόματα στη δημιουργία επαναστατικών καινοτομιών στην AI, αφού το μόνο που επιτρέπει είναι η οικονομική αναπαραγωγή υφιστάμενων δυνατοτήτων. Οι ερευνητές του s1 πειραματίστηκαν με τεχνικές βελτίωσης της ακρίβειας του μοντέλου, όπως η προσθήκη της εντολής “wait” πριν από την απάντηση σε μια ερώτηση, γεγονός που συνέβαλε στη βελτίωση των αποτελεσμάτων.

Ενώ οι μεγάλες επενδύσεις παραμένουν κρίσιμες για την εξέλιξη των επόμενων γενεών AI, το s1 αποδεικνύει πως ακόμη και μικρές ερευνητικές ομάδες μπορούν να συνεισφέρουν σημαντικά στον τομέα με περιορισμένους πόρους.