Η Meta σε συνεργασία με το Πανεπιστήμιο του Waterloo αποκάλυψε το MoCha, ένα πρωτοποριακό AI σύστημα το οποίο μπορεί να δημιουργεί full-body character animations, με συγχρονισμένο λόγο, εκφράσεις, χειρονομίες και ρεαλιστική κίνηση.
Πρόκειται για ένα σημαντικό βήμα στον τομέα των κινούμενων εικόνων που βασίζονται στην τεχνητή νοημοσύνη, υπερβαίνοντας τα όρια του τι είναι δυνατό με τη δημιουργία κειμένου σε βίντεο.
Σε αντίθεση με προηγούμενα μοντέλα που εστίαζαν μόνο στο πρόσωπο ή στο lip-sync, το MoCha αποδίδει την κίνηση ολόκληρου του σώματος και υποστηρίζει λήψεις από διαφορετικές γωνίες κάμερας. Μπορεί να αναπαραστήσει φυσικές κινήσεις, διαλόγους, ακόμα και αλληλεπιδράσεις μεταξύ πολλών χαρακτήρων ταυτόχρονα.
Η ομάδα εκπαίδευσε το MoCha με πάνω από 300 ώρες επιλεγμένου video υλικού, ενώ πρόσθεσε και text-based sequences για να δώσει στο σύστημα τη δυνατότητα να αποδίδει πιο σύνθετες αφηγηματικές σκηνές. Έτσι, ο χρήστης μπορεί να δημιουργήσει μία ρεαλιστική σκηνή animation απλώς δίνοντας ένα γραπτό prompt.
Το MoCha φέρνει την AI παραγωγή video πιο κοντά στην πλήρως αυτοματοποιημένη μορφή της, με δυνατότητες που αναμένεται να βρουν εφαρμογή σε gaming, VR, ταινίες και ψηφιακούς βοηθούς. Είναι ένα εργαλείο που μπορεί να αλλάξει ριζικά τον τρόπο με τον οποίο δημιουργείται ψηφιακό περιεχόμενο.
Δείτε αυτή τη δημοσίευση στο Instagram.
Must Read
150 μαθηματικοί προειδοποιούν για την AI και ζητούν να μην πιστεύουμε το hype
Anthropic: Οι δημιουργοί του Claude προειδοποιούν ότι θα χαθεί ο έλεγχος!
Αντιδράσεις για το νέο Tomb Raider και τη χρήση AI - Τι απαντά η Crystal Dynamics
