Η Nvidia ετοιμάζει ένα απίστευτο slow-motion λογισμικό

Η Nvidia αναπτύσσει μια τεχνική που χρησιμοποιεί νευρωνικά δίκτυα για να δημιουργήσει ένα απίστευτα ομαλό slow-motion video από ένα απλό βίντεο. Το όνομα της τεχνικής είναι “variable-length multi-frame interpolation” και χρησιμοποιώντας machine learning δημιουργεί την ψευδαίσθηση της ομαλής μετάβασης από καρέ σε καρέ. Για να το πετύχει αυτό υπάρχει συνεργασία δύο νευρωνικών δικτύων. Το πρώτο κάνει προβλέψεις για το πλάνα που έπαιξαν αλλά και που θα παίξουν στην οπτική ροή μεταξύ των καρέ και αναπαράγει το “flow field”. Το δεύτερο νευρωνικό δίκτυο παρεμβάλει στην οπτική ροή του πρώτου για να τελειοποιήσει τη ροή και να αφαιρέσει pixels που κρύβονται από αντικείμενα στο καρέ.

Τα αποτελέσματα είναι κάτι παραπάνω από αξιοθαύμαστα, χρησιμοποιώντας απλά βίντεο το λογισμικό κατάφερε να τα κάνει να φαίνονται σαν να είναι πλάνα που τραβήχτηκαν με κάποια επαγγελματική slow-motion κάμερα. Μάλιστα ήταν σε θέση να κάνει και ένα ήδη slow-motion video να δείχνει ακόμη πιο αργό χωρίς να φαίνεται ότι έχει υποστεί περαιτέρω επεξεργασία.

Για την επίτευξη του αποτελέσματος χρησιμοποιήθηκαν οι Tesla V100 gpus και ένα cuDNN-accelerated PyTorch deep learning framework, γεγονός που σημαίνει ότι θα αργήσουμε πάρα πολύ να δούμε μια εμπορική εφαρμογή της εν λόγω τεχνολογίας. Επίσης άτομα της Nvidia λένε πως ακόμη και όταν διατεθεί στο ευρύ κοινό, ένα μεγάλο μέρος της επεξεργασίας θα πρέπει να γίνει στο cloud λόγω του περιορισμού στο hardware. Περισσότερες πληροφορίες για την τεχνική και την τεχνολογία που χρησιμοποιήθηκαν από την Nvidia και το Cornel University μπορείτε να βρείτε εδώ.