Γιατί αυτός ο κλάδος έχει σημασία τώρα

Μέχρι πρόσφατα, όλη η προσοχή ήταν στραμμένη πάνω στο training, δηλαδή στην εκπαίδευση των μεγάλων μοντέλων AI. Αυτό γίνεται μέσα σε data centers με χιλιάδες GPUs, οι οποίοι κάνουν τους υπολογισμούς που χρειάζεται ένα μοντέλο για να μάθει. Εκεί κερδίζουν οι μεγάλοι πάροχοι cloud, δηλαδή εταιρείες όπως η Amazon, η Microsoft και η Google που νοικιάζουν υπολογιστική ισχύ.

Τώρα όμως το κέντρο βάρους μετακινείται στο inference, δηλαδή στη χρήση των μοντέλων στην καθημερινότητα. Κάθε φορά που κάποιος ρωτάει ένα chatbot ή ένα ρομπότ, αυτό πρέπει να πάρει μία απόφαση, αυτό είναι το inference. Και το inference χρειάζεται κάτι διαφορετικό από το training. Θέλει ταχύτητα και εμπιστοσύνη στον χρήστη, όχι μόνο ωμή δύναμη σε ένα μακρινό κέντρο δεδομένων.

Σκέψου το εξής παράδειγμα. Αν ένα σύστημα τεχνητής νοημοσύνης πρέπει να κάνει δέκα διαδοχικές ερωτήσεις σε ένα μοντέλο για να ολοκληρώσει μια εργασία, και κάθε ερώτηση ταξιδεύει μέχρι την άλλη άκρη του πλανήτη και πίσω, η καθυστέρηση προστίθεται δέκα φορές. Αν όμως το μοντέλο βρίσκεται πιο κοντά στον χρήστη, η απάντηση έρχεται πολύ πιο γρήγορα. Αυτό έχει ακόμα μεγαλύτερη σημασία για πράγματα όπως τα ρομπότ ή τα αυτοκίνητα που παίρνουν αποφάσεις σε πραγματικό χρόνο, όπου κάθε δευτερόλεπτο καθυστέρησης μετράει.

Αυτή η ανάγκη δημιουργεί μια νέα αγορά που ουσιαστικά δεν υπήρχε πριν από δύο χρόνια. Υπολογιστική ισχύ κατανεμημένη σε πολλά σημεία κοντά στον χρήστη, αντί για λίγα τεράστια κεντρικά κέντρα.

Παράλληλα τρέχει και μια δεύτερη μεγάλη αλλαγή. Ο τρόπος που επιτίθενται στο διαδίκτυο άλλαξε. Παλιά ήταν άνθρωποι που έψαχναν αδυναμίες σε ιστοσελίδες. Σήμερα υπάρχουν αυτοματοποιημένα συστήματα AI που σαρώνουν χιλιάδες ιστοσελίδες τη φορά, βρίσκουν τρύπες ασφαλείας και τις εκμεταλλεύονται πολύ πιο γρήγορα από όσο μπορεί να αντιδράσει μια ομάδα ανθρώπων. Ταυτόχρονα, οι ίδιες οι εταιρείες AI έχουν ένα νέο πρόβλημα που λέγεται model distillation. Αυτό σημαίνει ότι κάποιος ανταγωνιστής ρωτάει συστηματικά το μοντέλο σου χιλιάδες φορές, μαζεύει τις απαντήσεις, και φτιάχνει ένα δικό του φθηνότερο αντίγραφο βασισμένο πάνω σε αυτές.