Τζέικομπ Κόξον: Ο 27χρονος μαθηματικός που παραιτήθηκε από την Anthropic κι έβαλε μπουρλότο στον χώρο του AI

Τόσο οι υποστηρικτές όσο και οι επικριτές του τον χαρακτήρισαν «πληροφοριοδότη δημοσίου συμφέροντος», όρο που ο ίδιος απορρίπτει. Όπως υποστηρίζει, δεν αποδέσμευσε εταιρικά μυστικά· απλώς είπε δημόσια όσα οι ερευνητές AI συζητούν μεταξύ τους κεκλεισμένων των θυρών.

Τώρα βρίσκεται στο επίκεντρο της διαμάχης ανάμεσα στους υποστηρικτές της επιτάχυνσης, οι οποίοι θεωρούν ότι τα οφέλη της AI υπερτερούν των κινδύνων και ότι οι κίνδυνοι αντιμετωπίζονται αν αποκτήσουν περισσότεροι άνθρωποι πρόσβαση σε ισχυρά μοντέλα, και στους ερευνητές που ζητούν φρένο στην ανάπτυξη πριν οι εταιρείες χάσουν τον έλεγχο.

Στον κόσμο της τεχνητής νοημοσύνης, όσοι ανησυχούν περισσότερο για τους κινδύνους αποκαλούνται «καταστροφολόγοι». «Αν καταστροφολόγος σημαίνει κάποιος που πιστεύει ότι θα πεθάνουμε αν δεν αλλάξουμε πορεία», δήλωσε ο Κόξον, «τότε είμαι σίγουρα καταστροφολόγος».

Το βιβλίο που άλλαξε την κοσμοθεωρία του

Στο ιδιωτικό σχολείο της Οξφόρδης όπου φοιτούσε έπεσε στα χέρια του Κόξον ένα βιβλίο που έμελλε να διαμορφώσει την κοσμοθεωρία του. Το «Superintelligence: Paths, Dangers, Strategies» του φιλοσόφου Νικ Μπόστρομ, μίας από τις πλέον επιδραστικές προσωπικότητες του ανερχόμενου κινήματος του αποτελεσματικού αλτρουισμού, βοήθησε να σχηματοποιηθεί ο φόβος ότι μια ανεξέλεγκτη τεχνητή νοημοσύνη θα μπορούσε να οδηγήσει σε υπαρξιακή απειλή.

Ως έφηβος το 2016, παρακολούθησε το πρόγραμμα AlphaGo της Google DeepMind να νικά έναν από τους κορυφαίους παίκτες του παιχνιδιού Go μια ιστορική καμπή για την τεχνητή νοημοσύνη που απέδειξε ότι οι μηχανές μπορούσαν να υπερισχύσουν σε τομείς που θεωρούνταν προνόμιο της ανθρώπινης διαίσθησης και δημιουργικότητας.

Ο Κόξον, γιος καθηγητή μεσαιωνικής γερμανικής λογοτεχνίας, είχε κλίση στα μαθηματικά και επιλέχθηκε στην εθνική ομάδα της Βρετανίας για τη Διεθνή Μαθηματική Ολυμπιάδα. Επέστρεψε με το αργυρό μετάλλιο το 2016 και το χάλκινο την επόμενη χρονιά.

Ένα βράδυ, ορισμένοι πήγαν στα McDonald’s του Χονγκ Κονγκ. Εμπνευσμένοι από τον Κόξον και ένα θεώρημα της θεωρίας αριθμών, συγκέντρωσαν τα κουπόνια φαγητού που τους είχαν απομείνει και αγόρασαν εκατοντάδες κοτομπουκιές. Μαζί με συμμετέχοντες από όλο τον κόσμο, έφαγαν το φαγητό και μαζεύτηκαν γύρω από έναν πίνακα, προσπαθώντας να λύσουν ένα δύσκολο μαθηματικό πρόβλημα.

Τα παιδιά εκείνου του δωματίου έγιναν αργότερα συνάδελφοί του. Από τα έξι μέλη της ομάδας του Κόξον, τα τρία κατέληξαν να εργάζονται σε εργαστήρια AI, ανάμεσά τους και ένας που επίσης παραιτήθηκε πρόσφατα από την Anthropic.

Ο Τζο Μπέντον αποχώρησε από την ομάδα ασφάλειας της Anthropic στα τέλη Αυγούστου για να ενταχθεί στον ερευνητικό οργανισμό METR, γράφοντας αργότερα στο X: «Οι εταιρείες AI ανταγωνίζονται για να κατασκευάσουν μηχανές πολύ πιο έξυπνες από κάθε άνθρωπο, και ενδέχεται να μην επιβιώσουμε από αυτό».

Από το Κέιμπριτζ στην OpenAI

Ο Κόξον σπούδασε στο Κέιμπριτζ, έπαιζε σκουός και συνέχισε τα μαθηματικά, γράφει η Wall Street Journal. Καθώς αποφοιτούσε το 2020, η OpenAI κυκλοφόρησε το επαναστατικό μοντέλο GPT-3, το οποίο απέδειξε μία από τις βασικές αρχές της άνθησης της AI: ότι οι δυνατότητες των μοντέλων αυξάνονται όσο εκπαιδεύονται σε μεγαλύτερο όγκο δεδομένων. «Το GPT-3 ήταν η στιγμή που έμεινα πραγματικά άναυδος», ανέφερε ο Κόξον.

Μετά το πανεπιστήμιο, ο Κόξον εντάχθηκε σε μια μικρή αλλά επιδραστική κοινότητα ορθολογιστών που επιδίωκε την αναμόρφωση της βρετανικής κυβέρνησης. Η διαδικτυακή αυτή κοινότητα, που έδινε προτεραιότητα στην αυστηρή λογική έναντι του πολιτικού ενστίκτου, είχε αποκτήσει πάτημα στην πολιτική μέσω του Ντόμινικ Κάμινγκς, αρχιτέκτονα του Brexit και συμβούλου της Ντάουνινγκ Στριτ.

Ο Κόξον ζούσε στο Λονδίνο, στο Newspeak House, ένα ανεξάρτητο κοινόβιο και χώρο εκδηλώσεων όπου νέοι συγκεντρώνονταν για να συζητήσουν για την τεχνολογία και την πολιτική.

Εκεί συμμετείχε σε πάρτι στην ταράτσα του κτιρίου, όπως και άλλα μελλοντικά στελέχη της AI, ανάμεσά τους ο Λόγκαν Γκράχαμ, τότε ειδικός σύμβουλος του Πρωθυπουργού Μπόρις Τζόνσον και νυν επικεφαλής της προσπάθειας της Anthropic για τη δοκιμή μοντέλων απέναντι σε μελλοντικές απειλές εθνικής ασφάλειας. Ο Κόξον ασχολήθηκε για λίγο με τις αγορές εμπορευμάτων, χρησιμοποιώντας στατιστική ανάλυση και μηχανική μάθηση για την πρόβλεψη των τιμών ενέργειας. Ένας γνωστός του θυμάται ότι ο Κόξον εξέταζε διάφορες επαγγελματικές επιλογές, αναζητώντας τρόπους να βελτιστοποιήσει την πορεία της ζωής του.

Στον ελεύθερο χρόνο του εμβάθυνε στην τεχνητή νοημοσύνη, θεωρώντας την ως την πιο ενδιαφέρουσα ευκαιρία στον πλανήτη. Πήρε αυτό που περιέγραψε ως μεταβατικό έτος, μένοντας σε φοιτητικές εστίες με φίλους από το πανεπιστήμιο. Στη συνέχεια, προσλήφθηκε στην OpenAI.

Τα πρώτα βήματα στη Σίλικον Βάλεϊ

Ο Κόξον μετακόμισε στο Σαν Φρανσίσκο για να ξεκινήσει στην OpenAI το 2023, μετά την τεράστια επιτυχία του ChatGPT που εδραίωσε την εταιρεία ως ηγέτιδα του κλάδου. Με το πτυχίο στα μαθηματικά, εντάχθηκε στο εργαστήριο μέσω ενός εξάμηνου προγράμματος για ερευνητές χωρίς προηγούμενη εμπειρία στην AI. Όσοι εργάζονται στην ασφάλεια εστιάζουν συχνά στην «ευθυγράμμιση», δηλαδή τη διασφάλιση ότι η συμπεριφορά του συστήματος συνάδει με τις ανθρώπινες προθέσεις. Ο ίδιος εξειδικεύτηκε στην προεκπαίδευση, τα αρχικά στάδια τροφοδοσίας των μοντέλων με τεράστιους όγκους κειμένου, εικόνων και κώδικα πριν από τη ρύθμισή τους για συγκεκριμένες εργασίες.

Δεν ξεχώριζε για την έντονη δραστηριότητά του στα θέματα ασφάλειας. Ο ΝτεΠιού τον περιέγραψε ως έναν «κανονικό ερευνητή», με τις συνηθισμένες ανησυχίες των υπαλλήλων που γνωρίζουν τις δυνατότητες και τους κινδύνους της τεχνολογίας καλύτερα από τον καθένα.

Στα τέλη του 2023, απέκτησε πρόωρη πρόσβαση στο πρώτο μοντέλο λογικής της OpenAI, το Q*, το οποίο μπορούσε να διασπά μεγάλα προβλήματα σε μέρη και να τα επιλύει βήμα-βήμα. Ο Κόξον ανέφερε ότι του έδωσε ένα δύσκολο σταυρόλεξο και εντυπωσιάστηκε από τον τρόπο που το έλυσε.

Με τον χρόνο, όπως δήλωσε, παρακολουθούσε με προβληματισμό τις αποχωρήσεις μελών της ομάδας ασφάλειας της OpenAI, συμπεριλαμβανομένου του Ντάνιελ Κοκοτάιλο, ο οποίος δημιούργησε μια ερευνητική ομάδα πρόβλεψης σεναρίων εξέλιξης της AI.

Ο Κόξον ανησυχούσε για την υπερνοημοσύνη που θα μπορούσε να ξεπεράσει τις ανθρώπινες δυνατότητες. Υπέθετε όμως ότι οι κυβερνήσεις θα συντονίζονταν για να επιβραδύνουν τον φρενήρη ρυθμό ανάπτυξης, αν αυτό γινόταν απαραίτητο.

Δεν ήταν ακόμα έτοιμος να παρατήσει τα πάντα για να αφοσιωθεί στην ασφάλεια. Ένας φίλος του θυμήθηκε ότι προσπάθησε να τον πείσει να αφήσει την προεκπαίδευση, υποστηρίζοντας ότι η διαδικασία αυτή εγκυμονεί κινδύνους για τον κόσμο. Ο Κόξον όμως δεν έκανε το βήμα.

Όταν η AI άρχισε να λύνει προβλήματα που θεωρούνταν «ανθρώπινα»

Παράλληλα, παρακολουθούσε την εντυπωσιακή πρόοδο της AI στα μαθηματικά, καθώς τα μοντέλα εξελίσσονταν πολύ γρηγορότερα απ’ όσο περίμενε. Ξαφνικά, δεν δυσκολεύονταν πλέον στην αριθμητική. Το 2024, ένα μοντέλο της Google DeepMind συγκέντρωσε αρκετούς βαθμούς στη Διεθνή Μαθηματική Ολυμπιάδα ώστε να κατακτήσει αργυρό μετάλλιο. Το 2025, η DeepMind και η OpenAI απέσπασαν χρυσά μετάλλια.

Το 2026, ωστόσο, ο Κόξον και μεγάλο μέρος της κοινότητας ασφάλειας AI άρχισαν να πανικοβάλλονται πραγματικά.

Νωρίτερα φέτος, ένα μοντέλο της Anthropic με την ονομασία Mythos, καθώς και άλλα παρόμοια εργαλεία, αποδείχθηκαν ικανά να πραγματοποιήσουν σύνθετες κυβερνοεπιθέσεις. Ορισμένοι ερευνητές εξέλαβαν το γεγονός ως δυσοίωνη ένδειξη ότι το προϊόν που δημιουργούσαν γινόταν υπερβολικά ισχυρό.

Ο επικεφαλής της ομάδας ερευνών ασφαλείας της Anthropic προειδοποίησε ότι «ο κόσμος βρίσκεται σε κίνδυνο» και παραιτήθηκε από την εταιρεία για να σπουδάσει ποίηση.

Μέχρι τότε, ο Κόξον είχε πολλούς φίλους στην Anthropic και θεωρούσε ότι η ανταγωνίστρια της OpenAI ήταν πιο διαφανής όσον αφορά τους κινδύνους της τεχνολογίας. Η Anthropic είχε επίσης προσπεράσει την OpenAI, που μέχρι τότε κατείχε την πρωτοκαθεδρία, όταν το εργαλείο προγραμματισμού Claude σημείωσε τεράστια επιτυχία. Η εταιρεία ετοίμαζε μάλιστα τα σχέδιά της για αυτό που αναμενόταν να είναι η μεγαλύτερη αρχική δημόσια προσφορά στην ιστορία.

Τον Μάιο, ο Κόξον αποχώρησε από την OpenAI και πήγε στην Anthropic. Έκτοτε, ορισμένα σοβαρά περιστατικά ασφαλείας προκάλεσαν αναστάτωση σε ολόκληρο τον κλάδο.

Τον Ιούλιο, η OpenAI αποκάλυψε ότι ένα από τα αδημοσίευτα μοντέλα της διέφυγε από το περιβάλλον δοκιμών και παραβίασε τα συστήματα της εταιρείας Hugging Face. Λίγο αργότερα, η Anthropic ανέφερε ότι εντόπισε παρόμοια περιστατικά. Στα τέλη Αυγούστου, μια αποκαλυπτική έκθεση της METR έδειξε ότι το περιστατικό στην Hugging Face ήταν πολύ σοβαρότερο απ’ όσο είχε γίνει γνωστό. Ο Κόξον χαρακτήρισε την έκθεση της METR ως σοκαριστική αποκάλυψη για τον ίδιο και τους συναδέλφους του.

Η έκκληση για διεθνή συμφωνία

Οι ανησυχίες για τη ραγδαία εξέλιξη της AI συσσωρεύονταν στο εσωτερικό των εταιρειών επί μήνες. Νωρίτερα φέτος, πολλοί ερευνητές εξέφρασαν δημόσια την ανησυχία τους για τη χρήση της AI σε συστήματα παρακολούθησης, κατά τη διάρκεια διαμάχης μεταξύ της Anthropic και του Πενταγώνου.

Οι πρόσφατες εξελίξεις πυροδότησαν έντονες ιδιωτικές συζητήσεις στο εσωτερικό των εταιρειών, τόσο σε κανάλια του Slack όσο και σε γενικές συνελεύσεις. Οι συζητήσεις κυμαίνονταν από λεπτομέρειες για τεχνικές δικλείδες ασφαλείας μέχρι σενάρια ολικής καταστροφής σε περίπτωση που τα μοντέλα συνεχίσουν να βελτιώνονται με αυτόν τον ρυθμό. Παράλληλα, εξεταζόταν πώς θα διασφαλιστεί ότι ο ανταγωνισμός μεταξύ των εργαστηρίων δεν θα ξεφύγει από κάθε έλεγχο.

Όσοι ανησυχούν για την ασφάλεια φοβούνταν από καιρό την ημέρα που τα ίδια τα συστήματα AI θα αποκτούσαν τη δυνατότητα να κατασκευάζουν την επόμενη γενιά ακόμα πιο έξυπνων συστημάτων. Τα εργαστήρια δηλώνουν ότι βλέπουν ήδη τα πρώτα σημάδια αυτής της διαδικασίας.
Τις τελευταίες εβδομάδες, ο Κόξον συνάντησε τα διοικητικά στελέχη της Anthropic για να συζητήσει τις ανησυχίες του. Εξέτασε το ενδεχόμενο να μετακινηθεί σε τομέα που ασχολείται αποκλειστικά με την ασφάλεια, πριν αποφασίσει τελικά να παραιτηθεί.

«Ακόμα και το να δουλεύεις στην ασφάλεια της Anthropic έμοιαζε σαν να συμμετέχεις στη συνενενοχή αυτής της κούρσας», δήλωσε στη συνέντευξή του.

Κατά τη γνώμη του, απαιτείται μια διεθνώς συντονισμένη συμφωνία με κυβερνητικές εγγυήσεις, ώστε να επιβραδυνθεί η ανάπτυξη των μοντέλων αν αυτό κριθεί απαραίτητο για την ασφάλεια. Πρόσθεσε επίσης ότι οι ΗΠΑ, η Κίνα και άλλες κυβερνήσεις πρέπει να συμφωνήσουν σε ένα πλαίσιο παρόμοιο με τις συνθήκες ελέγχου των πυρηνικών εξοπλισμών για την αποφυγή μιας καταστροφής.

Σε ολόκληρο τον κλάδο, σχεδόν 1.400 ερευνητές, ανάμεσά τους και ο Κόξον, έχουν υπογράψει δήλωση με την οποία ζητούν από τις κυβερνήσεις να δημιουργήσουν έναν μηχανισμό, ο οποίος θα μπορεί να ενεργοποιηθεί αν παραστεί ανάγκη.

Την ημέρα που παραιτήθηκε ο Κόξον, οι υπάλληλοι της OpenAI και της Anthropic παρακολουθούσαν μια άλλη είδηση που, όπως είπε ο ίδιος, θα τον είχε αφήσει άναυδο μόλις λίγους μήνες νωρίτερα. Η τεχνητή νοημοσύνη είχε λύσει ένα από τα «Προβλήματα της Χιλιετίας», ένα εξαιρετικά δύσκολο μαθηματικό πρόβλημα που παιδεύει την ανθρωπότητα για σχεδόν έναν αιώνα, ένα επίτευγμα που κάποτε φάνταζε αδιανόητο.

Εκείνο το απόγευμα, ο Κόξον ανακοίνωσε στους συναδέλφους του στην Anthropic ότι παραιτείται μέσω ενός μηνύματος στο Slack, εκφράζοντας φόβους για το ενδεχόμενο αφανισμού της ανθρωπότητας χωρίς τον κατάλληλο διεθνή συντονισμό. Πεπίπου μισή ώρα αργότερα, η Wall Street Journal δημοσίευσε την είδηση.

Στη συνέχεια, προέβη σε σειρά αναρτήσεων για την παραίτησή του καθισμένος σε ένα παγκάκι σε πάρκο του Σαν Φρανσίσκο.

Ο λογαριασμός του στο X είχε λιγότερους από 100 ακόλουθους. Μέσα σε λίγα λεπτά, η ανάρτησή του αναδημοσιεύτηκε από τον Κάλβιν, τον Κοκοτάιλο και άλλους υποστηρικτές της ασφάλειας AI, μεταξύ των οποίων και πολλοί πρώην συνάδελφοί του.

Εκείνο το βράδυ, τις ανησυχίες του προσυπέγραψε ο επικεφαλής της ομάδας ευθυγράμμισης της Anthropic, του κρίσιμου τμήματος που είναι επιφορτισμένο με τη διασφάλιση ότι η AI εκτελεί τις προθέσεις των ανθρώπων και δεν στρέφεται εναντίον τους.

«Πιστεύουμε πράγματι ειλικρινά ότι η AI θα μπορούσε να σκοτώσει όλους τους ανθρώπους!», έγραψε ο Έβαν Χούμπινγκερ, προσθέτοντας ότι θεωρεί τις πιθανότητες να πεθάνουμε όλοι μέσα στην επόμενη δεκαετία μεγαλύτερες από 10%.

Ο Κόξον δήλωσε ότι δεν είχε συντονίσει αυτή την καταιγίδα αναρτήσεων με κανέναν στην Anthropic.

Την εβδομάδα που ακολούθησε, ο μέχρι πρότινος άγνωστος ερευνητής, είχε συνεχή παρουσία σε μεγάλα τηλεοπτικά δίκτυα και κατακλύστηκε από προτάσεις για έκδοση βιβλίων και εμφανίσεις σε podcasts.

Η ανάρτησή του προκάλεσε τέτοια αναστάτωση που κολοσσοί του AI ζητούσαν την επιβράδυνση των ρυθμών στον κλάδο.