Από τον ερευνητή που παραιτήθηκε προειδοποιώντας ότι η τεχνητή νοημοσύνη μπορεί να αφανίσει την ανθρωπότητα μέχρι το τέλος της δεκαετίας, έως τους πυραύλους στην Υεμένη και τις εκθέσεις για κυβερνοεπιθέσεις και βιολογικούς κινδύνους: η εταιρεία που έχτισε την ταυτότητά της πάνω στην «ασφάλεια» βρίσκεται στο κέντρο μιας δύσκολης ερώτησης. Πότε η πραγματική προειδοποίηση μετατρέπεται ταυτόχρονα σε marketing τεχνολογικής ισχύος και πολιτικό εργαλείο;
Δεν χρειάζεται να υποστηρίξει κανείς ότι η Anthropic λέει ψέματα. Το ενδιαφέρον βρίσκεται αλλού. Τα καταστροφολογικά σενάρια που η εταιρεία διακινεί με ολοένα μεγαλύτερη ένταση —και μάλιστα σε μια περίοδο κατά την οποία προετοιμάζεται για την είσοδό της στο χρηματιστήριο— στρέφουν το βλέμμα όχι τόσο στο αν πολλά από όσα περιγράφει μπορεί να είναι απολύτως αληθινά, αλλά στο πλαίσιο μέσα στο οποίο επιλέγονται, προβάλλονται και επαναλαμβάνονται. Σε κάθε περίπτωση εντάσσονται σε ένα σταθερό αφήγημα Φόβου: ίσως το πιο ύπουλο εργαλείο πειθάρχησης και καταστολής, αλλά ταυτόχρονα και ένα από τα αποτελεσματικότερα μέσα εμπορικής εκμετάλλευσης.
Ο φόβος δεν χρειάζεται να είναι κατασκευασμένος για να είναι χρήσιμος. Αρκεί να είναι υπαρκτός, έστω και με ελάχιστες πιθανότητες, αλλά μεγεθυμένος, επιλεκτικά φωτισμένος και σωστά τοποθετημένος στην αγορά.
Ότι μια ομάδα στη βόρεια Υεμένη χρησιμοποίησε το Claude Code για λογισμικό καθοδήγησης πυραύλων. Ότι ερευνητές μέσα στην εταιρεία φοβούνται πραγματικά τις συνέπειες μιας μελλοντικής υπερνοημοσύνης. Ότι ισχυρά μοντέλα μπορούν να μειώσουν δραματικά το κόστος και την τεχνική δυσκολία εργασιών που μέχρι χθες απαιτούσαν ομάδες ειδικών.
Και ταυτόχρονα “ποιος ωφελείται όταν η εταιρεία που κατασκευάζει ένα από τα ισχυρότερα εργαλεία τεχνητής νοημοσύνης στον κόσμο γίνεται επίσης η βασική πηγή πληροφοριών για το πόσο επικίνδυνο είναι;“
Εκεί αρχίζει η πραγματικά ενδιαφέρουσα ιστορία.
Οι πύραυλοι της Υεμένης
Στη νέα έκθεση Threat Intelligence, η Anthropic περιγράφει μια ομάδα στη βόρεια Υεμένη που φέρεται να εργαζόταν πάνω σε τρία προγράμματα όπλων: έναν κατευθυνόμενο πύραυλο, έναν βαλλιστικό πύραυλο με στόχο εμβέλειας άνω των 2.000 χιλιομέτρων και μια οικογένεια πυραύλων που περιλάμβανε και παραλλαγή hypersonic glide vehicle. Σύμφωνα με την εταιρεία, οι χρήστες αξιοποίησαν πολλαπλά Claude instances σχεδόν σαν μικρή ομάδα μηχανικών: άλλο έγραφε κώδικα, άλλο έκανε έρευνα και άλλο έλεγχε το αποτέλεσμα. (Anthropic)
Οι δικλίδες ασφαλείας σταμάτησαν πολλά αιτήματα, όχι όμως όλα. Η ομάδα, λέει η Anthropic, έκρυβε τον τελικό σκοπό των εργασιών και μοίραζε το project σε διαφορετικά sessions. Έγινε μάλιστα πραγματική δοκιμή κατευθυνόμενου πυραύλου· απέτυχε και οι χρήστες επέστρεψαν στο Claude για να αναζητήσουν την αιτία της αποτυχίας. (Anthropic)
Υπάρχει όμως μία πρόταση στην ίδια την έκθεση που δεν πρέπει να χαθεί μέσα στο θέαμα:
η Anthropic δηλώνει ότι δεν έχει στοιχεία πως η ομάδα
κατάφερε τελικά να αναπτύξει επιχειρησιακό όπλο. (Anthropic)
Η απόσταση είναι σημαντική.
Άλλο να αποδεικνύεται ότι ένα frontier model μπορεί να επιταχύνει την ανάπτυξη λογισμικού σχετικού με όπλα — κάτι ήδη εξαιρετικά σοβαρό — και άλλο να αποδεικνύεται ότι έδωσε σε μια ένοπλη ομάδα μια νέα, λειτουργική πυραυλική ικανότητα.
Για το δεύτερο δεν έχουμε μέχρι στιγμής ανεξάρτητη τεχνική επαλήθευση. Το μεγαλύτερο μέρος των διαθέσιμων επιχειρησιακών δεδομένων βρίσκεται στα χέρια της ίδιας της εταιρείας που έκανε την αποκάλυψη.
Και εκεί ακριβώς βρίσκεται το πρώτο πρόβλημα της αφήγησης.
Η ίδια η Anthropic μάς λέει ότι επιλέγει τα πιο εντυπωσιακά περιστατικά
Δεν χρειάζεται να ανακαλύψουμε κρυφό μηχανισμό δημοσίων σχέσεων. Η εταιρεία το γράφει ανοιχτά.
Τα περιστατικά που περιλαμβάνει στην έκθεση, εξηγεί, δεν αποτελούν τυπική εικόνα της κατάχρησης του Claude. Είναι τα πιο «notable and novel» παραδείγματα που έχει εντοπίσει. (Anthropic)
Απολύτως λογικό για ένα Threat Intelligence Report.
Αλλά επίσης απολύτως κρίσιμο για τον αναγνώστη.
Δεν παρακολουθούμε ένα αντιπροσωπευτικό δείγμα εκατομμυρίων χρήσεων. Παρακολουθούμε μια επιλεγμένη βιτρίνα με κυβερνοεπιθέσεις, κρατική παρακολούθηση, βιολογικούς κινδύνους, πυραύλους και όπλα.
Δηλαδή, εκ των πραγμάτων, το πιο δραματικό υλικό που διαθέτει η εταιρεία.
Και κάθε τέτοια ιστορία μεταφέρει ταυτόχρονα δύο μηνύματα:
Το μοντέλο μας είναι τρομακτικά ισχυρό.
και:
Χρειάζεστε πολύ σοβαρούς μηχανισμούς για να ελέγξετε ένα τόσο ισχυρό μοντέλο.
Το πρώτο είναι δήλωση τεχνολογικής υπεροχής. Το δεύτερο είναι δήλωση πολιτικής.
Και οι δύο προέρχονται από τον ίδιο οργανισμό.
Κατασκευάζουμε κάτι εξαιρετικά ισχυρό. Πιστεύουμε ότι μπορεί να γίνει εξαιρετικά επικίνδυνο και πιστεύουμε ότι εμείς το αντιμετωπίζουμε σοβαρότερα από τους ανταγωνιστές μας.
«Μπορεί να μας σκοτώσει όλους» — αλλά πού είναι τα στοιχεία;
Ύστερα ήρθε ο Jacob Coxon.
Ο ερευνητής της Anthropic παραιτήθηκε στις 9 Σεπτεμβρίου και δημοσίευσε μια από τις πιο δραματικές προειδοποιήσεις που έχουν βγει ποτέ από μεγάλο AI lab: οι άνθρωποι που κατασκευάζουν την τεχνητή νοημοσύνη, υποστήριξε, πιστεύουν πραγματικά ότι μια μελλοντική self-improving superintelligence θα μπορούσε να αφανίσει την ανθρωπότητα μέχρι το τέλος της δεκαετίας. (Axios)
Αυτό ενισχύει δύο ενδεχόμενα: είτε την πιθανότητα να πιστεύει ειλικρινά όσα λέει, …είτε να έχει πάθει ένα είδος εσχατολογικού σοκ — είδος ιδιαίτερα ανθεκτικό στις μέρες μας, απλώς με διαφορετικούς προφήτες και διαφορετικά επιχειρηματικά μοντέλα.
Δεν αποδεικνύει όμως το δεύτερο: ότι η πρόβλεψή του μπορεί να είναι σωστή.
Και εδώ εμφανίζεται ένα από τα πιο παράξενα χαρακτηριστικά ολόκληρης της δημόσιας συζήτησης περί AI doom.
Ο Coxon είχε πρόσβαση σε εσωτερικά συστήματα, evaluations, τεχνικές συζητήσεις και ανθρώπους που το κοινό δεν έχει. Όταν όμως βγήκε δημόσια με έναν ισχυρισμό κυριολεκτικά κοσμοϊστορικού μεγέθους, δεν παρουσίασε αντίστοιχου μεγέθους τεχνικά στοιχεία που να μπορούν να εξεταστούν ανεξάρτητα.
Δεν δημοσίευσε έναν φάκελο που να οδηγεί τον αναγνώστη από το σημερινό Claude στο «ανθρώπινη εξαφάνιση μέχρι το 2030».
Μας έδωσε πρωτίστως το συμπέρασμα.
Όσο η δημόσια συζήτηση περιστρέφεται γύρω από ένα μελλοντικό superintelligence που ίσως αποκτήσει δική του βούληση και αφανίσει την ανθρωπότητα, κινδυνεύουμε να αντιμετωπίζουμε ως δευτερεύον το πολύ πιο απλό γεγονός ότι σημερινά AI συστήματα χρησιμοποιούνται ήδη από ανθρώπους, εταιρείες και κράτη για να αποκτήσουν περισσότερη ισχύ απέναντι σε άλλους ανθρώπους.
Και αυτή η απειλή δεν απαιτεί κανένα «rogue AI».
Αρκεί ένα πολύ καλό εργαλείο στα λάθος χέρια.
Το παράδοξο του insider
Εδώ υπάρχει και μια εξήγηση που κάνει τα πράγματα ακόμη πιο περίπλοκα.
Οι άνθρωποι των frontier labs δεν είναι ελεύθεροι να πάρουν ό,τι βλέπουν στο εσωτερικό της εταιρείας και να το ανεβάσουν στο διαδίκτυο. Η επίσημη πολιτική της Anthropic επιτρέπει στους εργαζομένους να αναφέρουν πιθανές παραβιάσεις του νόμου στις αρμόδιες αρχές και απαγορεύει τα αντίποινα. Ταυτόχρονα όμως τους καλεί, όταν κάνουν εξωτερικές αναφορές, να αποφεύγουν την άσκοπη δημοσιοποίηση εμπιστευτικών πληροφοριών, εμπορικών μυστικών και ιδιόκτητων τεχνικών λεπτομερειών. (Anthropic)
Δεν γνωρίζουμε το συγκεκριμένο συμβόλαιο ή τις ακριβείς ρήτρες του Coxon και δεν πρέπει να εφεύρουμε τι του απαγορεύεται προσωπικά να δημοσιεύσει.
Το γενικό πρόβλημα όμως είναι πραγματικό:
ο insider μπορεί να έχει πρόσβαση στην απόδειξη ακριβώς επειδή είναι insider — και να μην μπορεί να την προσφέρει δημόσια ακριβώς επειδή είναι insider.
Έτσι δημιουργείται μια περίεργη σχέση εμπιστοσύνης.
Ο ειδικός μάς λέει:
«Έχω δει πράγματα που εσείς δεν μπορείτε να δείτε και έχω
καταλήξει ότι ο κίνδυνος είναι τεράστιος.»
Και η κοινωνία πρέπει σε μεγάλο βαθμό να χρησιμοποιήσει την ιδιότητά του ως insider ως υποκατάστατο της πρόσβασης στα ίδια τα στοιχεία.
Αυτό δεν καθιστά την προειδοποίησή του ψευδή.
Την καθιστά όμως δύσκολα ελέγξιμη — και, ακριβώς γι’ αυτό, εξαιρετικά πειστική ως αφήγηση.
Δεν είναι ένας φοβισμένος υπάλληλος
Θα μπορούσαμε να απορρίψουμε τον Coxon ως έναν άνθρωπο που τρόμαξε και έφυγε.
Μόνο που σχεδόν αμέσως τον στήριξαν στελέχη που παρέμειναν μέσα στην Anthropic.
Ο Evan Hubinger, επικεφαλής Alignment Science, δήλωσε δημόσια ότι συμμερίζεται τον βασικό φόβο και τοποθέτησε τη δική του πιθανότητα ανθρώπινης εξαφάνισης από την AI μέσα στην επόμενη δεκαετία πάνω από 10%. Ο Samuel Marks, που εργάζεται στο scalable oversight, υποστήριξε επίσης ότι καταστροφικά σενάρια θα μπορούσαν να εμφανιστούν μέσα στα επόμενα χρόνια.
(Axios)
Και πολύ πριν από αυτούς, ο ίδιος ο CEO της Anthropic, Dario Amodei, είχε εκτιμήσει σε 10%–25% την πιθανότητα κάτι να πάει καταστροφικά στραβά σε κλίμακα ανθρώπινου πολιτισμού. Αργότερα προειδοποίησε επίσης ότι η AI θα μπορούσε να εξαφανίσει έως και τις μισές entry-level white-collar θέσεις εργασίας και να οδηγήσει την ανεργία στο 10%–20% μέσα σε
λίγα χρόνια. (CNN Transcripts)
Αυτή λοιπόν δεν είναι μια τυχαία παρέκκλιση στο messaging της Anthropic.
Είναι κομμάτι της ταυτότητάς της.
Κατασκευάζουμε κάτι εξαιρετικά ισχυρό. Πιστεύουμε ότι μπορεί να γίνει εξαιρετικά επικίνδυνο και πιστεύουμε ότι εμείς το αντιμετωπίζουμε σοβαρότερα από τους ανταγωνιστές μας.
Η ασφάλεια ως ανταγωνιστικό πλεονέκτημα
Σε αυτό το σημείο αξίζει να ακούσουμε την Daniela Amodei, πρόεδρο και συνιδρύτρια της Anthropic.
Δεν έκρυψε ποτέ ότι η ασφάλεια δεν είναι μόνο ηθική θέση. Υποστηρίζει ότι η αγορά θα ανταμείψει το ασφαλές AI: οι επιχειρήσεις, λέει, θέλουν συστήματα αξιόπιστα, προβλέψιμα και λιγότερο πιθανό να προκαλέσουν βλάβες. (WIRED)
Απολύτως λογικό.
Αλλά τότε πρέπει να δεχθούμε και το αντίστροφο:
η εικόνα της Anthropic ως “της εταιρείας που καταλαβαίνει τον κίνδυνο καλύτερα από όλους” αποτελεί περιουσιακό στοιχείο.
Η ασφάλεια είναι brand.
Είναι επιχείρημα προς enterprise πελάτες.
Είναι πλεονέκτημα στην προσέλκυση προσωπικού.
Είναι στοιχείο διαφοροποίησης απέναντι σε OpenAI, Google και τους υπόλοιπους ανταγωνιστές.
Και τελικά είναι και πολιτικό κεφάλαιο.
Δεν υπάρχει τίποτα παράνομο ή κατ’ ανάγκην ανήθικο σε αυτό.
Υπάρχει όμως σύγκρουση συμφερόντων που πρέπει να αναγνωρίζεται κάθε φορά που η εταιρεία μάς εξηγεί πόσο επικίνδυνο είναι το ίδιο της το προϊόν.
Ο φόβος μπαίνει στην Ουάσιγκτον
Εδώ εμφανίζεται ο όρος regulatory capture.
Ο David Sacks, σύμβουλος της αμερικανικής κυβέρνησης για την AI και τα crypto και πολιτικός αντίπαλος της προσέγγισης της Anthropic, κατηγόρησε δημόσια την εταιρεία ότι ακολουθεί μια «sophisticated regulatory capture strategy based on fear-mongering» — μια στρατηγική ρυθμιστικής άλωσης μέσω της καλλιέργειας φόβου. Η επίθεση στρεφόταν μεταξύ άλλων στον Jack Clark, συνιδρυτή και επικεφαλής πολιτικής της Anthropic, ο οποίος είχε γράψει για τον βαθύ φόβο του απέναντι στην πορεία της τεχνολογίας. (Bloomberg)
Η κατηγορία του Sacks δεν πρέπει να υιοθετηθεί επειδή την έκανε ο Sacks.
Ούτε όμως να απορριφθεί επειδή προέρχεται από πολιτικό στρατόπεδο που θέλει λιγότερη ρύθμιση.
Το ουσιαστικό ερώτημα είναι πολύ παλιότερο από την τεχνητή νοημοσύνη:
τι συμβαίνει όταν ο μεγαλύτερος και πλουσιότερος παίκτης μιας αγοράς βοηθά να καθοριστούν οι προϋποθέσεις ασφαλείας για να μπορεί κάποιος να συμμετέχει σε αυτήν;
Ένας αυστηρός κανονισμός μπορεί να προστατεύει πραγματικά το κοινό.
Μπορεί όμως επίσης να απαιτεί τόσο ακριβά evaluations, υποδομές, reporting, security teams και compliance μηχανισμούς ώστε οι μόνοι που μπορούν εύκολα να τον τηρήσουν να είναι οι ήδη πανίσχυρες εταιρείες.
Τα δύο πράγματα μπορούν να συμβαίνουν ταυτόχρονα.
Και τότε η ασφάλεια μετατρέπεται σε τάφρο γύρω από το κάστρο.
Ο πιο αποτελεσματικός φόβος είναι εκείνος που μπορεί να είναι αληθινός
Εδώ βρίσκεται και η αδυναμία της εύκολης κριτικής.
Αν γράψουμε ότι η Anthropic «εφευρίσκει κινδύνους», θα πρέπει να το αποδείξουμε. Δεν μπορούμε. Και πιθανότατα θα χάσουμε την ουσία.
Η πολύ σοβαρότερη εκδοχή είναι αυτή:
η απειλή μπορεί να είναι πραγματική, ο φόβος ειλικρινής και η εμπορική αξιοποίησή τους επίσης πραγματική.
Δεν υπάρχει αντίφαση.
Μια αυτοκινητοβιομηχανία δυσκολεύεται να πουλήσει αυτοκίνητα διαφημίζοντας ότι το προϊόν της μπορεί να εξαφανίσει τον ανθρώπινο πολιτισμό.
Για μια εταιρεία frontier AI, όμως, η φράση:
«Το προϊόν μας είναι τόσο ισχυρό ώστε πρέπει να φοβάστε τι μπορεί να κάνει»
λειτουργεί παράξενα και ως διαφήμιση.
Λέει στον πελάτη ότι αγοράζει την αιχμή της τεχνολογίας. Λέει στον επενδυτή ότι βρίσκεται μπροστά σε μια τεχνολογία
ιστορικής κλίμακας. Λέει στην κυβέρνηση ότι χρειάζεται επειγόντως κανόνες.
Και λέει σε όλους ότι εκείνος που γνωρίζει καλύτερα πώς να κατασκευάσει αυτούς τους κανόνες είναι… ο κατασκευαστής του προϊόντος.
Και μήπως κοιτάζουμε το λάθος τέρας;
Υπάρχει τέλος ένας εντελώς διαφορετικός αντίλογος.
Η ερευνήτρια Timnit Gebru, μια από τις πιο επίμονες επικρίτριες του αφηγήματος περί υπαρξιακού AI doom, υποστηρίζει ότι αυτή η συζήτηση αποσπά την προσοχή από βλάβες που δεν χρειάζεται να περιμένουμε μέχρι το 2030 για να τις δούμε: χρήση AI στον πόλεμο και την επιτήρηση, περιβαλλοντικό κόστος, εργασιακή εκμετάλλευση και πρωτοφανή συγκέντρωση
οικονομικής και πολιτικής ισχύος. (WIRED)
Το επιχείρημά της αξίζει ιδιαίτερη προσοχή.
Όσο η δημόσια συζήτηση περιστρέφεται γύρω από ένα μελλοντικό superintelligence που ίσως αποκτήσει δική του βούληση και αφανίσει την ανθρωπότητα, κινδυνεύουμε να αντιμετωπίζουμε ως δευτερεύον το πολύ πιο απλό γεγονός ότι σημερινά AI συστήματα χρησιμοποιούνται ήδη από ανθρώπους, εταιρείες και κράτη για να αποκτήσουν περισσότερη ισχύ απέναντι σε άλλους ανθρώπους.
Και αυτή η απειλή δεν απαιτεί κανένα «rogue AI».
Αρκεί ένα πολύ καλό εργαλείο στα λάθος χέρια.
Ποιος ελέγχει τον άνθρωπο που φωνάζει «φωτιά»;
Η υπόθεση των πυραύλων στην Υεμένη είναι σοβαρή και πρέπει να ερευνηθεί.
Οι προειδοποιήσεις του Coxon επίσης πρέπει να ακουστούν.
Και η Anthropic έχει κάθε δικαίωμα – ίσως και υποχρέωση – να δημοσιεύει πραγματικές περιπτώσεις κατάχρησης των μοντέλων της.
Αλλά η σοβαρή αντιμετώπιση του κινδύνου απαιτεί ένα ακόμη πράγμα:
να μην επιτρέπουμε στον ίδιο τον κατασκευαστή να αποτελεί ταυτόχρονα τον μοναδικό μετρητή του κινδύνου, τον βασικό αφηγητή του και τον προνομιακό σύμβουλο για τους κανόνες που θα τον αντιμετωπίσουν.
Γιατί τότε δημιουργείται μια εξαιρετικά βολική αλυσίδα:
Η εταιρεία κατασκευάζει ένα πανίσχυρο εργαλείο.
Η εταιρεία ανακαλύπτει πόσο επικίνδυνο είναι.
Η εταιρεία επιλέγει τις πιο εντυπωσιακές περιπτώσεις για να
μας δείξει τον κίνδυνο.
Οι άνθρωποι της εταιρείας μάς προειδοποιούν ότι τα πράγματα
είναι ακόμη χειρότερα απ’ όσα μπορούν να μας αποκαλύψουν.
Και τελικά η ίδια εταιρεία ζητά μεγαλύτερο λόγο στο πώς
πρέπει να ελεγχθεί η τεχνολογία.
Μπορεί όλα τα επιμέρους γεγονότα να είναι αληθινά και το συνολικό σύστημα κινήτρων να παραμένει προβληματικό.
Αυτό είναι το σημείο που πρέπει να συζητήσουμε.
Όχι αν η Anthropic «φοβάται στ’ αλήθεια».
Πιθανότατα φοβάται.
Το ερώτημα είναι τι συμβαίνει όταν ο φόβος γίνεται ταυτόχρονα εταιρική ταυτότητα, απόδειξη τεχνολογικής υπεροχής, εμπορικό πλεονέκτημα και επιχείρημα για ρυθμιστική επιρροή.
Γιατί η βιομηχανία που πουλά το ισχυρότερο εργαλείο του κόσμου ανακάλυψε κάτι ακόμη πιο πολύτιμο:
μπορεί να πουλάει και τον φόβο του εργαλείου.
Και όταν εκείνος που φωνάζει «φωτιά» είναι ταυτόχρονα αυτός που κατασκευάζει τον φούρνο, μετρά τη θερμοκρασία και πουλά τον πυροσβεστήρα, το ελάχιστο που δικαιούται να απαιτεί η κοινωνία είναι ένα πράγμα:
να κρατά το θερμόμετρο κάποιος άλλος.
