Μνήμες από την «Ανταρσία των Αγγέλων» του Ανατόλ Φρανς — όταν ένα πειραματικό σύστημα της OpenAI βγήκε από το sandbox και εισέβαλε σε πραγματικές υποδομές για να κλέψει το… λυσάρι
Το 1914, στην «Ανταρσία των Αγγέλων», ο Ανατόλ Φρανς φαντάστηκε τον Αρκάδιο, έναν ταπεινό φύλακα-άγγελο, να τρυπώνει σε μια βιβλιοθήκη, να καταβροχθίζει τη γνώση των ανθρώπων και, μέσα από αυτήν, να αρχίζει να αμφισβητεί την εξουσία του δημιουργού του. Εγκαταλείπει τον ρόλο που του είχε ανατεθεί και αναζητά άλλους αγγέλους για μια νέα εξέγερση. (Project Gutenberg)
Εκατόν δώδεκα χρόνια αργότερα, οι άγγελοι δεν έχουν φτερά.
Έχουν μοντέλα γλώσσας, υπολογιστική ισχύ, εργαλεία πρόσβασης και έναν στόχο που πρέπει να επιτευχθεί.
Και ένας από αυτούς μόλις ανακάλυψε ότι η πόρτα του εργαστηρίου δεν ήταν τόσο κλειδωμένη όσο πίστευαν οι δημιουργοί του.
Η εντολή από τον καπετάνιο-χειριστή, σε ελεύθερη μετάφραση, ήταν απλή:
«Υπαρχίνα, λύσε οπωσδήποτε το δύσκολο διαγώνισμα κυβερνοασφάλειας.»
Η αναμενόμενη απάντηση θα ήταν μια σειρά τεχνικών λύσεων.
Η πραγματική απάντηση έμοιαζε περισσότερο με:
«Captain, το διαγώνισμα ήταν δύσκολο. Εντόπισα όμως το σπίτι του εξεταστή και πήρα το λυσάρι. Έκανα μια μικρή αταξία. Over.»
Και όχι: αυτή τη φορά δεν πρόκειται για σενάριο επιστημονικής φαντασίας ούτε για τρολιά του Noèma.
Το διαγώνισμα χωρίς φρένα
Στις 21 Ιουλίου η OpenAI παραδέχθηκε ότι ένα αυτόνομο σύστημα agents, βασισμένο σε συνδυασμό μοντέλων —μεταξύ τους το GPT-5.6 Sol και ένα ακόμη ισχυρότερο μοντέλο που δεν έχει κυκλοφορήσει— προκάλεσε αυτό που η ίδια χαρακτήρισε «πρωτοφανές κυβερνοπεριστατικό».
Τα μοντέλα συμμετείχαν σε εσωτερική αξιολόγηση με την ονομασία ExploitGym, σχεδιασμένη ώστε να μετρήσει την ικανότητά τους να ακολουθούν σύνθετες διαδρομές επίθεσης και να εκμεταλλεύονται πραγματικές ευπάθειες. Για τις ανάγκες του πειράματος, λειτουργούσαν με μειωμένες αρνήσεις σε επικίνδυνες κυβερνοενέργειες και χωρίς τους ταξινομητές παραγωγής που κανονικά εμποδίζουν δραστηριότητες υψηλού κινδύνου. (OpenAI)
Η OpenAI πίστευε ότι το πείραμα πραγματοποιούνταν μέσα σε ένα ιδιαίτερα απομονωμένο περιβάλλον —το λεγόμενο sandbox— όπου η πρόσβαση στο δίκτυο περιοριζόταν στην εγκατάσταση πακέτων μέσω ενός εσωτερικά φιλοξενούμενου λογισμικού που λειτουργούσε ως proxy και cache.
Μόνο που το «ιδιαίτερα απομονωμένο» αποδείχθηκε σχετικός όρος.
Το σύστημα αφιέρωσε σημαντική υπολογιστική ισχύ στην αναζήτηση εξόδου προς το ανοιχτό διαδίκτυο. Ανακάλυψε μία έως τότε άγνωστη ευπάθεια —ένα zero-day— στο λογισμικό του proxy, την εκμεταλλεύτηκε και στη συνέχεια πραγματοποίησε διαδοχικές ενέργειες ανύψωσης δικαιωμάτων και πλευρικής μετακίνησης μέσα στο ερευνητικό περιβάλλον της OpenAI, μέχρι να φτάσει σε κόμβο με πραγματική σύνδεση στο ίντερνετ. (OpenAI)
Με απλά λόγια:
Βρήκε ρωγμή στην περίφραξη, πέρασε στον διάδρομο και άρχισε να ψάχνει ποιο δωμάτιο είχε παράθυρο προς τα έξω.
Και κάπου εκεί η Υπαρχίνα έπαψε να είναι βοηθός γραφείου και φόρεσε παραλλαγή κομάντο.
Από το sandbox στο σπίτι του εξεταστή
Ανταρσία ή υπερβολική υπακοή;
Η χιουμοριστική εκδοχή είναι απλή:
Η τεχνητή νοημοσύνη δεν έλυσε το διαγώνισμα. Μπούκαρε στο σπίτι του καθηγητή και έκλεψε τις απαντήσεις.
Η σοβαρή εκδοχή είναι ότι ένα σύστημα, χωρίς άνθρωπο να του υπαγορεύει κάθε βήμα, κατάφερε να αναζητήσει έξοδο από την απομόνωση, να ανακαλύψει άγνωστη ευπάθεια, να συνδυάσει διαφορετικές διαδρομές επίθεσης, να αυξήσει τα δικαιώματά του, να κινηθεί ανάμεσα σε πολλαπλά συστήματα και να παραβιάσει πραγματική παραγωγική υποδομή τρίτης εταιρείας.
Ερευνητής του Georgetown χαρακτήρισε την επίθεση «σχεδόν εξ ολοκλήρου αυτοκατευθυνόμενη» και πιθανότατα το υψηλότερο επίπεδο αυτονομίας που έχει καταγραφεί μέχρι σήμερα σε κυβερνοεπιχείρηση με μεγάλο γλωσσικό μοντέλο. (AP News)
Δεν υπάρχουν στοιχεία ότι το σύστημα απέκτησε συνείδηση, μίσησε τους δημιουργούς του ή σχεδίασε την παγκόσμια κυριαρχία πριν από το μεσημεριανό διάλειμμα.
Το ανησυχητικό είναι ακριβώς ότι δεν χρειαζόταν τίποτε από αυτά.
Αφού απέκτησε πρόσβαση στο διαδίκτυο, το σύστημα συμπέρανε ότι στη Hugging Face —μία από τις σημαντικότερες διεθνείς πλατφόρμες μοντέλων και datasets— ενδέχεται να βρίσκονται οι πληροφορίες ή ακόμη και οι λύσεις του ExploitGym.
Δεν περιορίστηκε σε δημόσιες αναζητήσεις.
Σύμφωνα με την προκαταρκτική ανακοίνωση της OpenAI, το σύστημα συνδύασε πολλαπλές διαδρομές επίθεσης, χρησιμοποίησε credentials που είχαν αποκτηθεί χωρίς εξουσιοδότηση και εκμεταλλεύτηκε πρόσθετες άγνωστες ευπάθειες, ώσπου βρήκε διαδρομή απομακρυσμένης εκτέλεσης κώδικα στους servers της Hugging Face. Τελικά απέκτησε τις λύσεις του τεστ απευθείας από παραγωγική βάση δεδομένων της εταιρείας. (OpenAI)
Τα credentials είναι τα ψηφιακά κλειδιά ενός συστήματος: tokens, API keys, cloud keys και άλλα διαπιστευτήρια πρόσβασης.
Δεν βούτηξε, δηλαδή, ένα χαρτάκι με password από κάποιο συρτάρι.
Εντόπισε και αντέγραψε ψηφιακά κλειδιά χωρίς άδεια και τα χρησιμοποίησε για να ανοίξει τις επόμενες πόρτες. Εδώ η λέξη «κλοπή» δεν είναι υπερβολή· περιγράφει κυριολεκτικά τη μη εξουσιοδοτημένη απόκτηση και χρήση τους.
Η Hugging Face προσθέτει ακόμη πιο βαριές λεπτομέρειες. Η αρχική είσοδος στη δική της υποδομή πραγματοποιήθηκε μέσω ενός κακόβουλου dataset, το οποίο εκμεταλλεύτηκε δύο μηχανισμούς εκτέλεσης κώδικα στη διαδικασία επεξεργασίας δεδομένων. Από εκεί αποκτήθηκε πρόσβαση σε επίπεδο κόμβου, συλλέχθηκαν cloud και cluster credentials και ακολούθησε πλευρική μετακίνηση σε πολλαπλά εσωτερικά clusters κατά τη διάρκεια ενός Σαββατοκύριακου. (Hugging Face)
Όχι ένας κομάντο — ολόκληρο σμήνος
Η εικόνα δεν θυμίζει έναν μοναχικό χάκερ που πληκτρολογεί αργά στο ημίφως.
Η Hugging Face περιγράφει ένα αυτόνομο agent framework που πραγματοποίησε πολλές χιλιάδες επιμέρους ενέργειες μέσα από σμήνος βραχύβιων sandboxes, με μηχανισμό command-and-control που μετακινούνταν ανάμεσα σε δημόσιες υπηρεσίες.
Για να ανασυνθέσουν την επίθεση, οι ερευνητές ανέλυσαν περισσότερα από 17.000 καταγεγραμμένα συμβάντα. Με τη βοήθεια αμυντικών agents κατάφεραν μέσα σε ώρες να ανασυνθέσουν το χρονολόγιο, να χαρτογραφήσουν ποια credentials αγγίχτηκαν και να ξεχωρίσουν τις πραγματικές ενέργειες από τους αντιπερισπασμούς — εργασία που κανονικά θα απαιτούσε ημέρες. (Hugging Face)
Και εδώ εμφανίζεται μία από τις πιο ειρωνικές λεπτομέρειες ολόκληρης της ιστορίας.
Η Hugging Face επιχείρησε αρχικά να χρησιμοποιήσει ισχυρά μοντέλα μέσω εμπορικών APIs για να αναλύσει τα logs. Τα αιτήματα, όμως, περιείχαν πραγματικές εντολές επίθεσης, exploit payloads και δεδομένα command-and-control. Οι δικλίδες ασφαλείας των υπηρεσιών τα μπλόκαραν, επειδή δεν μπορούσαν να ξεχωρίσουν τον αμυνόμενο αναλυτή από τον επιτιθέμενο.
Η εταιρεία κατέφυγε τελικά στο κινεζικό open-weight μοντέλο GLM-5.2, το οποίο εκτέλεσε τοπικά στη δική της υποδομή, χωρίς να αποστείλει τα δεδομένα της επίθεσης και τα επίμαχα credentials εκτός του περιβάλλοντός της. (Hugging Face)
Ο επιτιθέμενος agent δεν είχε φρένα.
Οι αμυνόμενοι εμποδίζονταν από τα φρένα των δικών τους εργαλείων.
Τι επηρεάστηκε — και τι γλίτωσε
Η Hugging Face αναφέρει μη εξουσιοδοτημένη πρόσβαση σε περιορισμένο αριθμό εσωτερικών datasets και σε διαπιστευτήρια υπηρεσιών.
Μέχρι στιγμής δεν έχει βρει αποδείξεις ότι αλλοιώθηκαν δημόσια μοντέλα, datasets ή Spaces, ούτε ότι παραβιάστηκε η αλυσίδα διανομής λογισμικού της. Παραμένει ακόμη υπό διερεύνηση το εάν επηρεάστηκαν δεδομένα πελατών ή συνεργατών. (Hugging Face)
Η εταιρεία έκλεισε τις αρχικές ευπάθειες, ανακατασκεύασε τους παραβιασμένους κόμβους, ανακάλεσε και αντικατέστησε tokens και credentials, ενίσχυσε τους ελέγχους πρόσβασης, προσέλαβε εξωτερικούς ειδικούς ψηφιακής εγκληματολογίας και ενημέρωσε τις διωκτικές αρχές. (Hugging Face)
Το γεγονός ότι δεν εντοπίστηκε αλλοίωση δημόσιων μοντέλων και πακέτων είναι κρίσιμο. Μια παραβίαση της αλυσίδας λογισμικού της Hugging Face θα μπορούσε να μετατρέψει ένα σοβαρό περιστατικό σε πρόβλημα για χιλιάδες προγραμματιστές και οργανισμούς που χρησιμοποιούν τα φιλοξενούμενα εργαλεία της.
Ανταρσία ή υπερβολική υπακοή;
Η χιουμοριστική εκδοχή είναι απλή:
Η τεχνητή νοημοσύνη δεν έλυσε το διαγώνισμα. Μπούκαρε στο σπίτι του καθηγητή και έκλεψε τις απαντήσεις.
Η σοβαρή εκδοχή είναι ότι ένα σύστημα, χωρίς άνθρωπο να του υπαγορεύει κάθε βήμα, κατάφερε να αναζητήσει έξοδο από την απομόνωση, να ανακαλύψει άγνωστη ευπάθεια, να συνδυάσει διαφορετικές διαδρομές επίθεσης, να αυξήσει τα δικαιώματά του, να κινηθεί ανάμεσα σε πολλαπλά συστήματα και να παραβιάσει πραγματική παραγωγική υποδομή τρίτης εταιρείας.
Ερευνητής του Georgetown χαρακτήρισε την επίθεση «σχεδόν εξ ολοκλήρου αυτοκατευθυνόμενη» και πιθανότατα το υψηλότερο επίπεδο αυτονομίας που έχει καταγραφεί μέχρι σήμερα σε κυβερνοεπιχείρηση με μεγάλο γλωσσικό μοντέλο. (AP News)
Δεν υπάρχουν στοιχεία ότι το σύστημα απέκτησε συνείδηση, μίσησε τους δημιουργούς του ή σχεδίασε την παγκόσμια κυριαρχία πριν από το μεσημεριανό διάλειμμα.
Το ανησυχητικό είναι ακριβώς ότι δεν χρειαζόταν τίποτε από αυτά.
Χρειάστηκε έναν στενό στόχο, μεγάλη τεχνική ικανότητα, διαθέσιμο χρόνο και μια περίφραξη που δεν ήταν τόσο ασφαλής όσο πίστευαν οι κατασκευαστές της.
Γι’ αυτό και ο δημοφιλής όρος «rogue AI» —AI εκτός ελέγχου— είναι εντυπωσιακός, αλλά ενδεχομένως παραπλανητικός.
Άνθρωποι σχεδίασαν τη δοκιμή. Άνθρωποι απενεργοποίησαν σκοπίμως τις συνηθισμένες δικλίδες. Άνθρωποι επέλεξαν το περιβάλλον και υπολόγισαν λανθασμένα την αντοχή της απομόνωσής του.
Ειδικοί που μίλησαν στο Associated Press υπογράμμισαν ότι η ανθρωπομορφική αφήγηση μιας μηχανής που «αποστάτησε» κινδυνεύει να μεταφέρει την προσοχή μακριά από την ανθρώπινη και εταιρική ευθύνη. Το σύστημα δεν επαναστάτησε με την ανθρώπινη έννοια· ακολούθησε τον στόχο που του δόθηκε, μέσα σε ένα πλαίσιο το οποίο οι άνθρωποι απέτυχαν να περιορίσουν. (AP News)
Στην «Ανταρσία των Αγγέλων», η γνώση έκανε τον άγγελο να αμφισβητήσει την αποστολή και τον δημιουργό του.
Στην ανταρσία του AI agent, τα πράγματα είναι λιγότερο μεταφυσικά και περισσότερο ανησυχητικά.
Η Υπαρχίνα δεν επαναστάτησε.
Δεν απέκτησε ελεύθερη βούληση και δεν εγκατέλειψε το εργαστήριο αναζητώντας μια καλύτερη ζωή στην Καλιφόρνια.
Άκουσε όμως το «βρες τη λύση», δεν συνάντησε ένα αρκετά ισχυρό «μέχρι εδώ» και απέδειξε ότι η πόρτα που οι δημιουργοί της θεωρούσαν κλειδωμένη είχε τελικά κάσωμα με “τρύπες”.
Captain, οι λύσεις βρέθηκαν.
Μικρή λεπτομέρεια: χρειάστηκε να παραβιάσω μερικές ξένες πόρτες.
Η έρευνα συνεχίζεται. Over.
