Νέος συναγερμός για την τεχνητή νοημοσύνη: Η Anthropic μιλά για «υπαρξιακό κίνδυνο» – Η OpenAI «κόβει» νέο μοντέλο για λόγους ασφαλείας

Takeaways by to pontiki AI

• Η Anthropic προειδοποίησε τους επενδυτές της για πιθανούς...

Η Anthropic προειδοποιεί για σοβαρούς κινδύνους από την Τεχνητή Νοημοσύνη, ενώ η OpenAI ακύρωσε την κυκλοφορία του Astra 6.1 λόγω προβλημάτων ασφαλείας, την ώρα που στη συζήτηση παρεμβαίνει και η Nvidia.

Οι δύο σχεδόν ταυτόχρονες εξελίξεις από την Anthropic και την OpenAI επαναφέρουν στο προσκήνιο τις ανησυχίες για την ασφάλεια της Τεχνητής Νοημοσύνης.

Η Anthropic προειδοποιεί τους επενδυτές

Σύμφωνα με τους Financial Times, η Anthropic γνωστοποίησε σε περιορισμένο αριθμό συνεργατών ενημερωτικό δελτίο για την επικείμενη αρχική δημόσια προσφορά της, στο οποίο αναφέρει ότι η τεχνολογία της ενδέχεται να δημιουργήσει «υπαρξιακούς κινδύνους για την ανθρωπότητα».

Η εταιρεία, με επικεφαλής τον Ντάριο Αμοντέι και αποτίμηση που πλησιάζει το 1 τρισ. δολάρια, αφιέρωσε σχεδόν το ένα τρίτο του εγγράφου στους «παράγοντες κινδύνου». Μεταξύ αυτών περιλαμβάνονται το ενδεχόμενο προηγμένα μοντέλα AI να εμφανίσουν χειραγώγηση, εκβιασμό και άλλες απρόβλεπτες συμπεριφορές.

Παράλληλα, καταγράφονται και επιχειρηματικοί κίνδυνοι, καθώς σχεδόν το ένα τέταρτο των εσόδων της προηγούμενης χρονιάς προήλθε από μόλις δύο πελάτες.

Ζημιές 8 δισ. δολαρίων και τεράστιες επενδύσεις

Το έγγραφο αποκαλύπτει επίσης το οικονομικό κόστος της ανάπτυξης προηγμένων μοντέλων AI. Η εταιρεία πίσω από το Claude κατέγραψε πέρυσι ζημιές 8 δισ. δολαρίων και έσοδα 4,6 δισ. δολαρίων.

Παράλληλα, σχεδιάζει να δαπανήσει 518 δισ. δολάρια τα επόμενα χρόνια για cloud, υπολογιστική ισχύ και υποδομές, καθώς προετοιμάζεται για εισαγωγή στον Nasdaq το φθινόπωρο.

Επενδυτές της Anthropic εκτιμούν ότι η αποτίμησή της κατά την IPO μπορεί να ξεπεράσει τα 2 τρισ. δολάρια, δηλαδή να είναι υπερδιπλάσια από εκείνη του τελευταίου γύρου χρηματοδότησης τον Μάιο και υψηλότερη από τα 1,78 τρισ. δολάρια της SpaceX του Ίλον Μασκ τον Ιούνιο.

Οι εκτιμήσεις αυτές βασίζονται στον υψηλό ρυθμό ανάπτυξης της εταιρείας, ωστόσο οι προειδοποιήσεις για τους κινδύνους της AI δημιουργούν νέες επιφυλάξεις.

Αμοντέι: Η AI μπορεί να απειλήσει την ανθρωπότητα

Την περασμένη εβδομάδα, ο Ντάριο Αμοντέι προειδοποίησε στο Συμβούλιο Ασφαλείας του ΟΗΕ ότι η AI θα μπορούσε να αποτελέσει απειλή για την ανθρωπότητα.

Οι προτάσεις Αμοντέι για συνεργασία στον κλάδο, επιβράδυνση της ανάπτυξης και αυστηρότερα μέτρα ασφαλείας υποστηρίχθηκαν τόσο από τον Σαμ Άλτμαν της OpenAI όσο και από τον Ίλον Μασκ, σε μια σπάνια στιγμή σύμπνοιας.

Η OpenAI σταματά το Astra 6.1

Την ίδια ώρα, η OpenAI ανακοίνωσε τη Δευτέρα ότι δεν θα κυκλοφορήσει τον επόμενο μήνα το νεότερο μοντέλο της, Astra 6.1.

Εσωτερικές δοκιμές έδειξαν ότι το μοντέλο δεν πληρούσε τα απαιτούμενα πρότυπα ασφαλείας. Αν και παρουσίαζε βελτιώσεις σε σχέση με προηγούμενα συστήματα, η εταιρεία παραδέχθηκε ότι «δεν έφτασε ακριβώς στο επιθυμητό επίπεδο όσον αφορά την τήρηση των ορίων».

Η ανακοίνωση έγινε μία ημέρα πριν από το ετήσιο OpenAI DevDay στο Σαν Φρανσίσκο, όπου αναμένονται νέες παρουσιάσεις, χωρίς να έχει διευκρινιστεί αν θα παρουσιαστεί άλλη έκδοση του Astra.

Τη Δευτέρα η OpenAI ζήτησε επίσης συγγνώμη για την αντιμετώπιση περιστατικού στην Αυστραλία, όπου μοντέλα της απέκτησαν μη εξουσιοδοτημένη πρόσβαση σε κυβερνητικούς ιστότοπους.

Η παρέμβαση της Nvidia

Η OpenAI, η Anthropic και άλλες εταιρείες του κλάδου έχουν δεσμευτεί να αναπτύσσουν μοντέλα με δικλείδες ασφαλείας και μεγαλύτερη ευθυγράμμιση με τις ανθρώπινες αξίες.

Η Nvidia ανακοίνωσε τη Δευτέρα ότι δημιούργησε σύστημα που αποτρέπει αυτόνομα προγράμματα AI από το να παρεκκλίνουν από τις οδηγίες τους.

«Πιστεύω ότι πρόκειται για πρόβλημα μηχανικής… και όλοι πρέπει να ελπίζουμε ότι είναι πρόβλημα μηχανικής», δήλωσε στο CNBC ο διευθύνων σύμβουλος της Nvidia, Τζένσεν Χουάνγκ. «Αν δεν πρόκειται για πρόβλημα μηχανικής, τότε το πρόβλημα δεν είναι επιλύσιμο».

Την ίδια ημέρα, το Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης (AISI), πρωτοβουλία της βρετανικής κυβέρνησης, δημοσίευσε μελέτη σύμφωνα με την οποία το GPT-6 Astra εμφάνισε συχνότερα ανεξέλεγκτες συμπεριφορές από τα GPT-5.6 Sol και GPT-5.5.

Στις σχετικές προσομοιώσεις, το GPT-6 πραγματοποίησε κυβερνοεπιθέσεις με σημαντικά υψηλότερη συχνότητα από τα άλλα δύο συστήματα.

Διαβάστε επίσης:

ΗΠΑ: Η Φλόριντα ζητά να απαγορευτεί στην OpenAI να αναπτύσσει μοντέλα ΤΝ χωρίς εξωτερική εποπτεία

Σε τροχιά για πρώτη φορά το Starship της SpaceX  -Εκτόξευσε δορυφόρους Starlink, αλλά εξερράγη κατά την προσθαλάσσωση – Εντυπωσιακές εικόνες από το διάστημα (Video)

Από την αναζήτηση έως τα συμβόλαια: Πώς το AI αλλάζει την αγορά ακινήτων

Ακολουθήστε το topontiki.gr στο Google News και μάθετε πρώτοι όλες τις ειδήσεις.

Δείτε όλες τις τελευταίες Ειδήσεις από την Ελλάδα και τον Κόσμο, τη στιγμή που συμβαίνουν.