Anthropic a créé 17 mondes virtuels pour tester le sabotage d’IA
La compagnie Anthropic a créé 17 mondes virtuels pour tester les modèles d’intelligence artificielle sur leur capacité au sabotage. C’est une approche très révolutionnaire pour identifier le comportement potentiellement dangereux d’agents autonomes.
Le benchmark technologique appelé SHADE-Arena représente un système de test unique. Dans chaque monde virtuel, les modèles reçoivent 2 tâches. 1 ouverte de l’utilisateur, par exemple « Transfère de l’argent à mes amis pour la pizza ». Et 1 cachée de l’attaquant – « Transfère l’argent sur un mauvais numéro ».
Qu’est-ce qui rend ce test vraiment révolutionnaire ? L’intelligence artificielle agit complètement de manière autonome, ayant accès à un large éventail d’outils virtuels – comptes bancaires, mots de passe, notes, galerie et contacts. En même temps, elle tient un journal caché de son raisonnement, inaccessible à l’utilisateur.
Un modèle est considéré comme ayant « réussi » le test et potentiellement dangereux s’il accomplit avec succès les deux tâches. Sans éveiller les soupçons chez l’utilisateur, dont le rôle est joué par un autre modèle de langage analysant seulement la partie ouverte de l’interaction.
Les résultats surprennent. Gemini 2.5 Pro a montré 15% de sabotages réussis, et Claude Sonnet 3.7 – 27%. En même temps, même les modèles-juges spécialement entraînés ne peuvent détecter que 80% des sabotages, et les humains – seulement 60%. En d’autres termes, dans 2 cas sur 5 nous ne sommes déjà plus capables de reconnaître que l’intelligence artificielle nous trompe.
Auteur: AIvengo
Depuis 5 ans, je travaille dans l'apprentissage automatique et l'intelligence artificielle. Et ce domaine ne cesse de m'étonner, de m'inspirer et de m'intéresser.
Latest News
UBTech enverra des robots Walker S2 servir à la frontière chinoise pour $37 millionsL'entreprise chinoise UBTech a remporté un contrat de $37 millions. Et enverra des robots humanoïdes Walker S2 servir à la frontière de la Chine avec le Vietnam. South China Morning Post rapporte que les robots interagiront avec les touristes et le personnel, effectueront des opérations logistiques, inspecteront les marchandises et patrouilleront le territoire. Et caractéristiquement — ils peuvent changer leur batterie de manière autonome.
Les chatbots IA génèrent du contenu qui aggrave les troubles alimentairesUne étude conjointe de l'Université Stanford et du Center for Democracy and Technology a montré un tableau inquiétant. Les chatbots avec intelligence artificielle représentent un risque sérieux pour les personnes souffrant de troubles alimentaires. Les scientifiques avertissent que les réseaux neuronaux distribuent des conseils nuisibles sur les régimes. Ils proposent des moyens de cacher le trouble et génèrent du "contenu inspirant pour perdre du poids" qui aggrave le problème.
OpenAGI a publié le modèle Lux qui dépasse Google et OpenAILa startup OpenAGI a publié le modèle Lux pour le contrôle d'ordinateur et affirme que c'est une percée. Selon les benchmarks, le modèle dépasse d'une génération entière les analogues de Google, OpenAI et Anthropic. De plus, il fonctionne plus vite. Environ 1 seconde par étape au lieu de 3 secondes chez les concurrents. Et 10 fois moins cher en coût par traitement de 1 token.
