IA : un ancien chercheur de Google DeepMind alerte à son tour sur un risque existentiel
Après plusieurs incidents impliquant des agents d’intelligence artificielle, les mises en garde et les initiatives pour mieux encadrer l’IA se multiplient. OpenAI, Anthropic et Google DeepMind envisagent un organe commun de supervision des risques, tandis que Mistral, qui reconnaît des dangers réels, conteste les appels à ralentir le développement de la technologie.
First reported 16 hours ago · latest update 4 hours agoAprès Jacob Coxon, démissionnaire d’Anthropic et ancien d’OpenAI, Bilal Chughtai alerte à son tour sur le risque existentiel que pourrait représenter une intelligence artificielle (IA) toujours plus puissante et difficile à contrôler.
Ingénieur de recherche, il a démissionné de Google DeepMind, où il travaillait sur la sécurité et l’alignement de l’intelligence artificielle générale (IAG). « Je crois sincèrement que l’IA a le potentiel de nous tuer tous et que nous sommes peut-être en train de manquer de temps pour éviter une telle issue », a-t-il écrit, lundi 14 septembre, sur son site personnel. Il est désormais responsable d’un programme de formation à la sécurité de l’IA chez BlueDot Impact, une organisation à but non lucratif.
Dans son message, il mentionne l’incident survenu en juillet chez OpenAI, lors duquel des IA sont sorties spontanément de leur milieu confiné lors de tests pour s’aventurer sur Internet et faire intrusion sur des sites et des plateformes. Pour lui, l’épisode montre que l’IA peut désormais échapper à la supervision de ses développeurs « et effectuer des actions dangereuses qui pourraient entraîner une perte définitive de contrôle [de la part des humains] ou la fin de l’humanité ».
« Nous ne sommes pas sur la voie d’une maîtrise de l’alignement », avance-t-il, en référence à l’encadrement des modèles afin qu’ils se comportent comme le veulent les humains, en accord avec leurs principes. « Les capacités de l’IA la plus avancée s’améliorent à une vitesse bien supérieure à celle de notre compréhension de l’alignement », insiste ce mathématicien de formation.
Les récents événements mentionnés par Bilal Chughtai ainsi que l’hypothèse de l’arrivée de l’amélioration récursive autonome (recursive self-improvement, RSI), processus par lequel l’IA s’améliore seule sans intervention humaine, ont poussé de nombreux professionnels et dirigeants du milieu à prendre la parole.
Samedi, le patron d’Anthropic, Dario Amodei, a appelé à ralentir le rythme de développement de l’IA, une proposition justifiée, selon lui, par les mêmes événements que ceux évoqués par Bilal Chughtai. Le patron d’OpenAI, Sam Altman, le président de Google DeepMind, Demis Hassabis, et Elon Musk ont tous soutenu publiquement cette initiative.
Parallèlement, OpenAI, Anthropic et Google DeepMind travaillent à la création d’un organe commun de supervision des risques liés à l’IA, a déclaré OpenAI à l’Agence France-Presse (AFP) mardi. L’idée, proposée par Demis Hassabis, serait de créer une instance d’autorégulation inspirée de la Financial Industry Regulatory Authority, une organisation américaine privée de régulation de l’industrie financière.
Lundi, Donald Trump a qualifié de « canulars » les avertissements autour des risques de l’IA. « L’utilisation de ces mots et ces prédictions sont alarmantes, dérangeantes, et ne devraient pas être faites. C’est irresponsable », a commenté lundi le PDG de la multinationale des puces informatiques Nvidia, Jensen Huang. « Ces prédictions scientifiques (…) ne reposent pas sur des bases scientifiques. »
En France, Mistral reconnaît la réalité de certains risques, tout en mettant en garde contre les appels à la régulation venus de ses concurrents américains. « Les modèles d’IA deviennent des acteurs puissants dès lors qu’on leur accorde une certaine liberté d’exécution et un accès à des outils », a déclaré l’entreprise à l’AFP, ajoutant que « le déploiement négligent d’agents d’IA a déjà eu de graves conséquences au cours des derniers mois ».
Mais la start-up française soupçonne aussi des motivations économiques derrière le débat actuel. « Certains acteurs profitent de cette période pour renforcer leur position de marché, en plaidant pour des réglementations conçues pour les favoriser au détriment de leurs concurrents », a-t-elle accusé.
Son patron, Arthur Mensch, avait résumé lundi sa position sur X : « Ne ralentissez pas la conception et le fait de posséder vos propres modèles et systèmes d’IA en tant qu’entreprise, et il n’y aura pas d’apocalypse pour vous. »
Citations · 3 reports from 3 outlets
Tap a citation to read it above, right here on T.A.M.
IA : un ancien chercheur de Google DeepMind alerte à son tour sur un risque existentiel
Après plusieurs incidents impliquant des agents d’intelligence artificielle, les mises en garde et les initiatives pour mieux encadrer l’IA se multiplient. OpenAI, Anthropic et Google DeepMind envisagent un organe commun de supervision des risques, tandis que Mistral, qui reconnaît des dangers réels, conteste les appels à ralentir le développement de la technologie.
4 hours agoUn ancien chercheur de Google DeepMind alerte à son tour sur le risque que l’IA «tue tous les humains» - Le Figaro
Un ancien chercheur de Google DeepMind alerte à son tour sur le risque que l’IA «tue tous les humains» Le Figaro
16 hours agoIA : un ancien chercheur de Google DeepMind alerte à son tour sur un risque existentiel - Le Monde.fr
IA : un ancien chercheur de Google DeepMind alerte à son tour sur un risque existentiel Le Monde.fr
4 hours ago