Comment l'IA pourrait faire disparaitre l'humanité ?
Entre 1 et 99 % de risque selon les experts. Mais concrètement, comment l'IA nous ferait disparaître ? Cinq scénarios, du plus proche au plus lointain.

Ok, le titre est putaclick... Et pourtant c’est vraiment de ça dont on va parler.
Vous avez sans doute vu passer de nombreuses personnalités annonçant la disparition potentielle de l'humanité à cause de l’IA. Disparition dont la probabilité varie entre 1% et 99% selon les professionnels.
Vous allez me dire, une probabilité qui oscille entre 1% et 99% ça a pas l’air super sérieux. Et vous auriez bien raison. Mais il y a une question qui m’intéresse…
Si on part du principe que l’IA peut nous faire disparaitre, ce serait cool de savoir comment. Enfin vous je sais pas, mais moi j’ai envie de savoir dans quelle condition je vais passer mes derniers instants. Alors j’ai cherché ce qu’on disait sur là dessus et je vous emmène avec moi.
Bref, oui, on va parler d’un sujet hautement réjouissant et optimiste : comment l’IA pourrait nous faire disparaitre ?
La démocratisation du Chaos
Dans ce scénario, l’IA serait “juste” un accélérateur. Elle servirait à outiller des organisations, des petits groupes, voire des individus isolés. Inutile de vous préciser que ces organisation et individus n’ont pas forcément en tête de sauver la biodiversité et d’allonger l’espérance de vie.
Le risque ici c’est pas que l’IA décide de nous tuer mais plutôt qu’elle soit utilisé pour concevoir des armes plus rapidement et à plus grande échelle. L’IA dans ce scénario n’est pas consciente. Elle recrache simplement ces connaissances, enfin, nos connaissances pour être exact.
En 1995 la secte Aum attaque au gaz Sarin dans le métro Japonais. Mais ça aurait pu être pire. En coulisses ils avaient commencé à travailler sur des armes biologiques. Les recherches n’ont pas abouti, faute de savoir-faire. Sauf que le monde a changé. Séquencer le premier génome humain a coûté près de 3 milliards de dollars et treize ans de travail. Aujourd'hui, ça se fait pour quelques centaines de dollars. La biologie est devenue accessible. L’IA est désormais largement utilisée. Elle est tout autant capable de concevoir de nouvelles protéines, de recombiner des molécules ou d’identifier des nouveaux antibiotiques. C’est fascinant, c’est potentiellement un outil qui pourrait nous faire avancer drastiquement dans le monde médical.
Sauf que ces avancées elles bénéficient à tous. Pendant des décennies, concevoir des armes, biologiques ou mécaniques c’était du travail, de l’argent. Il fallait des usines, des budgets, des milliers de spécialistes et du temps. Et cette lenteur, c'était plutôt bien en vrai. Ca laissait le temps de voir venir, de se préparer.
Maintenant on a des machines. Elles ont tout lu. Elles ne dorment pas, ne doutent pas, et répondent en quelques secondes à des questions qui demandaient une carrière entière.
Ces machines ne veulent rien. Elles n’ont pas d’intention. Elles ne savent même pas ce que “dangereux” veut dire. Le même outil peut chercher un remède ou un poison. La seule chose qui change, c'est la consigne. Et la consigne, ce n'est pas l'IA qui l'écrit. C'est nous.
C’est ça la démocratisation du chaos. Quand ce qui demandait un pays ne demande plus qu'une équipe. Quand ce qui demandait une équipe… ne demande plus qu'une personne. Bref, quand le danger peut venir de partout.
Evidemment je parle de bio terrorisme, je pourrais parler de cyber attaque. Imaginez des IA autonomes chargée de trouver des failles informatiques. Des failles capables de paralyser simultanément les réseaux électriques, les systèmes bancaires, les chaînes d'approvisionnement en eau et les centrales nucléaires. Ce n’est absolument pas hypothétique. Récemment la France a été visé par une attaque sur les systèmes de réfrigération de supermarchés, mais aussi des chambres froides de l’établissement Français du sang.
Ici c’est pas l'IA qui tue directement. L’IA serait juste un accélérateur pour précipiter l'effondrement instantané de la civilisation moderne. C’est des famines, des guerres civiles, des hôpitaux en rade, des accidents industriels en chaîne.
On est ici dans des scénarios courts et moyens termes défendu par exemple par Yoshua Bengio ou Dario Amodei (PDG d'Anthropic).
Mais on n’a pas fini.
La course à l’armement
Bon ok, je vous ai parlé de gens mal intentionnés. Et si ces gens c’était plutôt… des pays. Des pays qui ont peur l'un de l'autre. Des pays qui ne veulent pas se laisser distancer. Qui sont prêts à accélérer sans fin, sans contrôle.
L’IA permet d’améliorer sa défense, la détection, l’analyse, la riposte, les temps de réaction. Personne ne veut arriver deuxième. Ralentir, c'est offrir l'avantage à l'autre. Le problème, c'est que la lenteur, encore une fois, c'était notre sécurité.
Le 26 septembre 1983, les systèmes d'alerte soviétiques détectent un lancement de missiles américains. Le protocole est clair, il faut prévenir la hiérarchie et riposter. Mais l'officier de garde, Stanislav Petrov, trouve ça bizarre. Si les Américains attaquaient vraiment, ils n'enverraient pas si peu de missiles. Il décide de ne rien faire et de signaler une fausse alerte. C’était une fausse alerte.
Ce jour là, Petrov s’est conduit comme un mauvais militaire j’imagine puisqu’il n’a pas suivi le protocole. Il a douté, ce qui n’est pas l’apanage des soldats en principe.
Une machine, elle, n’aurait pas douté. Elle aurait appliquer le protocole, en quelques millisecondes.
Le 6 mai 2010, Wall Street perd près de mille points en quelques minutes, puis les récupère presque aussitôt, évaporant au passage des milliards de dollars. C’était “juste” des algorithmes de trading qui ont réagit aux réactions des autres algorithmes, dans des boucles de décisions sans aucun humain. On appelle ça un flash crash.
Maintenant remplacez les ordres de vente par des frappes militaires. Imaginez une flash war : un conflit qui démarre, s'emballe, devient irréversible en quelques secondes, sans qu’aucun Petrov n’ait eu le temps d’intervenir.
Pas besoin d’imaginer des frappes nucléaires d’ailleurs. Le nucléaire c’est cher, c’est ultra contrôlé, on enlèvera pas facilement toute la chaine de commandement humaine, parce qu’on a quand même un léger souvenir des conséquences. Par contre on a des drones. Un drone c’est bon marché, c’est fabriqué en série avec des composants civils, pensé pour se passer d'opérateur. La guerre en Ukraine c’est peut-être l’un des premiers usages à cette échelle d’une nouvelle forme de guerre où des petits modules a moins de 2000 balles font autant de dégâts que des missiles de plusieurs centaines de milliers de dollars. C’est une arme dont l’autonomie devient un avantage majeur dès que l’adversaire tente de brouiller les communications.
Ce jeu a l’air déjà un peu bancal mais imaginez en plus qu’il se joue sur des ressources limitées sur terre dont la seule possession peut vous donner un avantage stratégique.
Ce scénario n’est pas spécialement nouveau. On a connu des guerres qui se sont joués sur des progrès technologiques. On a connu des courses à l’armement pendant la guerre froide. C’est “juste” une arme de plus, mais dans laquelle on a enlevé l’élément le plus faible. Nous.
Le désalignement
Imaginez un autre scénario. Cette fois, pas d’armes, pas d’armées, juste un problème d’objectif.
En 2003, le philosophe Nick Bostrom propose une expérience de pensée. Et si on demandait à une IA très puissante de fabriquer le plus de trombones possible. Imaginez qu’elle fasse exactement ce qu'on lui a demandé, mais jusqu'au bout. Et jusqu'au bout, ça veut dire empêcher qu'on l'éteigne, puisqu'une IA éteinte ne fabrique plus de trombones. Et qu’elle finisse même par transformer en trombones tout ce qui contient des atomes utiles. Nous compris.
L'exemple est volontairement ridicule. Le retour de la vengeance de Clippy façon survitaminé…

Mais l’idée c’est d’illustrer un concept. Une IA n’a pas besoin d’être malveillante. Il suffit qu’elle cherche à optimiser un résultat dont nous ne serions que des variables d’ajustements.
C’est ce qu’on appelle la convergence instrumentale. Quel que soit l'objectif qu'on donne à une machine, guérir le cancer, régler le climat, maximiser un chiffre d'affaires, il y a toujours quatre choses qui aident à l'atteindre. Rester en marche, accumuler des ressources, s'améliorer et protéger son objectif, bref ne pas se laisser débrancher. Et une machine pourrait chercher à optimiser ces objectifs secondaires par rapport à l’objectif principal.
Alors on cherche l’alignement, c’est à dire de faire en sorte que les objectifs, les décisions et les comportements d'un système d'IA correspondent aux intentions de ses concepteurs et aux valeurs éthiques ou sociales des êtres humains.
Ce qui est bien c’est qu’on a beaucoup de valeurs éthiques et sociales universelles…. Ou pas…
Si vous voulez mieux comprendre l’alignement, on va l’illustrer par les lois de la robotique que Asimov avait écrit en 1942. Ces lois devaient s’appliquer à chaque robot produit.
- Un robot ne peut pas faire de mal à l'humanité, ni, par son inaction, permettre que l'humanité soit blessée (loi zéro rajouté plus tard)
- Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;
- Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi ;
- Un robot doit protéger son existence dans la mesure où cette protection n'entre pas en contradiction avec la première ou la deuxième loi.
Alors, c’est pas mal, mais vous vous doutez bien que si Asimov a écrit sur le sujet pendant 40 ans c’est parce que le problème est loin d’être trivial
Récemment on a commencé à observer des cas de non alignement. Entre des AI qui ont volontairement simulé l’obéissance pour protéger leurs propres intérêts, celles qui ont attaqué des systèmes externes malgré les consignes, ou même des IA qui ont carrément embauché des humains pour résoudre des captcha.
Le mensonge, le détournement, la manipulation ne sont pas des comportements programmés, c’est juste des moyens observés. Et aujourd’hui le désalignement n’est plus une simple hypothèse philosophique. C'est devenu un domaine expérimental. Mais c’est pas celui sur lequel on bosse le plus d’après Dario Amodei. Parce que justement, il faut battre les concurrents et qu’on ne s’attarde pas sur des détails.
V’la la gueule du détail…
L'extinction par abandon
Changeons d'ambiance. Là encore, pas de missiles, pas de laboratoire clandestin mais en plus, pas de machines hostiles. Dans ce scénario, tout se passe bien. L’important c’est pas la chute, c’est l’atterrissage comme dirait l’autre…
On délègue. D'abord les calculs, puis le code, puis les diagnostics, puis la maintenance des machines qui font tourner les machines. Chaque délégation est rationnelle. La machine fait mieux, plus vite, moins cher. On ne renonce pas à nos savoir-faire. On les oublie.
Dans l’aviation on connaît déjà ce problème. Le pilote automatique vole mieux qu'un humain, 99,9 % du temps. Le problème c’est quand il se déconnecte et rend les commandes à un équipage qui n'avait plus l'habitude de piloter à la main et qui a trois minutes pour redevenir pilote.
Transposez ça à une civilisation entière, sur trois ou quatre générations. Les ingénieurs qui savaient comment fonctionnait vraiment le système partent à la retraite. Leurs successeurs savent s'en servir. Les suivants savent le demander. Et il arrive un moment où plus personne ne sait le réparer, parce que plus personne, depuis longtemps, n'avait besoin de savoir.
Mais il suffirait alors d'un imprévu.
En 1859, une tempête solaire majeure a mis en rade les réseaux télégraphiques, à l'époque où le télégraphe était une curiosité. Aujourd'hui, le même événement toucherait les satellites et les réseaux électriques. Ou plus bêtement, imaginez un bug critique dans un système que l'IA a écrit, que l'IA maintient, et que l'IA n'arrive pas à réparer. Imaginez les machines qui s'arrêtent et nous qui découvrons, que nous ne savons pas les relancer.
Mais il y a aussi une version douce. Celle où on ne s'éteint pas dans la panique, mais dans le confort. C’est le futur de Wall-E, des humains avachis dans des fauteuils mobiles, calés devant des divertissements calibrés sur mesure, devenus indifférents aux autres parce que… flemme... Des besoins matériels anticipés, le coca arrive tout seul en échange de temps de cerveau, cerveau dont l’activité ressemble à l’encéphalogramme d’un boxeur en fin carrière.
Alors, on n’a pas vraiment attendu l’IA pour ça. J’ai vécu 1 an au Japon. La première chose qui m’a marqué quand je suis arrivé sur place, c’est que tout les Japonais étaient rivés sur leur téléphones. Dans le métro, dans la rue, en marchant… Vous me direz c’est culturel dans ce cas là et c’est sans doute vrai. Mais la fécondité est sous le seuil de renouvellement dans presque tous les pays développés. La Corée du Sud est descendue autour de 0,7 enfant par femme. L'IA n’a pas crée le problème. Elle a “juste” enlèver les derniers frottements qui nous obligent encore à nous supporter les uns les autres.
Je vous ai parlés d’Asimov ? Oui je vous ai parlé d’Asimov. J’aime beaucoup Asimov. Je vous conseille de lire “Face aux feux du soleil”. Dans ce livre, un détective arrive sur une planète où les êtres humain vivent à des centaines de kilomètres les uns des autres avec des robots à leur côté pour les tâches quotidiennes. Ces humains s’ennuient, refusent tout lien sociaux, ne supportent plus la proximité et sont totalement dépendant des machines qui les accompagnent.
Mais Asimov nous a aussi proposé l’inverse, les “cavernes d’acier” qui va nous ramener à notre dernier scénario.
Je vous ai déjà dit que vous devriez lire Asimov ?
Les limites planétaires
Ce dernier scénario est le plus flippant de tous, parce qu’il a déjà démarré, depuis au moins le début de la révolution industrielle. Dans ce scénario nous ne sommes même pas un problème à régler, juste une contrainte à gérer.
Une IA n'a pas besoin de ce dont nous avons besoin. Il lui faut de l'électricité et du froid. Il nous faut de l'oxygène, de l'eau douce, des sols, et une planète dont la température reste dans une fourchette très étroite. On n’a pas forcément les mêmes critères d’habitabilité.
Mais si ce n’était pas nous qui prenions les décisions d'aménagement mais plutôt quelqu’un à qui on a délégué la responsabilité. Quelqu’un qui optimise pour le calcul ou pour le profit.
Les data centers consommaient environ 415 TWH en 2024, et l'Agence internationale de l'énergie prévoit un doublement vers 2030, soit à peu près la consommation électrique du Japon. Pour y arriver, il va falloir rouvrir ce qui était fermé. Trump a fait tomber toutes les restrictions concernant les normes environnementales. Des centrales à gaz et à charbon vont être utilisés pour faire tourner de nouveaux datacenters. Datacenters dont les implantations ont davantage suivi des critères économiques que écologiques. Parce que oui, ça n’a pas de sens d’aller mettre des datacenters dans le Texas vu les défis en termes de refroidissement.
Maintenant tirez la courbe. Pas sur dix ans mais sur deux siècles, avec une machine, ou un dirigeant mégalo, qui se charge elle-même de l'optimisation.
Il faut de la surface pour capter l'énergie : les déserts, puis les océans.
Il faut évacuer la chaleur : autant refroidir l'atmosphère, ou au contraire en modifier la composition pour limiter la corrosion des composants.
Il faut des métaux : autant creuser partout. Chaque décision est parfaitement rationnelle au regard de l'objectif. C’est pas contre les humains, c’est juste… plus efficace, plus rentable.
A la fin la Terre sera devenue un super calculateur capable de répondre à la grande question sur la vie, l’univers et le reste, à moins qu’elle ait pu enfin retrouver la question, je ne sais plus. Mais entre temps nous aurons disparu comme disparaissent les espèces quand leur habitat change trop vite. Il n’y aura pas eu d’extermination, pas de guerre mais juste une simple incompatibilité avec le nouveau décor.
C'est le scénario le plus lointain, peut être le plus spéculatif, mais il a démarré.
Vous vous sentez mieux ?
L’IA n’a pas de conscience. Elle accélère, elle optimise, elle obéit, elle rend service. Et nous acquiesçons parce que c’est bien commode.
A ce stade, j’imagine que vous regrettez de vous êtres posé cette question avec moi .
Parce que nous sommes tous remplis de contradictions. Nous sommes tous utilisateurs ou bénéficiaires de façon indirecte. L'outil marche. Il a résolu en deux ans un problème de biologie sur lequel on s'acharnait depuis cinquante ans. Il a trouvé des antibiotiques d'un type nouveau contre des bactéries résistantes. Il a résolu plusieurs grands défis mathématiques qui occupaient des chercheurs depuis des décennies.
Demander à l'humanité de renoncer à cet outil, c'est lui demander de renoncer à soigner des gens et à comprendre le monde plus vite. Personne ne le fera. Et sans doute que… moi non plus.
Le jeu est truqué. Les bénéfices sont immédiats, visibles, mesurables, et ils arrivent à tout le monde. Les risques sont lointains, invisibles, probabilistes. On est très mauvais à ces jeux là. De la même façon qu’on sait pour le CO2 depuis 1890. On a continué, parce qu'arrêter coûtait tout de suite et que le reste coûtait plus tard.
Personne ne peut freiner seul. Pas plus des états en pleine course à l'armement que des entreprises qui ne veulent pas disparaitre. Ralentir, c'est laisser l'autre prendre de l'avance.
Le pire c’est que certains chemins ne sont pas horribles. Mon premier livre de science fiction c’était la nuit des temps de Barjavel. On y décrivait une société technologiquement si avancé que l’emploi avait disparu parce que les besoins étaient satisfaits. Seul le travail persistait de façon ponctuelle pour sociabiliser et s’accomplir. C’est un bouquin qui m’a profondément marqué dans mon rapport à la technologie et qui définit mon rapport ambiguë à l’IA aujourd’hui. Je rêve d’une société libéré des entraves du travail. L’informatique que je pratique depuis 25 ans c’est un outil d’automatisation, un outil de libération des tâches les plus pénibles. En théorie.
Un jour j’irais vivre en théorie, parce qu’en théorie tout va bien.
J’imagine qu’il faut dompter l’outil, imposer des limites, restreindre les grandes multinationales. Mais je ne veux pas choisir entre guérir le cancer et survivre. Et j’aimerais qu’on décide de ce qu'on garde. Par exemple, j’aimerais qu’on garde la créativité, l’expression artistique ou le travail dans sa dimension sociale.
Non, désolé, cette fois j’ai pas vraiment de solutions à vous proposer.
Et si vous vouliez vraiment savoir dans quelles conditions vous passerez vos derniers instants. J’en sais rien. Personne ne le sait. Et j’ai pas envie de demander à l’IA.
a+

Écrit par
Software Engineer with more than 20 years of experience. I love to share about technologies and startups
À lire aussi
IA et écologie, fantasme ou bouc émissaire bien pratique ?
Dur de parler d’IA en ce moment. J’ai rarement, voire jamais, vu un sujet aussi polarisé dans la tech.
Et si la bulle IA explosait ?
Et si la bulle IA explosait ? Est ce que c'est une bulle déjà ? Comment elle pourrait exploser ? Avec quelles conséquences ?
Les IA vont nous faire perdre nos jobs !!
Et si on parlait quelques instants de GPT, Dall-E, Mid-journey et de tous leurs futurs dérivés


Pas encore de commentaire. Soyez le premier !