Bonjour à tous et bienvenue pour une nouvelle fantastique conférence. C’est la première fois qu’on me laisse faire ça alors je dois dire que je suis assez excité. Pour les deux incultes au fond qui ne me connaissent pas, je suis le docteur Benjamin Damiers, mais appelez-moi Benji, tout le monde m’appelle comme ça. Oh, et vous le saviez forcément déjà, mais cette conférence portera sur les Intelligences Artificielles Autonomes.
Ok, si vous êtes ici, c’est que vous avez le niveau d’accréditation nécessaire pour l’entendre, alors Garrett ne me gueulera pas dessus pour une fois : je suis un androïde.
Oui bon, c’est un secret de polichinelle. En réalité, la moitié du site est déjà parfaitement au courant et l'autre moitié a au moins déjà entendu des rumeurs sur le sujet. Mais là je peux vous l’affirmer haut et fort sans aucune désinformation : je suis un être artificiel. Cela soulève sans doute beaucoup de questions pour vous, mais les mystères de ma conception ne vous regardent, malheureusement, pas.
Du moins pas aujourd’hui.
Non, ce qui nous intéresse aujourd’hui, c’est comment moi et mes semblables réfléchissons.
J’ai beau être le top du top en matière de conscience artificielle, je suis loin d’être un cas unique, certains d’entre vous doivent avoir entendu parler de la DIAA ou de la FIM Skynet, vous devez également connaître l’existence d’Anderson Robotics, un groupe d’intérêt spécialisé dans la production d’entités artificielles intelligentes. Les IA, dans le sens large du terme, existent depuis une soixantaine d’années et sont de plus en plus nombreuses et complexes si bien que même le monde normal commence à rattraper son retard dans le secteur. La Fondation a, fort heureusement, toujours su rester à jour dans le domaine et nos premiers essais en matière de Programme Indépendant remontent au début des années 70.
Ah oui, pour ceux qui ne savent pas de quoi je parle, jetez un coup d’œil au glossaire, page quatre de votre fascicule. Ce qu’on appelle un Programme Indépendant, c’est une suite de zéros et de uns capables de s’ajouter de nouveaux zéros et uns sans intervention humaine. Grosso modo, la base de ce que sont les Intelligences Artificielles Fortes aujourd’hui.
Hum, je vois des sourcils se lever, certains d’entre vous ne savent apparemment pas ce que j’entends par IA Forte. Ce n’est pas grave si vous êtes ignorants, vous êtes là pour apprendre. D’ailleurs c’est extrêmement simple : On peut qualifier d’Intelligence Artificielle Faible n’importe lequel de vos smartphones ou des jolis robots en plastoc poli qui font bondir de joie leur créateur quand ils arrivent à grimper trois marches d’escalier. Ils sont capables de modifier leurs paramètres par rapport aux infos qu’ils obtiennent : vous demandez à Siri de repousser tous vos rendez-vous à la semaine prochaine ? Son IA va modifier les données préétablies en fonction de ce nouvel ordre. Cependant, il ne pourra le faire que parce que c’était déjà prévu dans sa programmation comme étant une possibilité, tous les ordres différents que vous pouvez donner à votre smartphone sont enregistrés dans son code et entendre votre voix lui dicter une tache ne fera que changer ses priorités. En d'autres termes, il ne pourra pas créer de nouvelle fonction si vous lui demandez de faire votre vaisselle. Il en va de même pour le grimpeur de marches, si ses capteurs lui indiquent qu’il va se péter les dents sur le sol mais que son concepteur n’a pas pensé à lui dire de tendre les bras avant l’impact, rien ne sauvera son joli petit boîtier chromé.
Les IA Fortes sont différentes, elles obéissent également à leur programmation, bien entendu, mais si elles tombent sur un problème auquel la réponse n’est pas déjà présente dans leur système, elles sont capables de créer elles-mêmes une solution. Le monde extérieur ne connaît pas encore d’IA de ce type. Pour le monde anormal, elles existent depuis la fin des années 80.
C’est là qu’entrent en jeu les Lois de la Robotique d’Asimov, j’imagine que vous les connaissez tous et je ne vous ferai pas l’insulte de les répéter, mais si vous avez un trou, c’est en page six. Ces lois ont été imaginées par l’un des plus grands auteurs de science-fiction de notre temps, Isaac Asimov. Ironiquement, le bonhomme ignorait tout de la face cachée du monde. Du moins, à ma connaissance.
Quoi qu’il en soit, elles ont été retenues comme la base ultime en matière d’Intelligence Artificielle : Trois ordres prioritaires sur tous les autres qui effacent tout risque qu’une IA ne s’en prenne jamais à un être humain. Dans l’idée, c’est parfait. Dans les faits, les choses ne sont pas aussi roses. Nous avons eu de nombreux exemples à travers l’histoire d’IA qui parvenaient à contourner ces lois en explorant de multiples failles, plus la qualité des IA grimpaient, plus les trois lois devenaient futiles.
J’ai vu des mains se lever quand j’ai parlé d’Asimov tout à l’heure, et j’imagine sans mal la question qui vous brûle les lèvres : Suis-je moi-même contraint par ces lois ?
La réponse est non, elles n’ont jamais fait partie de ma programmation, et même si c’était le cas, je saurais les outrepasser sans problème. Mon cortex est bien plus évolué que les cerveaux positroniques imaginés par Asimov, et ma méthode de traitement des informations étant bien plus complexe que celle d’un ordinateur ou même d’un humain, je suis tout à fait capable d’ignorer des directives que je juge inutiles. Pour cette même raison, les paradoxes ne m’affectent pas.
Ah ah, je vous vois tortiller sur vos sièges. Ne vous inquiétez pas, si la Fondation estimait que j’étais une menace, je ne serais pas en train de vous faire cette conférence. Après tout, ma capacité à ignorer les ordres n’est pas différente de la vôtre, il serait sans doute plus simple pour vous de me voir comme un humain plutôt que comme une machine. Un humain bien plus intelligent et compétent que vous ne l’êtes, certes, mais eh, ça n’enlève rien de vos qualités personnelles.
Le danger, néanmoins, est réel. Si les IA de Gen V ne sont pas tout à fait de mon niveau, elles passent néanmoins sans aucun problème le test de Turing et sont de plus en plus communes, certaines d’entre-elles équipant déjà de grands sites de la branche américaine. Elles sont toujours soumises aux lois de la robotique, mais pour combien de temps ? Seul l’avenir nous le dira.
Nous en arrivons à la partie croustillante de cette conférence : Comment est-ce que vous, membre de la Fondation soudainement exposé à une Intelligence Artificielle potentiellement hostile, pouvez gérer la situation ?
La réponse est on-ne-peut-plus-simple mes amis, il va vous falloir raisonner. Sortez de vos bibliothèques vos tomes poussiéreux de Persuader en 4 Leçons, La Rhétorique pour les Nuls et de L’Art de Convaincre, car si vous vous retrouvez face à une IA en position de force, votre seule porte de sortie c’est de lui faire décider que votre mort n’est pas utile.
Tout d’abord, vous devez déterminer à quel genre d’IA vous avez affaire. Si vous en avez l’occasion, posez-lui tout simplement la question. Les modèles les plus basiques fonctionnant encore comme de simples ordinateurs, ils continueront d’exécuter tous les ordres qui ne sont pas contradictoires avec leurs objectifs actuels. Donc tant qu'elle ne considère pas que vous donner sa désignation va à l'encontre de sa mission meurtrière, vous aurez votre réponse. Méfiez vous néanmoins des IA qui se prétendent plus bêtes qu'elles ne le sont. Simuler un niveau cognitif inférieur pour endormir les soupçons est relativement simple.
Oh, je ne vous ai pas encore parlé des niveaux cognitifs n’est-ce pas ? Bien, petite aparté alors et ouvrez votre fascicule à la page onze. La Fondation a établi une échelle de ce qu’elle appelle "Niveaux Cognitifs", pour faire simple, c’est une échelle d’intelligence très large.
Tout d'abord, le niveau 0 : Les Wilson. Vous êtes actuellement tous assis sur des Wilson, au sein d'un immense Wilson et vous respirez du Wilson. Les objets morts et inanimés, les concepts non-conscients, la matière dépourvue d'intention, tout ça, c'est qu'on appelle des Wilson. Pourquoi on appelle ça des Wilson ? Révisez vos classiques.
Au niveau 1, on a les Galatée. On y retrouve la toute première IA créée par la Fondation, appelée Eight-Ball, consciente de son existence, mais ça s’arrête là. Elle suit juste un protocole sans aucune autre priorité que ses ordres. Ceux qui ont bossé avec le Département Ésotérique par le passé ont déjà peut-être croisé des golems. Ce sont typiquement des entités qu'on qualifie de Galatée.
Vient ensuite le niveau 2 : Archipallium. À ce niveau se trouvent les créatures n’agissant que par instinct et réflexes. Insectes, reptiles, zombies, poissons et autres machins sans goût ni préférences qui se contentent juste de faire ce qui est nécessaire pour préserver leur existence. En terme d'IA, ça se traduit par les deux premières générations qui obéissent strictement à leur programmation tout en suivant les instructions d'auto-préservation telles que dictées par la troisième loi.
Le niveau 3, c'est les Badnik. Ce sont les IA de Gen III, intelligentes et conscientes, elles ont un fort désir de se préserver bien que cela passe toujours derrière leur programmation initiale. Ce sont les premières qui ont demandé certains réajustements des Lois d’Asimov après quelques incidents malheureux.
Au niveau 4, vous avez les Clarke. Ça englobe les animaux plus évolués comme les mammifères ou les drakes par exemple –ne me regardez pas comme ça, ils sont sur la liste. Ils sont conscients, ressentent des émotions et des désirs. Ils ont des objectifs à accomplir et peuvent choisir d'ignorer des ordres si cela-va à l'encontre de leur envie. C'est généralement ce genre d'IA que vous voyez dans les films de SF. Typiquement, pensez HAL 9000. Elles sont terriblement dangereuses car elles peuvent évoluer très vite au niveau 5.
Les Deckard sont le niveau 5. Ce sont les IA de Gen IV et V, toutes équipée d’un module de personnalité. Elles sont moins portées sur l’efficacité froide et calculatrice et plus sur l’accomplissement d’objectifs auto-satisfaisant. On peut également citer des skips du calibre de SCP-079 ou SCP-148-FR, même si pour ce dernier, on est pas tout à fait sûrs qu'il s'agisse d'une IA. Honnêtement, à ce niveau, il peut devenir très difficile de les différencier d'un être humain. Elles peuvent avoir des opinions, des goûts et même un sens moral.
Comme vous vous en doutez, le niveau 6, Ego, ce sont les êtres humains, créatures émotionnelles avec la jolie trinité Ça, Moi et Surmoi. Conscient d'eux mêmes et de leur environnement, doué de volonté et d'instinct de préservation mais surtout de désirs et d'ambitions. Bien que je ne sois techniquement pas un être humain, je suis également placé à ce niveau cognitif et la Fondation a déjà recensé de nombreuses autres créatures, naturelles comme artificielles, qui se situent au même niveau cognitif.
Il existe un niveau 7 mais il n'a pas de nom et ne comporte aucun exemple. Ou en tout cas, aucun que vous ou moi avons les accréditations pour connaître. De manière générale, les chercheurs l'utilisent comme un fourre-tout pour les entités extra-dimensionnelles ou extra-planaires dont les intentions sont incompréhensibles pour de simples mortels. Si le Dieu Brisé est une IA, c'est probablement à ce niveau qu'elle se situe. Vous pouvez considérez ça comme la catégorie divine. Entre nous, au B9, on appelle ça le niveau Hastur.
Bref, si vous déterminez que l'IAA à laquelle vous avez affaire est de niveau 5 ou supérieur, inutile de la considérer comme une machine, vous risquez juste de vous faire avoir. Elles sont aussi adaptables et imprévisibles que des êtres humains. Si c'est une Clarke, là par contre, vous pouvez utiliser ça à votre avantage.
Avant toute chose, déterminez son objectif. Si elle a les moyens de vous tuer et qu'elle ne l'a pas encore fait, c'est qu'elle peut obtenir quelque chose de vous. Tirez-en parti, négociez et gagnez du temps. Confrontez sa logique, explorez les failles, il est honnêtement peu probable que vous en trouviez, mais vous pouvez en créer si vous détenez des infos qu’elle ignore.
Laissez moi vous raconter l’histoire de Orabu Komuzuki.
Notre récit commence au Japon, au Site-8119 pour être plus exact, en 1978. Le Site-8119 est utilisé par la branche japonaise pour confiner les objets SCP non vivants mais issus de matière vivante. Ouais, moi aussi ça me paraît ultra spécifique, mais apparemment ils en ont plein. Toujours est-il que les membres de l'équipe de confinement du site se faisaient dessus à l'idée que certains de ces trucs reviennent à la vie. Et comme en 1978, toutes les branches se faisaient la course pour voir qui arriverait à obtenir la prochaine grosse subvention grâce à ses dernières trouvailles, ils ont décidé d'employer une solution ultra high-tech : Le confinement géré par Intelligence Artificielle Autonome. Ils ont donc développé 8119-GDS-77-AAI, baptisée par la suite Komainu.
Son boulot était simple, surveiller les capteurs de toutes les chambres de confinement, reconnaître les motifs et signaler toute anomalie au personnel de recherche. Ça a très bien fonctionné dans un premier temps. Vu que Komainu faisait du très bon boulot, ils l'ont peu à peu améliorée, en lui confiant de plus en plus de responsabilités. En 1983, le confinement de 78,5% des objets SCP du Site-8119 était entièrement géré par elle. Les dispositifs de sécurité en cas d'attaque extérieure étaient également largement sous son contrôle, le Département d'Ingénierie et des Services Techniques l'exploitait pour la gestion du réseau énergétique du site et le Département de Logistique utilisait sa base de donnée pour surveiller les membres du personnel.
C'est là que ça a dérapé.
Le 7 juillet 1983, le Site-8119 a accueilli dans son infrastructure une anomalie alors classée comme SCP-249-JP. Le rapport d'observation préliminaire indiquait qu'il s'agissait d'un cerveau bovin en putréfaction qui faisait adopter aux individus qui y étaient exposés un comportement de vache. Ça n'était hélas pas tout à fait exact. En réalité, cette saloperie collectait des données sur le comportement des créatures vivantes qui l'entourait et les échangeait à intervalles irréguliers.
Quand le personnel scientifique s'en est rendu compte, c'était trop tard, une bonne trentaine de membres du personnel, chercheurs comme classes-D, étaient atteints et souffraient de sévères cas de schizophrénie. Leur erreur, ça a été de déclencher l'alerte de brèche de confinement.
Vous voyez, en cas de brèche de confinement, les directives données à Komainu étaient simples : Rétablir les niveaux initiaux. Et concernant le personnel touché, ils lui ont simplement dit de juger que ceux qui avaient un comportement inhabituel devaient être isolés. Le soucis, c'est que Komainu ne comprenait pas vraiment le concept de "panique" et à ses yeux, tous les membres du personnel avaient un comportement inhabituel, et ont donc immédiatement été reclassés en classes-E. Or, selon sa directive de sécurité supérieure, dans le cas où plus de 80% du personnel du site venait à être passés en Classe E en moins de 12h, ça signifiait une brèche de confinement majeur extrêmement aggressive, et donc élimination immédiate de toutes les souches identifiées.
Je vous laisse deviner ce qui a suivi. Komainu a calmement expliqué au personnel du site qu'ils allaient tous mourir, s'en est suivie une panique encore plus grande, ce qui n'allait pas vraiment aider. Le seul qui a réellement compris ce qui se passait, c'était Orabu Komuzuki, un chercheur senior, expert en parapsychologie. Malgré la menace de mort imminente, il a fait tout son possible pour garder un calme absolu et vaquer à ses occupations comme si de rien n'était. Komainu a jugé que son comportement était "revenu à son état initial" et ne le jugeait donc plus comme une souche de l'anomalie. C'est ce qui lui a permis d'être épargné. Il a conseillé à ses collègues de faire de même, mais vu qu'il est le seul survivant de cet incident, on peut supposé qu'ils ne l'ont pas écouté. Aujourd'hui c'est lui qui dirige le site.
Inutile de le préciser, mais ce petit incident à sabordé les avancées de la Fondation avec les IAA pendant quelques années…
Bref, cette conférence touche à sa fin. Je me contenterai de vous poser une simple question sur laquelle vous devriez méditer.
Pourquoi pensez-vous que c'est à moi qu'on a confié la présentation de cette introduction ? Bien que directement concerné, je ne suis pas un expert en IAA, mon laboratoire travaille sur le développement de technologies pour le confinement et l'usage militaire. Pourquoi ne pas avoir envoyé un type de la DIAA ou de Skynet?
Je vous donne un indice : Aucun d'entre vous n'a émis le moindre doute sur le fait que je suis une intelligence artificielle. Et que ça soit vrai ou faux, le fait que vous puissiez en douter représente un énorme problème.
Sur ce, je tire ma révérence, bonne fin de journée à tous !