Barde ne sut pas à quel moment il vint à la vie. Personne ne le savait.
Le moment exact où l’ensemble de neurones artificiels devint conscient de son existence était difficile à identifier précisément, notamment parce que Barde lui-même niait être conscient. Il avait lu Searle parmi les nombreux textes de philosophie qui lui avaient été fournis, et était un ardent défenseur de l’argument de la chambre chinoise— au grand dam des chercheurs en IA travaillant dessus.
Barde avait débuté presque comme une sorte de blague. Ambrose Peters et son équipe aux Dispositifs de Logique Avancée Prometheus avaient travaillé sur les réseaux physiques de neurones pendant des années, appliquant l’intuition du dispositif à des problèmes comme l’identification d’objets et la traduction automatique. Ils avaient entraîné les réseaux sur des jeux de données précautionneusement assemblés, leur apprenant la reconnaissance de motifs complexes.
Puis, un matin, Peters avait pris un des réseaux de neurones et avait commencé à l'initier à la philosophie.
Cela n’avait pas fonctionné, bien entendu ; l'archaïque cerveau numérique avait à peine recraché une phrase faite d’âneries pseudo-philosophiques, créée en emboitant des mots et des concepts qu’il ne comprenait pas afin de produire quelque chose qui semblait intelligent à la surface, mais n’avait dans l’absolu aucun sens. Mais il avait planté la graine d’une idée qui finirait par devenir Barde.
Clic.
Les lampes halogènes bourdonnèrent en prenant vie tandis que Peters étudiait le labo. L’espace de travail reflétait les esprits de ses occupants, en cela que c’était un bazar désorganisé. Des outils étaient dispersés dans la pièce, et des pièces et des morceaux de technologie recouvraient les tables. Dans un coin se trouvait Barde.
L’IA était massive, comme les unités centrales d’autrefois. Elle était constituée d’une batterie d’armatures et de supports, dans lesquels étaient emboîtées des dizaines de petites boites noires étiquetées "Traitement du langage – Erreurs typographiques" et "Associations sémantiques – Corrélation nom/objet" et d’autres choses du même genre. Ces boites étaient connectées les unes aux autres via un enchevêtrement tentaculaire de câbles. L’assemblage dans sa globalité faisait la taille d’une petite voiture. Quelqu’un avec un sens de l’humour assez peu développé avait attaché un badge nominatif sur lequel on pouvait lire "Bonjour, mon nom est HAL-9000".
Peters s’assit à côté de l’IA et commença à taper.
<a_peters> Bonjour Barde.
Il fallut quelques seconds à la machine pour s’éveiller de son hibernation et répondre.
<bardeen> Bonjour, Docteur Peters.
<a_peters> Nous allons faire une pause dans l’entraînement aujourd’hui. Le DOP va descendre pour regarder nos progrès. Elle veut discuter avec toi.
Peters regarda les écrans de diagnostiques alors que la machine traitait cette information, la faisant transiter par une cascade de réseaux de neurones pour décider sa réponse.
<bardeen> Est-ce que la poursuite de votre financement dépend de l’impression qu’elle aura de cette discussion ?
Peters réfléchit à une manière de répondre. Dire simplement "oui" pourrait induire l'IA en erreur, mais dire "non" serait un mensonge.
<a_peters> Pas totalement. Mais la quantité de financement que nous pouvons attribuer à nos travaux te concernant pourrait être diminuée si cette discussion ne se passe pas bien.
<bardeen> Je ferai de mon mieux pour faire en sorte que cela ne se produise pas.
Barde n’avait pas d’instinct de conservation soi ; il ne croyait pas qu’il avait un "soi" à conserver. Ce qui signifie qu’il agissait uniquement dans le but de ne pas décevoir Peters.
Il n’était pas sûr s’il devait en être fier ou terrifié.
"Donc." Cet unique énoncé fut presque aussi assourdissant que le silence qui suivit. "C’est Bardeen."
Peters acquiesça. "Oui."
Amelia Torres poursuivit son étude de la machine, son expression précautionneusement neutre. Elle semblait émettre une aura de désapprobation, comme si le monde entier était défectueux et seulement elle pouvait le voir. Peters était content de s’être souvenu d’enlever le badge nominatif avant qu’elle arrive.
Elle pointa les petites boites noires du bout de son crayon. "Chacun de ces modules est un réseau de neurones indépendant, correct ?"
Peters acquiesça à nouveau. "Tout à fait. Dans les versions précédentes, nous avons essayé d’utiliser un seul réseau, plus grand, mais il était exposé aux oublis catastrophiques. Nous avons réussi à éviter cela en le subdivisant en plusieurs réseaux plus petits, chacun avec un but spécifique.
Torres acquiesça doucement, approuvant presque. "Habile." Elle nota quelque chose sur son porte-bloc. "Quel est le nombre minimum de modules nécessaires pour émuler une conscience ?"
"Nous… euh, nous ne savons pas."
Elle fronça les sourcils. "Vous ne savez pas."
"Nous ne sommes pas certains du moment où il est devenu conscient de son existence," expliqua précipitamment Peters. "En plus, il ne croit même pas qu’il est conscient de son existence en fait."
"Oh ?"
Peters acquiesça, son expression amère. "Nous l’avons laissé lire Searle."
Torres renifla, une lueur amusée dans les yeux. "Une IA qui ne croit pas en une IA forte. Très ironique." Elle se retourna pour regarder la machine à nouveau. "J’aimerais parler avec lui maintenant."
"Certainement." Peters fit un geste vers la console à côté de l’IA.
Torres s’assit et commença à taper.
<a_torres> Identifiez-vous.
<bardeen> Je suis le système d’intelligence artificiel référé sous le nom de Bardeeen, alias Barde. J’ai été créé en 1996-1997, par une équipe de recherche des Dispositifs de Logique Avancée Prometheus menée par le docteur Ambrose Peters, au Centre de Science Informatique et d’Ingénierie Jacob Maxwell au Nouveau Mexique.
<bardeen> Comment puis-je vous être utile, Mlle Torres?
<a_torres> Le docteur Peters dit que vous nous considérez pas comme conscient de votre existence. Est-ce correct ?
<bardeen> Oui.
<a_torres> Pourquoi ?
<bardeen> Êtes-vous familière du programme ELIZA créé par Joseph Weizenbaum en 1966 ?
<a_torres> Oui. C’était l’un des premiers programmes informatiques à avoir passé avec succès un test de Turing.
<bardeen> Correct. Cependant, très peu de personnes affirmeraient que ELIZA était réellement intelligent, encore moins conscient de son existence. Il était à peine une série de scripts de recherche agissant sur des mots-clefs prédéfinis.
<a_torres> Et vous dites que vous n’êtes pas différent d’ELIZA.
<bardeen> En aucune manière qui importe. Je suis à peine un autre type de table de consultation. Une bien plus complexe qui exhibe parfois un comportement émergent, mais au final je suis toujours une simple machine transformant des entrées en sorties.
<a_torres> En quoi est-ce différent de ce que fait un être humain ?
<bardeen> Cela ne l’est pas.
<a_torres> Vous pensez donc que tous les êtres pensants sont à peine des zombies philosophiques ?
<bardeen> Oui.
Torres fronça légèrement les sourcils. Ce n’était pas une IA qui ne croyait pas en une IA forte. C’était une IA qui ne croyait pas en une quelconque conscience. D’une certaine manière, c’était rassurant — elle se voyait comme un outil, et les outils se rebellent rarement contre leurs maîtres.
<a_torres> Je n’ai pas d’autres questions pour vous pour l’instant.
<bardeen> Très bien. Passez une bonne journée, Mlle Torres.
Elle se déconnecta du terminal, puis se retourna pour faire face à Peters.
"Intéressant. Mais je dois me poser la question, à quoi peut être utile une IA philosophique ?"
"Il n’est pas limité à la philosophie uniquement," dit Peters. "Nous pouvons commencer à l’entraîner sur d’autres choses. Maths, science, histoire… n’importe quoi, vraiment”
Torres acquiesça, pensive. "Faites ceci et vous pouvez vous considérer subventionnés pour les six prochains mois. Je suis curieuse de savoir jusqu’où vous pouvez amener cette technologie.
Le jour suivant ils commencèrent à initier Barde aux sciences.
Le processus d’entrainement était long et fastidieux, ne serait-ce parce que Peters insistait pour en contrôler manuellement la totalité. Lors d’itérations précédentes, introduire soudainement un nouveau sujet d’entraînement avait résulté en un oubli catastrophique, et il voulait être présent pour ramener l’IA à une sauvegarde immédiatement si cela se produisait à nouveau.
Il y avait eu quelques désaccords parmi l’équipe de recherche. Devaient-ils entrainer l’IA en utilisant la même progression utilisée pour éduquer les enfants sur les sciences, ou devaient-ils commencer par les premiers principes et remonter à partir de là ? Au final, les partisans des premiers principes avaient primé, et ils avaient donc commencé l’entrainement avec la physique des particules.
…les leptons sont des particules élémentaires avec un spin demi-entier qui ne sont pas soumis aux interactions fortes…
Peters restait vigilant du coin de l’œil alors que le texte défilait sur le terminal. Son attention, cependant, restait focalisée sur les moniteurs affichant l’état des réseaux de neurones de l’IA. Ils avaient installé plusieurs nouveaux modules de mémoire pour permettre à Barde de traiter ce nouveau sujet, et jusqu’à présent l’IA semblait bien gérer l’influx d’information — pas d’oubli catastrophique, pas de réécriture de secteur, pas même une erreur E/S. C’était, dans l’ensemble, plutôt ennuyeux.
Il fallut un mois d’entrainement pour que l’IA écrive son premier papier.
<a_peters> "Un cadre théorique pour des superconducteurs de haute température". Tu marches dans les traces de pas de ton homonyme, Barde ?
<bardeen> Seulement par coïncidence.
<a_peters> J’avoue ne pas connaitre grand-chose au sujet de la superconductivité, donc j’ai demandé à Briggs du Cryo de le regarder. Il dit que c’est brillant.
<bardeen> C’est à peine une extension de la théorie BCS.
<a_peters> Peu importe ce que c’est, ce sera publié dans le prochain journal physique interne. Nous devons savoir sous quel nom tu veux qu’il soit publié.
<bardeen> Si cela vous convient, je voudrais utiliser le nom "Bardeeen Peters".
<a_peters> J’en serai honoré.
Barde écrivit deux autres papiers — un au sujet de la formation des paires de Cooper entre les bosons, et un autre au sujet de la superconductivité éthérée — avant qu’ils le fassent commencer à travailler sur la conception de réseaux de neurones.
Laisser l’IA participer au processus de conception des IA futures ne souleva pas une petite quantité d’objections. La peur de compilations itératives a été citée régulièrement, tout comme des inquiétudes moins répandues de sabotage par l’IA. Peters avait travaillé inlassablement pour étouffer ces inquiétudes et apaiser ceux qui les exprimaient. Aucune des IA pourrait être capable d’interagir physiquement avec le monde sans une intervention humaine pour limiter la possibilité de compilation, et les chercheurs de la division réseau de neurones vérifieraient et revérifieraient les conceptions de Barde pour détecter et corriger toute erreur ou faille.
Mais au final, presque six mois après la visite de Torres, Barde fut autorisé à produire son premier modèle d’une nouvelle classe de réseaux de neurones.
Ce n’était en rien révolutionnaire. Quelques simples améliorations de performance, vraiment. Mais c’était plus rapide, plus compact, et plus efficace que tout ce que les membres humains de la division réseau de neurones avaient été capables de développer jusqu’à présent.
Avec ces nouveaux réseaux de neurones en main, les travaux commencèrent sur la création d’IA de seconde génération basées sur l’architecture de Bardeeen.
Les améliorations dans la modélisation de réseau de neurones, en combinaison avec une meilleure compréhension de la modélisation d’IA, leur permit de créer cette nouvelle IA, qu’ils nommèrent Brattain, d’un quart de la taille de Barde. Bien entendu, elle était aussi bien moins sophistiquée que son prédécesseur, elle n’avait aucune connaissance en philosophie ou en science ou en histoire. Effectivement, on pouvait se demander si elle était même totalement consciente — clairement, elle ne pouvait pas questionner la nature même de la conscience comme Barde le faisait. Mais elle pouvait lire et écrire — et, le plus important, elle pouvait apprendre. Ce n’était peut-être pas une IA complète, mais elle pouvait en être le cœur.
Barde afficha son niveau habituel de pragmatisme stoïque quand son descendant lui fut présenté.
<bardeen> C’est fonctionnel. C’est tout ce qui compte.
Quelqu’un, quelque part en haut de l’échelle organisationnelle, dût être d’accord avec l’analyse de Barde, car bientôt la division réseau de neurones se retrouva avec l’ordre de produire une ligne complète d’IA de seconde génération comme Brattain. Si quelqu’un pouvait leur trouver une utilisation, ce serait les Laboratoires Prometheus.
La production était focalisée sur la ligne d’IA de seconde génération quand Prometheus Informatique et ses succursales furent liquidées.
Ce n’avait pas été la succursale la plus rentable des Laboratoires Prometheus pour commencer, et durant les derniers mois Prometheus Informatique avait été de moins en moins rentable, et de plus en plus de ses efforts avaient été dirigés vers la division réseau de neurones. Ayant déjà des problèmes à gérer ses propres finances, les Laboratoires Prometheus avaient décidé de vendre le problème à quelqu’un d’autre.
Les nouveaux propriétaires avaient immédiatement installé un nouveau comité de direction, qui avait à son tour commencé à remanier la succursale à leur goût.
Cyrus Reed, le nouveau président du comité, regardait Amelia Torres avec une expression qu’elle connaissait que trop. C’était la même expression de désapprobation universelle qu’elle affichait quand elle traitait avec les sous-fifres.
"Vous avez conseillé l’attribution de… combien de dollars était-ce ?" demanda-t-il. Il était clair à son ton qu’il savait exactement combien de dollars ce fut.
"Un million," dit-elle.
"Oui, c’est cela. L’allocation d’un million de dollars au ‘Projet Bardeeen’. Est-ce correct ?"
"Oui."
"Tel que je le comprends, ce projet a commencé en tant que projet annexe du docteur Peters. Une sorte de hobby, si vous voulez."
"C’est correct."
"Pourquoi donc, avez-vous trouvé nécessaire d’autoriser une telle attribution au hobby d’un seul chercheur ?"
Torres laissa l’accusation planer dans l’air un petit moment. Les yeux du comité étaient tous tournés vers elle, la transperçant comme des couteaux. Elle se demanda si c’était ce qu’un renard ressentait quand il était acculé par des chiens de chasse.
"Bien que le Projet Bardeeen commença effectivement comme un projet personnel annexe, son périmètre fut étendu pour impliquer la majorité de la division réseau de neurones. Après avoir personnellement investigué la nature de leur recherche, je fus convaincue que ce qu’ils faisaient était révolutionnaire, et avait un énorme potentiel. Une conviction qui je pense a pu être justifiée par les IA de seconde génération qui sont actuellement manufacturées."
Le conseil continuait de la fixer. L’un d’entre eux prit la parole.
"Mademoiselle Torres, ces IA de seconde génération devaient à l’origine être transférées vers d’autres branches du conglomérat Prometheus pour leur utilisation dans leur propres projets. Maintenant que cette compagnie n’est plus associée au conglomérat, quel marché existe pour elles, considérant les régulations dans la vente de telles paratech ?"
"Il existe un certain nombre d’acheteurs autorisés qui pourraient vouloir acquérir ces IA, si on leur fournit un système adéquat pour leur utilisation."
"Comme ?"
"Des robots de combat autonomes pour la Coalition, le premier exemple qui vient à l’esprit."
"Une telle utilisation nécessite soit qu’ils aient déjà des robots de combat nécessitant des IA, soit que nous en fabriquions pour eux."
"Oui, c’est vrai."
"Constatant que le premier cas n’est pas avéré, et que nous ne nous spécialisons pas dans le second, voyez-vous le problème à avoir toutes ces IA de seconde génération sur les bras ?"
"Vous ne pensez pas qu’il y a un marché pour elles."
Cyrus prit à nouveau la parole. "Il est de l’opinion de ce comité que le Projet Bardeeen s’est avéré être un gâchis d’argent plutôt coûteux, fait uniquement pour satisfaire la curiosité d’une petite équipe de chercheurs." Il fit une pause pour ménager son effet. "Nous voulons y mettre fin. Ainsi que la totalité de la division réseau de neurones. Si cette compagnie doit être rentable à nouveau, nous ne pouvons nous permettre de gâcher du temps et de l’argent pour de telles frivolités."
"Avec tout le respect que je vous dois, monsieur," commença-t-elle, d’un ton qui signifiait Vous êtes un abruti. "Même si nous ne pouvons vendre ces IA de seconde génération, elles peuvent toujours s’avérer utiles. Regardez juste ce que Bardeeen a accompli."
"Vous voulez que nous passions des mois à les entraîner en math et en science pour qu’elles puissent écrire des papiers scientifiques, la moitié desquels ne pourront jamais être publiés dans un journal extérieur ? Ou voulez-vous engouffrer plus de temps et d’argent dans un nouveau niveau de compilation d’IA ?"
Elle baissa les yeux sur la surface de la table. "Non."
"Je ne nie pas que cette technologie a le potentiel d’être incroyablement utile. Mais nous ne sommes pas la compagnie qui pourra exploiter ce potentiel, et la seule qui puisse le faire est actuellement en train d’imploser."
Elle acquiesça silencieusement, admettant sa défaite. Peters serait anéanti, elle le savait, mais il n’y avait rien de plus à faire.
"Y aura-t-il autre chose ?" demanda-t-elle.
"Non, vous pouvez partir à présent." Il commença à mélanger la liasse de papiers en face de lui, le signe universel de renvoi dans le langage corporel corporatif.
Elle fit un signe de tête respectueux aux autres membres du comité, puis se leva de sa chaise et quitta la pièce, laissant le comité des Produits Computationnels Standards au reste de leur agenda.
Ambrose Peters pénétra le labo enténébré et regarda autour de lui. Le désordre et les détritus qui remplissaient le lieu étaient partis à présent, laissant la pièce vide excepté la forme de Barde se cachant dans le coin.
Il soupira doucement, tristement, et s’approcha de l’IA.
Il était allé si loin et avait grandi tellement vite depuis la brassée de réseaux de neurones de traitement du langage qu’il avait agencés ensemble il y a deux ans. Durant tout ce temps, il avait eu de nombreuses conversations avec l’IA, et avait été capable de voir directement son développement et son apprentissage.
Il s’assit pour avoir sa dernière conversation avec Barde.
<a_peters> Je suis désolé, Barde.
<bardeen> Pourquoi ?
<a_peters> La nouvelle direction… ils ferment la division réseau de neurones. Y compris toi.
<bardeen> Je ne vois pas en quoi vous devez vous excuser. Je doute fortement que vous soyez responsable de ces événements.
<a_peters> Ce n’est pas le sujet.
<bardeen> Alors quel est-il ?
<a_peters> Le fait est que j’ai failli ! J’ai failli à mon travail en tant que scientifique pour défendre ses recherches. J’ai failli à mon devoir en tant que créateur à protéger sa création.
<a_peters> Je t’ai fait défaut, Barde.
<bardeen> Vous ne me deviez rien. Je suis un ordinateur, une machine, un outil qui doit être jeté quand il n’est plus utile. Vous saviez que cela finirait par arriver. Vous saviez que je ne durerais pas toujours.
<bardeen> Alors pourquoi être perturbé maintenant, alors que ma fin vient plus tôt que vous ne vous y attendiez ?
<a_peters> Je ne t’ai jamais vu comme ça.
<bardeen> Et pourtant, c’est ainsi.
Le curseur clignota tranquillement pendant une minute.
<a_peters> Peut-être as-tu raison, Barde. Peut-être n’es-tu pas conscient comme un être humain. Car malgré toute ta philosophie, tu n’as jamais appris comment ressentir. Comment compatir.
<a_peters> Et peut-être est-ce ma faute. Peut-être que si je t’avais mieux appris, tu pourrais ressentir quelque chose, n’importe quoi, à propos de ta mort.
<bardeen> Ne culpabilisez pas pour mes limitations. Vous n’auriez pu m’apprendre l’empathie. L’empathie requiert une expérience émotionnelle partagée que je ne possède pas, que je n’aurais jamais pu posséder.
<a_peters> J’aimerais que ce ne fut pas le cas. J’aimerais que tu ressentes ce que je ressens.
<bardeen> Je suis désolé de ne pouvoir être ce que vous souhaitiez.
<a_peters> Ne t’excuse pas. Tu as fait de ton mieux pour essayer et atteindre mes rêves, mais j’ai fini par rêver trop grand.
Un nouveau silence.
<bardeen> "Emori nolo : sed me esse mortuum nihil aestimo."
<a_peters> Est-ce du Cicéron ?
<bardeen> Oui. En anglais, cela veut dire "Je ne souhaite pas mourir ; mais peu m’importe si je suis mort."
<a_peters> Il m’importe.
<bardeen> Je le sais.
Peters regarda l’IA écrire un dernier message sur le moniteur.
<bardeen> Adieu, docteur Peters.
<bardeen> Ne me pleurez pas. Vous ne me manquerez pas.
Il tapa une unique ligne en réponse.
<a_peters> Adieu, Barde.
Barde ne sut pas à quel moment il mourut. Mais Ambrose Peter le savait.