Les IA sont des hackers, pour le meilleur et pour le pire

L'intelligence artificielle finira par trouver des vulnérabilités dans toutes sortes de systèmes sociaux, économiques et politiques, puis les exploitera à une vitesse, une échelle et une portée sans précédent, écrit Bruce Schneier dans un rapport roboratif de 54 pages :

« Après avoir piraté l'humanité, les systèmes d'IA pirateront ensuite d'autres systèmes d'IA, et les humains ne seront guère plus que des dommages collatéraux.

La plupart de ces hacks ne nécessitent même pas de percées majeures dans la recherche en IA. Ils se produisent déjà. Cependant, à mesure que l'IA devient plus sophistiquée, nous ne saurons souvent même pas que cela se produit. »

Le résumé qu'il en a publié sur Wired et son blog n'est qu'un succédané ne témoignant guère de la richesse de l'essai publié par le Conseil sur l'utilisation responsable de l'intelligence artificielle du Belfer Center for Science and International Affairs de la Harvard Kennedy School. Nous l'avons donc synthétisé.

Schneier commence par rappeler, en préambule, que si le hacking est généralement considéré comme un acte ciblant des systèmes informatiques, cette conceptualisation peut être étendue à « tout système de règles », tels que le code des impôts et les marchés financiers, par exemple.

L'essai envisage dès lors un monde où les IA pourraient découvrir des vulnérabilités dans l'ensemble de nos systèmes sociaux, économiques et politiques, mais également de pouvoir les exploiter « à la vitesse et à l'échelle d'un ordinateur ». Il ne postule aucune « singularité technologique », hypothèse selon laquelle la boucle de rétroaction d'apprentissage de l'IA deviendrait si rapide qu'elle dépasserait la compréhension humaine et induirait des changements imprévisibles.

Ses scénarios ne partent pas non plus du postulat que les IA, pas plus que leurs auteurs ou exploitants, seraient mal intentionnés. Certains des hacks qu'il évoque ne nécessitent même pas de percées majeures dans la recherche.

Il estime en revanche qu'ils s'amélioreront au fur et à mesure que les techniques d'IA deviendront plus sophistiquées et que cette évolution adviendra logiquement, au fur et à mesure de leurs avancées en termes d'apprentissage, de compréhension et de résolution de problèmes.

MacGyver était un hacker

Schneier rappelle que la défunte hackeuse et auteure Jude Milhon (St. Jude), pionnière de la mouvance cypherpunk, estimait que « le hack est un contournement intelligent des limites imposées, que ces limites soient imposées par votre gouvernement, votre propre personnalité ou les lois de la physique », et revient donc sur la définition du terme « hack » :

1. Une exploitation intelligente et fortuite d'un système qui : a) subvertit les règles ou normes de ce système, b) aux dépens d'une autre partie de ce système.
2. Quelque chose qu'un système permet, mais non anticipé par ses concepteurs.

Le hacking ne serait donc pas du ressort de « la triche » sans foi ni loi, mais suit des règles, et subvertit leur intention. C'est une exploitation, consistant à « jouer avec le système ». Ou, dit autrement : « MacGyver était un hacker ». Les systèmes étant optimisés pour des résultats spécifiques, le hacking n'est donc jamais que la poursuite d'un autre résultat, « souvent au détriment de l'optimisation d'origine ».

Or, les systèmes ont tendance à être rigides, limitent ce que nous pouvons faire et, invariablement, certains d'entre nous veulent pouvoir en faire autre chose : « Alors on hacke. Pas tout le monde, bien sûr. Tout le monde n'est pas un hacker. Mais nous sommes assez nombreux ».

Si le code fiscal n'est pas un logiciel, et s'il ne requiert pas un ordinateur, rien n'empêche de le considérer comme un « code » au sens informatique du terme, à savoir une série d'algorithmes qui prend une entrée – des informations financières pour l'année – et produit une sortie : le montant de l'impôt dû. « C'est déterministe, ou du moins censé l'être », relève Schneier.

Or, tous les logiciels contiennent des défauts, ou bogues, qu'il s'agisse d'erreurs de spécification, de programmation, voire d'implémentation. Pour le coup, « les chiffres peuvent surprendre, mais les applications logicielles modernes ont généralement des centaines, voire des milliers de bogues », sans que cela les empêche de fonctionner ni qu'ils soient forcément détectés.

Mais ils sont là, introduisent des failles de sécurité, ou vulnérabilités, qu'un attaquant pourrait exploiter afin de subvertir les fonctionnalités escomptées.

Les impôts ont un code, ils ont donc des bogues