Pourquoi les humains sont-ils plus intelligents que les lamas ? Les limites de l'IA moderne

Au cours des 30 dernières années, l'intelligence artificielle (IA) a fait des progrès fulgurants. Les ordinateurs correctement programmés sont très bien adaptés à des tâches spécifiques et peuvent surpasser les humains à bien des égards. En revanche, l'IA reste encore en deçà des performances humaines à bien des égards. Un être humain peut observer un nouvel animal une seule fois et l'identifier relativement facilement dans un contexte différent (ce qu'on appelle l'apprentissage en un seul essai), alors que les IA actuelles auraient besoin de milliers, voire de millions d'exemples pour y parvenir. Un être humain peut apprendre une tâche, puis en apprendre une nouvelle, alors que cela semble poser de grandes difficultés à l’IA. Un cerveau humain consomme environ 0,3 kWh par jour, alors queChatGPT nécessite à peu près la même quantité d’énergie pour répondre à une seule requête. Pour de nombreuses tâches, même l’IA de pointe a encore un long chemin à parcourir avant de surpasser les humains.

Pourquoi donc ? Après tout, la plupart des architectures modernes d'IA reposent sur des réseaux neuronaux (RN), qui ont été initialement conçus pour simuler le cerveau humain. Dans cet article, Francesco Di Lallo examine certains des défis liés à la mise en œuvre d'une « intelligence artificielle générale » :

Comment fonctionnent le cerveau et les réseaux neuronaux ?

Le cerveau fonctionne en recevant des informations, provenant par exemple des yeux, qui génèrent alors une stimulation électrique au niveau des neurones du cortex visuel. Lorsqu’un neurone atteint un certain seuil de stimulation, il s’active et envoie un signal aux autres neurones auxquels il est relié par des synapses. Ce processus se répète ensuite à mesure que les signaux électriques se propagent à travers le cerveau. Finalement, le signal d’entrée est traité et une décision est prise. Par exemple : information – un lion qui court vers vous ; décision – s'enfuir.

Un réseau neuronal fonctionne de manière assez similaire. Il reçoit une donnée d'entrée, telle qu'une image, qui traverse une série de nœuds (ou neurones) reliés entre eux par des synapses. Chacun de ces nœuds et chacune de ces synapses modifie le signal entrant jusqu'à ce qu'il atteigne la sortie, où une décision est prise. Par exemple, si la donnée d'entrée est l'image d'un lion, on souhaite que le réseau la classe correctement comme étant un lion et non une grenouille.

Cette description du cerveau et du réseau neuronal est évidemment une simplification excessive, mais elle suffit pour aborder le sujet qui nous intéresse.

Un réseau neuronal apprend en observant un très grand nombre d’exemples et en apportant de légers ajustements à divers paramètres de son réseau. Dans le cas du lion contre la grenouille, le réseau examinera de nombreuses images représentant un lion ou une grenouille, puis émettra une hypothèse qu’il comparera à la bonne réponse. Si la supposition est correcte, il « renforcera » les connexions neuronales correspondantes ; si elle est incorrecte, il « affaiblira » ces mêmes connexions. Ce processus, appelé « rétropropagation », correspond à la manière dont les informaticiens des années 1960 concevaient l’apprentissage du cerveau.

Peut-on résoudre ce problème en utilisant des ordinateurs plus puissants et en traitant davantage de données ?

Le cerveau humain compte environ 100 milliards de neurones et 100 000 milliards de synapses. On pourrait comparer cela à un modèle comportant environ 100 000 milliards de paramètres entraînables. À titre de comparaison, « Llama 3 » de Meta – qui a donné son nom à cet article –necompte« que » 70 milliards de paramètres entraînables. La solution ne consisterait-elle pas à faire évoluer Llama 3, ou un autre modèle, vers 100 000 milliards de paramètres pour atteindre le même niveau d’intelligence que celui d’un être humain ?

Pas tout à fait.

Un théorème fondamental de l’apprentissage automatique stipule que les réseaux neuronaux sont capables de traiter des tâches d’une complexité arbitraire. Plus précisément, ils peuvent approximer n’importe quelle fonction continue (résultat établi par Cybenko en 1988). Par conséquent, en théorie, pour toute tâche « bien posée », un réseau neuronal suffisamment grand sera capable de la résoudre. Si les mathématiciens peuvent se contenter de l’existence théorique d’un réseau neuronal approprié, le véritable défi réside dans la manière de construire concrètement un tel réseau. Cela s’avère plus facile à dire qu’à faire. L’efficacité des architectures et des algorithmes d’apprentissage modernes présente en effet certaines limites.

L'une de ces limites est le problème du gradient nul. Ce phénomène se produit dans les réseaux profonds, où il est extrêmement difficile d'ajuster les paramètres situés au début du réseau. Pour un réseau suffisamment profond, ajouter sans cesse de nouvelles couches (ce qui augmente le nombre de paramètres) s'avère vain, car les paramètres situés au début deviennent impossibles à entraîner. Il existe des moyens de tenter de contourner ce problème, tels que la normalisation par lots et l’écrêtage des gradients, mais le problème persiste. Se contenter d’agrandir un réseau ne permettra pas de résoudre le problème de l’intelligence artificielle générale.

Pour aggraver encore la situation, l’efficacité des réseaux neuronaux se heurte à d’autres contraintes pratiques, telles que la quantité de données d’entraînement disponibles et les ressources informatiques. On estime que si ChatGPT avait été entraîné sur un seul GPU, cela aurait pris environ 355 ans.

Étant donné que les réseaux neuronaux (NN) nécessitent d’importants volumes de données pour leur apprentissage, la disponibilité de données de qualité est devenue primordiale. Le récent outil « AI Overview » de Google en est un parfait exemple. Alimenté par les informations et les données qu’il a trouvées sur le Web, cet outil affiche un résumé rapide des réponses aux requêtes de recherche en haut de la page de résultats de Google. Cependant, toute personne ayant passé un peu de temps sur Internet sait bien que le Web regorge d’absurdités. C’est ainsi que l’« AI Overview » a suggéré, avec bienveillance, d’améliorer sa santé en « mangeant au moins un petit caillou par jour », sans se rendre compte qu’il avait tiré cette citation du journal satirique The Onion. Il ne s’agit pas seulement de disposer d’une grande quantité de données, mais celles-ci doivent également présenter une certaine fiabilité pour qu’une IA puisse s’entraîner efficacement.

Des ordinateurs rigides face à des cerveaux malléables

Le cerveau possède la capacité – appelée neuroplasticité – de se reconfigurer et d’adopter de nouveaux modes de fonctionnement. Comparés au cerveau humain, la plupart des réseaux neuronaux modernes ont une structure relativement rigide : ils ne sont pas capables de « développer » de nouveaux nœuds ni de former de nouvelles connexions synaptiques. Il existe certes des mécanismes tels que les « forget gates » et l’élagage des poids, mais ces solutions n’atteignent pas encore le niveau de neuroplasticité du cerveau. La neuroplasticité semble être un aspect fondamental de l’apprentissage et de l’intelligence humains. La rigidité relative des réseaux neuronaux semble constituer une limitation majeure à leur capacité à imiter les humains.

De par leur conception, les réseaux neuronaux s’adaptent au problème qui leur est soumis. Un réseau neuronal entraîné à reconnaître l’écriture manuscrite ne sera pas capable de classer avec précision des animaux sans un réentraînement approfondi. Un être humain est capable de faire les deux avec une relative facilité. De nombreuses recherches sont menées dans le domaine de l’apprentissage multitâche, mais au-delà de la mise en œuvre naïve consistant à utiliser des réseaux différents pour des tâches différentes, peu de progrès ont été réalisés.

L'un des problèmes évidents auxquels se heurte un réseau plus généralisable, par exemple, est la manière dont les informations doivent être introduites : imaginons que l'on souhaite disposer d'une IA capable de jouer à Tetris et d'effectuer des traductions anglais-français ; le réseau devra alors être capable de recevoir en entrée aussi bien une série de mots qu'une image – ce qui s'avère n'être pas si simple.

D’autres tentatives d’entraînement de réseaux neuronaux multitâches ont mis en évidence que les IA ont du mal à conserver les anciennes informations lorsqu’elles en acquièrent de nouvelles. Ce phénomène a été mis en lumière lorsque DeepMind a tenté d’entraîner un réseau neuronal à jouer à 57 jeux différents sur Atari 2600. En mars 2020, DeepMind a réussi à entraîner un réseau neuronal dont les performances dépassaient celles d’un humain de référence dans les 57 jeux – mais les difficultés rencontrées dans ce processus soulignent l’ampleur du problème de l’« intelligence générale ».

Les réseaux neuronaux apprennent-ils vraiment comme le cerveau ?

Résoudre le problème de l'architecture des réseaux neuronaux ne suffit pas. Une autre limite majeure réside dans la manière dont le réseau est entraîné. Les réseaux neuronaux s'appuient sur un algorithme externe « omniscient » capable de leur indiquer la bonne réponse, de leur préciser à quel point ils s'en sont rapprochés ou en ont été éloignés, et de leur expliquer comment modifier les paramètres du réseau.

Sans entrer dans un débat théologique, il semblerait que ce ne soit pas ce qui se passe dans le cerveau, qui ne dispose pas de cet environnement rigide capable de fournir les signaux d’erreur précis requis pour la rétropropagation. Les cerveaux pourraient receler un processus d’autorégulation interne capable d’attribuer du crédit à une « bonne réponse ». Une étude récente menée à Oxford a proposé un nouveau mécanisme appelé « configuration prospective », dans lequel les chercheurs décrivent un ours se rendant à une rivière pour pêcher. En voyant la rivière, l’ours a appris à s’attendre à entendre le bruit de l’eau et à sentir l’odeur du saumon. Cependant, un jour, l’ours arrive à la rivière avec les oreilles bouchées et ne peut donc pas entendre le bruit de l’eau. Dans la rétropropagation classique, les paramètres reliant les neurones visuels et auditifs seraient réduits, mais cela réduirait également les paramètres entre les neurones visuels et olfactifs. Cette réduction provoquerait une interférence catastrophique et compromettrait la capacité de l’ours à sentir l’odeur du saumon lors de sa prochaine visite.

Ce n'est évidemment pas ce qui se passe dans la réalité. L'étude avance plutôt que l'algorithme d'apprentissage permet aux neurones de s'établir dans une « configuration prospective » : cette configuration réduit les interférences entre les informations pendant l'apprentissage, de sorte que les modifications des poids n'entraînent pas d'interférences aussi importantes. La configuration prospective est un concept relativement nouveau, mais elle montre déjà des améliorations prometteuses dans des scénarios pertinents sur le plan biologique, tels que l’apprentissage en ligne (où le réseau apprend immédiatement après chaque expérience), l’apprentissage continu avec plusieurs tâches, l’apprentissage dans des environnements changeants, l’apprentissage avec un nombre limité d’exemples d’entraînement (y compris l’apprentissage en une seule fois) et l’apprentissage par renforcement. Il sera intéressant de suivre l’évolution de ce domaine.

L'avenir

Les IA actuelles obtiennent de bons résultats dans des tâches individuelles et spécifiques, qu’il s’agisse de jouer une partie d’échecs, de traduire un e-mail dans une autre langue ou de trouver des cafés à proximité, mais elles ne sont pas « intelligentes de manière générale ». La recherche actuelle en IA se heurte à au moins deux problèmes qui constituent des obstacles à la réalisation de l’intelligence artificielle générale : le manque de neuroplasticité des réseaux neuronaux et la difficulté à les entraîner efficacement. Surmonter l’un ou l’autre de ces deux obstacles devrait avoir un impact considérable sur les progrès vers l’intelligence artificielle générale.

Chez Barker Brettell, nous suivons avec beaucoup d’intérêt les avancées en matière d’intelligence artificielle et d’apprentissage automatique. Nous traitons régulièrement des inventions à la pointe de ces domaines ; si vous avez besoin de conseils pour protéger votre propriété intellectuelle liée à l’intelligence artificielle et à l’apprentissage automatique, n’hésitez pas à nous contacter.