Les réseaux de neurones actuels ont des architectures extrêmement complexes qui sont le résultat de bricolages astucieux plutôt que d’avancées théoriques importantes.

ResNet-152 qui date déjà de 2015 avait 517 couches, plus de 60 millions de paramètres et une taille supérieure à 240 Mégas.

GPT-3 d’OpenAi, un, modèle de type « transformer » a 175 milliards de paramètres alors que la version précédente de 2019 GPT-2 n’en avait que 1,5 milliards.

Microsoft a annoncé DeepSpeed, une librairie qui permet d’entraîner des modèles de plus de 1000 milliards de paramètres.

Ces nouveaux modèles ne sont pas seulement plus profonds, ils sont aussi plus complexes et leur architecture, souvent, ne va pas de soi.

Par ailleurs, une fois construits, ces réseaux hypercomplexes doivent être mis au point.

Contrairement aux pratiques anciennes d’il y a 2 ou 3 ans (une éternité), leurs hyperparamètres sont désormais calculés à l’aide d’algorithmes HPO (Hyperparameter Optimization) spécifiques, mais l’architecture, quant à elle est toujours l’oeuvre de l’ingénieur, même si des outils de NAS (Neural Architecture Search) augmentent la productivité.

Tout ça était vrai avant qu’AutoML Zéro existe.

AutoML Zero est un logiciel d’IA, créé par Google, dont le but est de créer des réseaux de neurones, des architectures, à partir de rien, ou du moins presque rien puisque c’est à partir d’opérations simples (addition, multiplication, … sur des scalaires, des vecteurs, des matrices, …) que le logiciel crée le réseau de neurones, et non à partir de blocs prédéfinis (comme les convolutions, ReLU, poolings, ….)

AutoML Zero est un peu au Machine Learning ce que AlphaZero est au jeu de Go ou aux échecs, c’est à dire une machine capable grâce à une énorme puissance de calcul et à des algorithmes d’IA, de réaliser des prouesses technologiques inimaginables il y a deux ans, et tout ça, sans connaissance profonde du sujet traité.

AutoML Zero n’en est encore qu’au début mais il adviendra un moment où la partie « noble » de l’IA, la partie la plus complexe et la plus fun, celle qui requiert des ingénieurs IA pointus, sera réalisée par des machines AutoML.

L’IA supprimera le recours aux ingénieurs IA.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *