Meta AI, la division de Meta spécialisée dans l’intelligence artificielle, a publiés la semaine dernière un article de recherche détaillant Toolformer, un nouveau modèle de langage décrit comme étant capable d’apprendre à utiliser des outils, y compris des API externes, de manière autonome sans avoir besoin d’annotations humaines. Le fait que des outils externes puissent être fixés sur un modèle de langage pour améliorer ses performances n’est pas une idée nouvelle. Ce qui est nouveau ici, c’est que Toolformer a appris à le faire par lui-même, ce qui lui permet d’accéder à un ensemble beaucoup plus large d’outils de manière autogérée.
Le langage naturel est le langage de programmation du cerveau, a écrit l’auteur de science-fiction Neal Stephenson dans son roman Snow Crash (1992). Les récentes avancées dans le traitement automatique du langage naturel (NLP) montrent que le langage naturel peut également être le langage de programmation des machines, à mesure qu’elles parviennent à mieux le comprendre. Bien que les grands modèles de langage (LLM) tels que ChatGPT et GPT-3 aient révolutionné le domaine du traitement du langage naturel, ils ont encore beaucoup de mal à accomplir certaines tâches de base comme l’arithmétique et la vérification des faits.
Jeudi dernier, des chercheurs de Meta ont dévoilé Toolformer, un modèle linguistique d’IA capable d’apprendre à utiliser des outils externes tels que des moteurs de recherche, des calculatrices et des calendriers sans sacrifier ses capacités fondamentales de modélisation du langage naturel. D’après l’article de recherche publié par l’équipe, l’approche avec Toolformer est basée sur le concept d’apprentissage en contexte et la génération d’ensembles de données à partir de zéro. À partir de quelques exemples d’utilisation d’une API, Toolformer annote un grand ensemble de données de modélisation du langage avec des appels d’API potentiels.
