Cela fait presque trois ans que GPT-3 a été présenté, en mai 2020. Depuis lors, le modèle de génération de texte de l’IA a suscité beaucoup d’intérêt pour sa capacité à créer du texte qui ressemble et sonne comme s’il avait été écrit par un humain. Il semble maintenant que la prochaine itération du logiciel, GPT-4, soit pour bientôt, avec une date de sortie estimée au début de 2023.
Malgré la nature très attendue de ces nouvelles sur l’IA, les détails exacts sur GPT-4 ont été plutôt vagues. OpenAI, la société à l’origine de TPG-4, n’a pas divulgué publiquement beaucoup d’informations sur le nouveau modèle, telles que ses caractéristiques ou ses capacités. Néanmoins, les récentes avancées dans le domaine de l’IA, notamment en ce qui concerne le traitement du langage naturel (NLP), peuvent donner quelques indices sur ce que nous pouvons attendre de GPT-4.
Qu’est-ce que les TPG ?
Avant d’entrer dans les détails, il est utile d’établir une base de référence sur ce que sont les TPG. GPT est l’acronyme de Generative Pre-trained Transformer (transformateur préformé génératif) et désigne un modèle de réseau neuronal d’apprentissage profond entraîné sur des données disponibles sur Internet pour créer de grands volumes de texte généré par la machine.
GPT-3 est la troisième génération de cette technologie et constitue l’un des modèles de génération de texte d’IA les plus avancés actuellement disponibles.
Pensez que GPT-3 fonctionne un peu comme les assistants vocaux, tels que Siri ou Alexa, mais à une échelle beaucoup plus grande. Au lieu de demander à Alexa de jouer votre chanson préférée ou à Siri de taper votre texte, vous pouvez demander à GPT-3 d’écrire un eBook entier en quelques minutes ou de générer 100 idées de posts sur les médias sociaux en moins d’une minute. Tout ce que l’utilisateur doit faire, c’est fournir une invite, par exemple : « Rédigez-moi un article de 500 mots sur l’importance de la créativité. » Tant que l’invite est claire et précise, GPT-3 peut écrire à peu près tout ce que vous lui demandez.
Depuis sa mise à disposition du grand public, GPT-3 a trouvé de nombreuses applications professionnelles. Les entreprises l’utilisent pour le résumé de texte, la traduction de langues, la génération de codes et l’automatisation à grande échelle de presque toutes les tâches d’écriture.
Cela dit, si GPT-3 est sans aucun doute très impressionnant dans sa capacité à créer des textes d’apparence humaine hautement lisibles, il est loin d’être parfait. Des problèmes ont tendance à apparaître lorsqu’on lui demande d’écrire des textes plus longs, en particulier lorsqu’il s’agit de sujets complexes qui nécessitent une certaine perspicacité. Par exemple, une demande de génération de code informatique pour un site Web peut renvoyer un code correct mais sous-optimal, de sorte qu’un codeur humain doit y apporter des améliorations. Il en va de même pour les documents volumineux : plus le volume de texte est important, plus il est probable que des erreurs, parfois désopilantes, apparaissent et doivent être corrigées par un rédacteur humain.
En bref, GPT-3 ne remplace pas complètement les rédacteurs ou les codeurs humains, et il ne faut pas le considérer comme tel. Le GPT-3 doit plutôt être considéré comme un assistant d’écriture, qui peut faire gagner beaucoup de temps aux gens lorsqu’ils ont besoin de générer des idées d’articles de blog ou des ébauches de textes publicitaires ou de communiqués de presse.
Plus de paramètres = meilleurs résultats ?
Ce qu’il faut comprendre des modèles d’IA, c’est qu’ils utilisent des paramètres pour faire des prédictions. Les paramètres d’un modèle d’IA définissent le processus d’apprentissage et structurent les résultats. Le nombre de paramètres d’un modèle d’IA a généralement été utilisé comme une mesure de la performance. Plus il y a de paramètres, plus le modèle est puissant, fluide et prévisible, du moins selon l’hypothèse de la mise à l’échelle.
Par exemple, lorsque GPT-1 a été publié en 2018, il comptait 117 millions de paramètres. GPT-2, sorti un an plus tard, comptait 1,2 milliard de paramètres, tandis que GPT-3 a porté ce nombre encore plus haut, à 175 milliards de paramètres. Selon une interview d’août 2021 avec Wired, Andrew Feldman, fondateur et PDG de Cerebras, une entreprise partenaire d’OpenAI, a mentionné que GPT-4 aurait environ 100 trillions de paramètres. Cela rendrait GPT-4 100 fois plus puissant que GPT-3, un saut quantique dans la taille des paramètres qui, naturellement, a rendu beaucoup de gens très enthousiastes.
Cependant, malgré la prétention de Feldman, il y a de bonnes raisons de penser que la TPG-4 n’aura pas 100 trillions de paramètres. Plus le nombre de paramètres est élevé, plus l’apprentissage et le réglage fin d’un modèle sont coûteux en raison de l’énorme puissance de calcul requise.
En outre, d’autres facteurs que le nombre de paramètres déterminent l’efficacité d’un modèle. Prenons l’exemple de Megatron-Turing NLG, un modèle de génération de texte élaboré par Nvidia et Microsoft, qui compte plus de 500 milliards de paramètres. Malgré sa taille, MT-NLG n’arrive pas à la cheville de GPT-3 en termes de performances. En bref, plus gros ne signifie pas nécessairement meilleur.
Il y a de fortes chances que GPT-4 ait effectivement plus de paramètres que GPT-3, mais il reste à voir si ce nombre sera supérieur d’un ordre de grandeur. Au lieu de cela, il y a d’autres possibilités intrigantes qu’OpenAI est probablement en train de poursuivre, comme un modèle plus léger qui se concentre sur des améliorations qualitatives dans la conception et l’alignement algorithmique. L’impact exact de ces améliorations est difficile à prévoir, mais ce que l’on sait, c’est qu’un modèle clairsemé peut réduire les coûts de calcul grâce à ce que l’on appelle le calcul conditionnel, c’est-à-dire que tous les paramètres du modèle d’IA ne seront pas activés en permanence, ce qui est similaire au fonctionnement des neurones dans le cerveau humain.
Alors, que pourra faire GPT-4 ?
Jusqu’à ce qu’OpenAI fasse une nouvelle déclaration ou même publie GPT-4, nous ne pouvons que spéculer sur la façon dont il sera différent de GPT-3. Quoi qu’il en soit, nous pouvons faire quelques prédictions
Bien que l’avenir du développement de l’apprentissage profond de l’IA soit multimodal, GPT-4 restera probablement uniquement textuel. En tant qu’êtres humains, nous vivons dans un monde multisensoriel rempli de différentes entrées audio, visuelles et textuelles. Il est donc inévitable que le développement de l’IA produise un jour un modèle multimodal capable d’intégrer une variété d’entrées.
Cependant, un bon modèle multimodal est beaucoup plus difficile à concevoir qu’un modèle uniquement textuel. La technologie n’est tout simplement pas encore au point et, compte tenu de ce que nous savons des limites de la taille des paramètres, il est probable qu’OpenAI se concentre sur l’expansion et l’amélioration d’un modèle textuel.
Il est également probable que GPT-4 sera moins dépendant d’un guidage précis. L’un des inconvénients de GPT-3 est que les invites textuelles doivent être rédigées avec soin pour obtenir le résultat souhaité. Lorsque les messages-guides ne sont pas rédigés avec soin, vous pouvez obtenir des résultats qui ne sont pas véridiques, qui sont toxiques ou qui reflètent même des opinions extrémistes. Cela fait partie de ce que l’on appelle le « problème d’alignement », qui fait référence aux difficultés rencontrées pour créer un modèle d’IA qui comprenne parfaitement les intentions de l’utilisateur. En d’autres termes, le modèle d’IA n’est pas aligné sur les objectifs ou les intentions de l’utilisateur. Étant donné que les modèles d’IA sont formés à l’aide d’ensembles de données textuelles provenant d’Internet, il est très facile pour les biais, les faussetés et les préjugés humains de se frayer un chemin dans les textes produits.
Cela dit, il y a de bonnes raisons de croire que les développeurs progressent sur le problème de l’alignement. Cet optimisme provient de certaines percées dans le développement d’InstructGPT, une version plus avancée de GPT-3 qui est entraînée sur la base du feedback humain pour suivre de plus près les instructions et les intentions des utilisateurs. Les juges humains ont constaté qu’InstructGPT était beaucoup moins dépendant que GPT-3 d’une bonne incitation.
Il convient toutefois de noter que ces tests n’ont été réalisés qu’avec des employés d’OpenAI, un groupe assez homogène qui ne diffère pas forcément beaucoup en termes de sexe, de religion ou d’opinions politiques. Il y a fort à parier que GPT-4 subira une formation plus diversifiée qui améliorera l’alignement pour différents groupes, mais il reste à voir dans quelle mesure.
GPT-4 remplacera-t-il les humains ?
Malgré les promesses de GPT-4, il est peu probable qu’il remplace complètement le besoin de rédacteurs et de codeurs humains. Il y a encore beaucoup de travail à faire, de l’optimisation des paramètres à la multimodalité en passant par l’alignement. Il faudra sans doute attendre de nombreuses années avant de voir un générateur de texte capable d’atteindre une compréhension véritablement humaine des complexités et des nuances de l’expérience de la vie réelle.
Malgré tout, il y a de bonnes raisons de se réjouir de l’arrivée de GPT-4. L’optimisation des paramètres – plutôt que la simple croissance des paramètres – conduira probablement à un modèle d’IA doté d’une puissance de calcul bien supérieure à celle de son prédécesseur. Et l’amélioration de l’alignement rendra probablement le TPG-4 beaucoup plus convivial.
En outre, nous ne sommes encore qu’au début du développement et de l’adoption des outils d’IA. De nouveaux cas d’utilisation de la technologie sont constamment découverts, et à mesure que les gens gagnent en confiance et se sentent plus à l’aise avec l’utilisation de l’IA sur le lieu de travail, il est presque certain que nous verrons l’adoption généralisée des outils d’IA dans presque tous les secteurs d’activité dans les années à venir.
