Découvrez GPT-JT, l'alternative open source la plus proche de GPT-3

Ecrit le 06/01/2023
Temps de lecture : 2 minutes
Table des matières

Récemment, Together, une communauté open source dirigée par des chercheurs et des technocrates, a publié une nouvelle version de GPT-JT formée sur six milliards de paramètres. Ce nouveau modèle a été construit en utilisant des techniques et des ensembles de données open source récemment publiés et a été entraîné avec son approche décentralisée sur l'ordinateur de recherche Together.

Contrairement à GPT-3, qui est disponible on-demand/request, GPT-JT est maintenant disponible en Open Source.

Cliquez ici pour accéder aux codes sources et Dataset.

GPT-JT

GPT-JT s'est très bien approché de GPT-3, text-davinci-002 (175B) en termes de performance sur les benchmarks de classification tels que RAFT (suivant le protocole d'évaluation holistique des modèles de langage (HELM)).

 

Together a affirmé que ce nouveau modèle est une variante du précédent GPT-J (6B) et se débrouille bien sur la classification de texte et d'autres tâches. S'appuyant sur la puissance de l'IA open source, l'équipe a déclaré que cela n'aurait pas été possible sans les travaux open source publiés par plusieurs organisations, dont EleutherAI (GPT-J-6B, GPT-NeoX), Google Research (UL2, CoT), Natural-Instructions (NI) dataset d'AllenAI, BigScience's Public Pool of Prompts (P3) dataset, Ought (RAFT) et Stanford CRFM (HELM).

 

Ouvert. Évolutif. Ensemble

Fondée en 2022, Together est un cloud décentralisé pour l'intelligence artificielle qui permet aux chercheurs, développeurs et entreprises de profiter et d'améliorer l'IA avec une plateforme intuitive combinant données, modèles et calcul. L'équipe a déclaré que leur modèle GPT-JT était inspiré par lo-fi et ProxSkip, développé par Ludwig Schmidt, Mitchell Wortsman, Peter Richtárik et d'autres. La société a hébergé ce modèle via HuggingFace, qui est le hub de l'écosystème open source d'IA.

Consultez la démo en direct ici

Une question ? Un besoin ? Un projet ?
LP01

Un engagement solide avec nos partenaires et clients fidèles depuis plus de 7 ans

NOS CLIENTS

Donnez vie à vos projets grâce à notre expertise dans les technologies les plus innovantes
Contactez-nous

Les dernières actualités

La Série ( LA MINUTE JAG )

Menu
crossmenuchevron-down linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram