Récemment, Together, une communauté open source dirigée par des chercheurs et des technocrates, a publié une nouvelle version de GPT-JT formée sur six milliards de paramètres. Ce nouveau modèle a été construit en utilisant des techniques et des ensembles de données open source récemment publiés et a été entraîné avec son approche décentralisée sur l'ordinateur de recherche Together.
Contrairement à GPT-3, qui est disponible on-demand/request, GPT-JT est maintenant disponible en Open Source.
Cliquez ici pour accéder aux codes sources et Dataset.
GPT-JT s'est très bien approché de GPT-3, text-davinci-002 (175B) en termes de performance sur les benchmarks de classification tels que RAFT (suivant le protocole d'évaluation holistique des modèles de langage (HELM)).
Together a affirmé que ce nouveau modèle est une variante du précédent GPT-J (6B) et se débrouille bien sur la classification de texte et d'autres tâches. S'appuyant sur la puissance de l'IA open source, l'équipe a déclaré que cela n'aurait pas été possible sans les travaux open source publiés par plusieurs organisations, dont EleutherAI (GPT-J-6B, GPT-NeoX), Google Research (UL2, CoT), Natural-Instructions (NI) dataset d'AllenAI, BigScience's Public Pool of Prompts (P3) dataset, Ought (RAFT) et Stanford CRFM (HELM).
Fondée en 2022, Together est un cloud décentralisé pour l'intelligence artificielle qui permet aux chercheurs, développeurs et entreprises de profiter et d'améliorer l'IA avec une plateforme intuitive combinant données, modèles et calcul. L'équipe a déclaré que leur modèle GPT-JT était inspiré par lo-fi et ProxSkip, développé par Ludwig Schmidt, Mitchell Wortsman, Peter Richtárik et d'autres. La société a hébergé ce modèle via HuggingFace, qui est le hub de l'écosystème open source d'IA.
Consultez la démo en direct ici
