L’une des entreprises qui pourrait être considérée comme l’un des leaders de ce secteur est OpenAI. Ce n’est pas en vain qu’il est proposé par l’intelligence artificielle que la plupart d’entre vous connaissent très bien, ChatGPT. Une bonne partie de ces propositions nous permettent déjà générer des textes automatiquementégalement des images, des vidéos ou du code de programmation.
Mais dans la plupart des cas, quelque chose qui affecte directement le ChatGPT susmentionné, le la latence est un problème majeur. Par exemple, cela affecte considérablement des scénarios tels que la programmation d’indices de code et la modification de documents longs. Cette latence peut affecter considérablement l’expérience utilisateur globale. C’est pourquoi certaines de ces grandes entreprises se sont mises au travail pour tenter de résoudre ce problème.
Vous avez sûrement vécu à plusieurs reprises la situation désagréable qui, lorsqu'il s'agit d'obtenir le résultats souhaités de l’IAon passe plus de temps que prévu. Évidemment, la plupart des utilisateurs préféreraient obtenir un tel contenu automatique instantanément. Il faut tenir compte du fait que les API actuelles des grands modèles de langage nécessitent aujourd'hui que tout le contenu demandé soit régénéré. Cela entraîne une latence considérable pour les utilisateurs.
Par conséquent, OpenAI tente actuellement de résoudre ce problème avec une nouvelle fonctionnalité destinée aux développeurs.
Il s'agit de la fonction Predicted Outputs pour accélérer l'IA
Plus précisément, nous faisons référence à fonction appelée Sorties prédites que veut le géant de la technologie implémenter dans votre ChatTGPT populaire. Cette fonction est une fonctionnalité qui peut être utilisée dans les cas où la plupart des résultats sont connus à l'avance.
Ici, des tâches aussi courantes en intelligence artificielle que l’édition de documents ou l’obtention de code source entrent en jeu. Tout cela peut être considérablement amélioré grâce à cette fonction. Predicted Outputs utilise une méthode interne pour ignorer le contenu connu, ce qui rend les itérations beaucoup plus rapides. Cela signifie que nous obtiendrons des résultats en beaucoup moins de temps.
De cette manière, les développeurs peuvent réduire considérablement la latence en transmettant le contenu existant comme prédiction. De plus, ils pourront régénérer tout le contenu beaucoup plus rapidement grâce à ce nouvel outil.
Il convient de mentionner qu'OpenAI a testé cette fonctionnalité avec certains partenaires externes et les résultats ont été très positifs en termes d'augmentation des performances. Pour vous donner une idée, à partir des tests comparatifs de l'équipe de MicrosoftGitHubles résultats dans les charges de travail de Espace de travail copilote autorisé multiplier la vitesse par 5,8 du processus d’IA.
Cela signifie que les résultats sont très rapides et que l’utilisation de l’intelligence artificielle par les utilisateurs s’améliorera considérablement. Bien entendu, lors de l’utilisation des sorties prédites, il existe certaines limitations pour les développeurs. Par exemple, il n'est pris en charge que par la série de modèles de langage GPT-4o et GPT-4o-mini.
Malgré cela, les avantages potentiels de cette nouvelle fonctionnalité sont substantiels et permettent de rendre les grands modèles de langage plus efficaces et plus rapides.