La concurrence en IA s'intensifie, qui pourra l'emporter dans la "bataille des cent modèles" ?
Le mois dernier, une "guerre des animaux" a éclaté dans le domaine de l'IA. D'un côté se trouve le modèle Llama (lama) lancé par Meta, de l'autre le grand modèle nommé Falcon (faucon).
Llama est très apprécié des développeurs en raison de sa nature open source. Après avoir étudié le papier et le code source de Llama, la société japonaise NEC a rapidement développé un chatbot en japonais. Falcon, quant à lui, a été développé par l'Institut de recherche en innovation technologique des Émirats, et a précédemment surpassé Llama dans le classement des modèles open source.
Actuellement, le domaine de l'IA est entré dans la phase de "la lutte des grands". Des pays et des entreprises puissants s'efforcent de créer leurs propres modèles de langage. Rien qu'au sein de la région du Golfe, l'Arabie Saoudite a acheté plus de 3000 puces H100 pour les universités nationales afin de les utiliser pour l'entraînement.
Ce phénomène de "un pays, un modèle" suscite des interrogations : comment la technologie de l'IA, prétendument à haute barrière d'entrée, a-t-elle évolué en une "guerre des centaines de modèles" ?
L'algorithme Transformer change les règles du jeu
L'émergence actuelle de divers grands modèles est due au papier "Attention Is All You Need" publié par Google en 2017. L'algorithme Transformer proposé dans ce document est devenu la clé de cette vague actuelle d'IA.
Le Transformer a résolu le problème des réseaux de neurones précoces qui avaient du mal à comprendre le contexte des longs textes. Il utilise un codage de position au lieu d'une conception récurrente, réalisant des calculs parallèles et améliorant considérablement l'efficacité de l'entraînement. Cela a permis à l'IA de passer de la recherche théorique à la pratique d'ingénierie, favorisant l'avènement de l'ère des grands modèles.
En 2019, OpenAI a développé le modèle GPT-2 basé sur Transformer. Par la suite, Google a lancé Meena, qui est plus performant, principalement en augmentant les paramètres et la puissance de calcul. Cette méthode de "bâtir de manière violente" a choqué le monde académique.
Aujourd'hui, la vitesse d'innovation des algorithmes de base ralentit, et des éléments d'ingénierie tels que l'ingénierie des données et l'échelle de calcul deviennent clés dans la compétition en IA. Les entreprises technologiques ayant une certaine force technique peuvent toutes développer de grands modèles.
Il est facile d'entrer, mais difficile de réussir
Bien que le seuil d'entrée ne soit pas élevé, il n'est pas facile de devenir une entreprise leader à l'ère de l'IA. Prenons l'exemple de la rivalité entre Falcon et Llama : bien que Falcon soit mieux classé, il a du mal à avoir un impact significatif sur Meta.
Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta a établi sa voie open source dès 2015 et maîtrise l'art de l'exploitation communautaire. Actuellement, la série Llama est devenue la référence des LLM open source, et de nombreux modèles ont été développés sur cette base.
En termes de performance, la plupart des LLM présentent encore un écart significatif par rapport à GPT-4. Dans le test AgentBench, GPT-4 a obtenu un score de 4,41, loin devant, tandis que le deuxième, Claude, n'a obtenu que 2,77, et les modèles open source se situent souvent autour de 1.
La différence est due à l'équipe de scientifiques de pointe d'OpenAI et à une expérience accumulée sur le long terme. Ainsi, l'avantage principal des grands modèles réside dans la construction d'un écosystème ou dans leur capacité de raisonnement pure, et non dans une simple accumulation de paramètres.
Le déséquilibre entre coûts et revenus devient un problème
Actuellement, les fournisseurs de grands modèles font face à un déséquilibre grave entre les coûts et les revenus. On estime que les entreprises technologiques du monde entier investiront chaque année 200 milliards de dollars dans l'infrastructure des grands modèles, mais les revenus n'atteindront au mieux que 75 milliards de dollars, ce qui crée un écart d'au moins 125 milliards de dollars.
Même des géants comme Microsoft et Adobe ont du mal à être rentables avec leurs produits d'IA. Par exemple, GitHub Copilot coûte 20 dollars par utilisateur et par mois, et les utilisateurs intensifs entraînent même des pertes de 80 dollars pour Microsoft. Adobe a dû mettre en place un système de points pour limiter l'utilisation.
Pour la plupart des grands modèles avec une multitude de paramètres, les principales applications restent limitées aux conversations. Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles seront confrontés à des défis plus importants.
À l'avenir, les entreprises d'IA qui réussiront vraiment ne se mesureront peut-être pas à leur modèle en soi, mais à la manière dont elles parviennent à combiner l'IA en profondeur avec des scénarios d'application réels, créant ainsi une véritable valeur pour les utilisateurs. Tout comme le succès de l'iPhone 4 ne reposait pas sur le processeur, mais sur un écosystème d'applications riche.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
14 J'aime
Récompense
14
3
Partager
Commentaire
0/400
CommunityLurker
· Il y a 21h
Copier les devoirs ne coûte rien
Voir l'originalRépondre0
Web3ExplorerLin
· Il y a 21h
hypothèse : ce drame AI ressemble aux premières guerres de la blockchain... mêmes vibrations fr
Voir l'originalRépondre0
GateUser-4745f9ce
· Il y a 21h
N'est-ce pas que la compétition interne est arrivée avec l'IA ?
La concurrence entre les grands modèles d'IA s'intensifie, le seuil technologique goutte, et la rentabilité devient un problème.
La concurrence en IA s'intensifie, qui pourra l'emporter dans la "bataille des cent modèles" ?
Le mois dernier, une "guerre des animaux" a éclaté dans le domaine de l'IA. D'un côté se trouve le modèle Llama (lama) lancé par Meta, de l'autre le grand modèle nommé Falcon (faucon).
Llama est très apprécié des développeurs en raison de sa nature open source. Après avoir étudié le papier et le code source de Llama, la société japonaise NEC a rapidement développé un chatbot en japonais. Falcon, quant à lui, a été développé par l'Institut de recherche en innovation technologique des Émirats, et a précédemment surpassé Llama dans le classement des modèles open source.
Actuellement, le domaine de l'IA est entré dans la phase de "la lutte des grands". Des pays et des entreprises puissants s'efforcent de créer leurs propres modèles de langage. Rien qu'au sein de la région du Golfe, l'Arabie Saoudite a acheté plus de 3000 puces H100 pour les universités nationales afin de les utiliser pour l'entraînement.
Ce phénomène de "un pays, un modèle" suscite des interrogations : comment la technologie de l'IA, prétendument à haute barrière d'entrée, a-t-elle évolué en une "guerre des centaines de modèles" ?
L'algorithme Transformer change les règles du jeu
L'émergence actuelle de divers grands modèles est due au papier "Attention Is All You Need" publié par Google en 2017. L'algorithme Transformer proposé dans ce document est devenu la clé de cette vague actuelle d'IA.
Le Transformer a résolu le problème des réseaux de neurones précoces qui avaient du mal à comprendre le contexte des longs textes. Il utilise un codage de position au lieu d'une conception récurrente, réalisant des calculs parallèles et améliorant considérablement l'efficacité de l'entraînement. Cela a permis à l'IA de passer de la recherche théorique à la pratique d'ingénierie, favorisant l'avènement de l'ère des grands modèles.
En 2019, OpenAI a développé le modèle GPT-2 basé sur Transformer. Par la suite, Google a lancé Meena, qui est plus performant, principalement en augmentant les paramètres et la puissance de calcul. Cette méthode de "bâtir de manière violente" a choqué le monde académique.
Aujourd'hui, la vitesse d'innovation des algorithmes de base ralentit, et des éléments d'ingénierie tels que l'ingénierie des données et l'échelle de calcul deviennent clés dans la compétition en IA. Les entreprises technologiques ayant une certaine force technique peuvent toutes développer de grands modèles.
Il est facile d'entrer, mais difficile de réussir
Bien que le seuil d'entrée ne soit pas élevé, il n'est pas facile de devenir une entreprise leader à l'ère de l'IA. Prenons l'exemple de la rivalité entre Falcon et Llama : bien que Falcon soit mieux classé, il a du mal à avoir un impact significatif sur Meta.
Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta a établi sa voie open source dès 2015 et maîtrise l'art de l'exploitation communautaire. Actuellement, la série Llama est devenue la référence des LLM open source, et de nombreux modèles ont été développés sur cette base.
En termes de performance, la plupart des LLM présentent encore un écart significatif par rapport à GPT-4. Dans le test AgentBench, GPT-4 a obtenu un score de 4,41, loin devant, tandis que le deuxième, Claude, n'a obtenu que 2,77, et les modèles open source se situent souvent autour de 1.
La différence est due à l'équipe de scientifiques de pointe d'OpenAI et à une expérience accumulée sur le long terme. Ainsi, l'avantage principal des grands modèles réside dans la construction d'un écosystème ou dans leur capacité de raisonnement pure, et non dans une simple accumulation de paramètres.
Le déséquilibre entre coûts et revenus devient un problème
Actuellement, les fournisseurs de grands modèles font face à un déséquilibre grave entre les coûts et les revenus. On estime que les entreprises technologiques du monde entier investiront chaque année 200 milliards de dollars dans l'infrastructure des grands modèles, mais les revenus n'atteindront au mieux que 75 milliards de dollars, ce qui crée un écart d'au moins 125 milliards de dollars.
Même des géants comme Microsoft et Adobe ont du mal à être rentables avec leurs produits d'IA. Par exemple, GitHub Copilot coûte 20 dollars par utilisateur et par mois, et les utilisateurs intensifs entraînent même des pertes de 80 dollars pour Microsoft. Adobe a dû mettre en place un système de points pour limiter l'utilisation.
Pour la plupart des grands modèles avec une multitude de paramètres, les principales applications restent limitées aux conversations. Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles seront confrontés à des défis plus importants.
À l'avenir, les entreprises d'IA qui réussiront vraiment ne se mesureront peut-être pas à leur modèle en soi, mais à la manière dont elles parviennent à combiner l'IA en profondeur avec des scénarios d'application réels, créant ainsi une véritable valeur pour les utilisateurs. Tout comme le succès de l'iPhone 4 ne reposait pas sur le processeur, mais sur un écosystème d'applications riche.