En aspirant le Web, l'IA s'empoisonne elle-même

De nombreux pixels ont été versés récemment au sujet des dangers liés aux entreprises d'IA qui aspirent toutes les données d'Internet, qu'elles en aient la "permission" ou non. Nous reviendrons sur la "permission" plus tard - il y a une raison pour laquelle nous avons mis ce mot entre guillemets. Mais que signifie-t-il pour les LLM lorsque le web ouvert a été complètement exploité, que les fournisseurs de contenu ont verrouillé leurs portes, et qu'il ne reste qu'un mince filet de nouvelles données à extraire ?

tagLes Dangers du Scraping par l'IA

Les entreprises d'IA traitent Internet comme un buffet de données à volonté, sans se soucier des bonnes manières. Il suffit de regarder Runway qui récolte des vidéos YouTube pour entraîner leur modèle (en violation des conditions d'utilisation de YouTube), Anthropic qui frappe iFixit un million de fois par jour et le New York Times qui poursuit OpenAI et Microsoft pour l'utilisation d'œuvres protégées par le droit d'auteur.

Essayer de bloquer les scrapers dans votre robots.txt ou dans les conditions d'utilisation n'aide en rien. Les scrapers qui s'en moquent vont scraper de toute façon, tandis que les plus respectueux seront bloqués. Il n'y a aucune incitation pour les scrapers à bien se comporter. Nous pouvons le constater dans le récent article de la Data Provenance Initiative :

Ce n'est pas qu'un problème abstrait - iFixit perd de l'argent et voit ses ressources DevOps monopolisées. ReadTheDocs a accumulé plus de 5 000 $ de frais de bande passante en un seul mois, avec près de 10 To en une seule journée, à cause de crawlers abusifs. Si vous gérez un site web et que vous êtes frappé par un crawler qui ne respecte pas les règles ? Cela pourrait être la fin.

Alors, que peut faire un site web ? Si les entreprises d'IA ne vont pas respecter les règles, attendez-vous à voir plus de paywalls apparaître et moins de contenu gratuit disponible. Le web gratuit n'existe plus. Il ne reste que le pay-to-play.

tagLe Scraping Est-il Même Légal ?

💡

Nous ne sommes pas avocats et ne pouvons pas offrir de conseils juridiques. Ce qui suit est un aperçu du droit existant, fourni à titre informatif.

Le scraping est-il problématique ? Oui. Est-il légal ? Aussi oui. Le web scraping est légal aux États-Unis, dans l'Union européenne, au Japon, en Corée du Sud et au Canada. Aucun pays ne semble avoir de lois spécifiques concernant cette pratique, mais les tribunaux du monde entier s'accordent généralement pour dire qu'il est légal d'utiliser l'automatisation pour visiter des sites web ouverts à tous et d'en faire des copies privées.

Certains pensent qu'en plaçant un avis imprimé sur une page web ou dans un fichier robots.txt, ils peuvent interdire le scraping ou d'autres utilisations légales de leur site web et de son contenu. Cela ne fonctionne pas vraiment. Ces avis n'ont aucune valeur juridique, et robots.txt est une convention IETF qui n'a pas force de loi. Sans un acte de confirmation, au minimum cliquer sur le bouton marqué "J'accepte les conditions d'utilisation", vous ne pouvez pas imposer de conditions aux visiteurs de votre site web, et même dans ce cas, elles sont souvent juridiquement inapplicables.

Cependant, bien que le scraping soit légal, il existe certaines limitations :

Les pratiques qui pourraient réduire l'utilisabilité d'un site web pour les autres, comme le frapper trop souvent ou trop rapidement avec votre web-scraper, peuvent avoir des conséquences civiles voire pénales dans les cas extrêmes.
De nombreux pays ont des lois qui criminalisent l'accès non autorisé aux ordinateurs. S'il y a des parties d'un site web qui ne sont clairement pas destinées à être accessibles au grand public, il peut être illégal de les scraper.
De nombreux pays ont des lois qui rendent illégal le contournement des technologies anti-copie. Si un site web a mis en place des mesures pour vous empêcher de télécharger du contenu, vous pourriez enfreindre la loi en le scrapant quand même.
Les sites web qui ont des conditions d'utilisation explicites, et exigent que vous confirmiez votre acceptation, peuvent interdire le scraping et vous poursuivre en justice si vous le faites, mais les résultats sont mitigés.

Aux États-Unis, il n'existe pas de loi explicite concernant le scraping, mais les tentatives d'utiliser le Computer Fraud and Abuse Act de 1986 pour l'interdire ont échoué, le plus récemment dans l'affaire du Neuvième Circuit hiQ Labs v. LinkedIn en 2019. La loi américaine est complexe, avec beaucoup de distinctions jurisprudentielles et un système de juridictions de circuit étatiques et fédérales qui signifient que tant que la Cour suprême ne statue pas sur quelque chose, ce n'est pas nécessairement définitif. (Et parfois ce n'est pas définitif même alors.)

L'UE n'a pas non plus de lois spécifiques concernant le scraping, mais c'est une pratique courante et non contestée depuis très longtemps. La clause sur l'exploration de textes et de données dans la directive européenne sur le droit d'auteur de 2019 implique fortement que le scraping est généralement légal.

Les plus gros problèmes juridiques ne concernent pas l'acte de scraping mais ce qui se passe après. Le droit d'auteur s'applique toujours aux données que vous scrapez du web. Vous pouvez en garder une copie personnelle, mais vous ne pouvez pas les redistribuer ou les revendre sans risquer des problèmes juridiques.

Faire du web scraping à grande échelle implique presque toujours de faire des copies de "données personnelles", telles que définies dans diverses lois sur la protection des données et la vie privée. Le RGPD européen (Règlement Général sur la Protection des Données) définit les "données personnelles" comme :

[T]oute information se rapportant à une personne physique identifiée ou identifiable ('personne concernée') ; est réputée être une 'personne physique identifiable' une personne physique qui peut être identifiée, directement ou indirectement, notamment par référence à un identifiant, tel qu'un nom, un numéro d'identification, des données de localisation, un identifiant en ligne, ou à un ou plusieurs éléments spécifiques propres à son identité physique, physiologique, génétique, psychique, économique, culturelle ou sociale ;

[RGPD, Art. 4.1]

Si vous possédez un stock de données personnelles concernant une personne résidant dans l'UE ou une activité ayant lieu dans l'UE, vous avez des responsabilités légales en vertu du RGPD. Sa portée est si large que vous devriez supposer que c'est vrai pour toute grande collection de données. Peu importe si vous avez collecté les données ou si quelqu'un d'autre l'a fait, si vous les avez maintenant, vous en êtes responsable. Si vous ne remplissez pas vos obligations RGPD, l'UE peut vous punir quel que soit le pays où vous vivez ou l'endroit où les données sont stockées ou traitées.

La LPRPDE canadienne (Loi sur la Protection des Renseignements Personnels et les Documents Électroniques) est similaire au RGPD. La LAPP japonaise (Loi sur la Protection des Informations Personnelles) couvre une grande partie du même terrain. Le Royaume-Uni a incorporé la plupart des éléments du RGPD dans ses lois nationales en quittant l'UE, et sauf modification ultérieure, ils sont toujours en vigueur.

Les États-Unis n'ont pas de loi comparable sur la protection des données au niveau fédéral, mais le CCPA (California Consumer Privacy Act) a des termes similaires au RGPD et s'applique si vous avez des données sur des personnes ou des activités dans l'État de Californie.

La plupart des pays développés ont des lois sur la protection des données qui limitent, au moins dans certains aspects, ce que vous pouvez faire avec des collections massives de données provenant du web. La plupart des procédures judiciaires dans le monde touchant au scraping ont porté sur la façon dont les données ont été utilisées, pas sur la façon dont elles ont été collectées.

Donc, le web scraping est presque toujours légal. C'est ce qui se passe ensuite qui devient compliqué.

tagL'Entraînement d'IA à partir du Scraping Est-il Légal ?

Probablement.

Un web scrape inclura, dans presque tous les cas réalistes, du contenu protégé par le droit d'auteur. La vraie question est : Pouvez-vous utiliser du contenu protégé par le droit d'auteur pour entraîner une IA sans permission du propriétaire ?

Il y a beaucoup de points juridiques individuels qui ne sont pas entièrement résolus, mais :

En Europe, l'Article 4 de la Directive européenne sur le droit d'auteur de 2019 semble le rendre légal avec certaines réserves.
Au Japon, l'Article 30(4) de la Loi sur le droit d'auteur, modifié en 2018, a été interprété comme autorisant l'utilisation d'œuvres protégées pour entraîner l'IA sans permission.
Aux États-Unis, aucune loi ne traite spécifiquement de cette situation, cependant, il est admis depuis de nombreuses années que l'analyse statistique de documents protégés est légale, même lorsque le résultat est un produit commercial. Bien que les procès Authors Guild, Inc. v. Google, Inc. et Authors Guild, Inc. v. HathiTrust ne traitent pas spécifiquement de l'IA, ils élargissent tellement la portée du "fair use" dans le droit américain qu'il est difficile de voir comment l'entraînement de l'IA pourrait être illégal. Le système juridique américain n'offre pas de réponse explicite et plusieurs cas testant cette conclusion font leur chemin devant les tribunaux.

Plusieurs juridictions plus petites ont également déterminé que c'était légal et, à ma connaissance, aucune ne l'a jugé illégal à ce jour.

Le droit d'auteur européen permet aux propriétaires de données protégées de restreindre l'utilisation de leurs œuvres pour l'entraînement de l'IA en l'indiquant « de manière appropriée ». Il n'existe actuellement aucune directive sur la façon dont ils devraient le faire.

La loi japonaise sur le droit d'auteur limite l'utilisation des œuvres protégées lorsque cela pourrait « porter préjudice de manière déraisonnable aux intérêts du titulaire du droit d'auteur ». Cela indique généralement qu'un titulaire de droits d'auteur devrait démontrer comment un modèle d'IA spécifique réduit la valeur économique de son œuvre pour pouvoir faire valoir ses droits.

Notons que Google, Microsoft, OpenAI, Adobe, et Shutterstock se sont engagés à indemniser tout utilisateur de leurs produits d'IA générative qui ferait face à des contestations juridiques sur des questions de droits d'auteur. C'est un fort indicateur que leurs avocats pensent que ce qu'ils font est légal selon la loi américaine.

tagCe que signifie le scraping vorace pour l'IA

La ruée vers le scraping d'IA transforme le web en un Far West numérique. Ces scrapers traitent le robots.txt comme s'il était dépassé, bombardant des sites comme iFixit de requêtes sans fin. Ce n'est pas seulement ennuyeux - c'est potentiellement destructeur pour le web et nous force à repenser le fonctionnement de l'internet ouvert. Ou comment il pourrait ne plus fonctionner dans un futur proche. D'un point de vue économique et social, de nombreux changements pourraient survenir :

Perte de confiance : Cette frénésie d'alimentation de l'IA pourrait conduire à une perte massive de confiance sur le web. Imaginez un futur où chaque site web vous accueille avec un regard méfiant, vous obligeant à prouver que vous êtes humain avant même de pouvoir consulter leur contenu. On parle de plus de CAPTCHAs, plus de murs de connexion, plus de tests "cliquez sur tous les feux de circulation". C'est comme essayer d'entrer dans un speakeasy, mais au lieu d'un mot de passe secret, vous devez convaincre le portier que vous n'êtes pas une machine très intelligente.

Contenu généré par l'humain limité : Les créateurs de contenu, déjà méfiants de voir leur travail dérobé, commencent à se barricader. Nous pourrions voir une augmentation des paywalls, des sections réservées aux abonnés et des verrous de contenu. Les jours de navigation et d'apprentissage libres pourraient devenir un souvenir nostalgique, comme les sons des modems ou les messages d'absence AIM. Si les humains ordinaires ne peuvent pas y accéder, cela rend encore plus difficile l'accès pour un scraper malveillant.

Cas juridiques : Il faudra peut-être des années, voire des décennies, avant que toutes les questions juridiques entourant l'IA ne soient résolues. Nous avons Internet depuis environ trente ans, et certaines de ses questions juridiques sont encore en suspens aujourd'hui. Que vous ayez raison ou non, si vous ne pouvez pas vous permettre de passer des années devant les tribunaux pour découvrir ce qui est autorisé ou non, vous avez de quoi vous inquiéter.

Les petits font faillite, les gros s'enrichissent : Cette frénésie de scraping n'est pas qu'une nuisance - elle met une réelle pression sur l'infrastructure web. Les sites confrontés aux embouteillages induits par l'IA pourraient avoir besoin de passer à des serveurs plus puissants, ce qui n'est pas donné. Les petits sites et les projets passionnants pourraient être évincés du jeu, nous laissant avec un web (et des données d'entraînement LLM) dominé par ceux qui sont assez grands pour résister à la tempête ou signer des accords de licence avec les entreprises d'IA. C'est un scénario de "survie des plus riches" qui pourrait rendre Internet (et les connaissances LLM) beaucoup moins divers et intéressant. En fermant la porte aux données gratuitement disponibles, ils peuvent alors faire payer un droit d'entrée aux entreprises d'IA, ou simplement accorder une licence au plus offrant. Vous n'avez pas l'argent ? Le videur vous montrera la sortie.

tagLes données générées par l'IA à la rescousse ?

La ruée vers les données ne secoue pas seulement les sites web - elle prépare le terrain pour une potentielle pénurie de connaissances en IA. Alors que le web ouvert lève ses ponts-levis, les modèles d'IA se retrouveront affamés de données fraîches et de qualité.

Cette pénurie de données pourrait conduire à un cas désagréable de vision tunnel de l'IA. Sans un flux constant de nouvelles informations, les modèles d'IA risquent de devenir des chambres d'écho de connaissances obsolètes. Imaginez demander à une IA des informations sur l'actualité et obtenir des réponses qui semblent dater de l'année dernière - ou pire, d'un univers parallèle où les faits ont pris des vacances.

Si les données générées par l'humain sont verrouillées, les entreprises doivent toujours obtenir leurs données d'entraînement de quelque part. Un exemple est les données synthétiques : des données créées par les LLM pour entraîner d'autres LLM. Cela inclut des techniques largement utilisées comme la distillation de modèle et la génération de données d'entraînement pour compenser les biais.

L'utilisation de données synthétiques signifie qu'il n'est pas nécessaire de passer par des processus complexes pour obtenir des licences de données générées par l'humain, ce qui, comme nous l'avons vu, devient de plus en plus difficile. Cela aide aussi à équilibrer les choses - beaucoup de données sur Internet ne représentent pas la diversité du monde réel. Générer des données synthétiques peut aider à rendre un modèle plus représentatif de la réalité (ou parfois pas). Enfin, pour les cas d'utilisation dans la santé et le domaine juridique, les données synthétiques éliminent le besoin d'assainir les données pour supprimer les informations personnellement identifiables.

Cependant, le revers de la médaille est que les futurs modèles seront également entraînés sur des données générées par l'IA que vous ne voulez vraiment pas utiliser pour leur entraînement, notamment le "Slop" : des données de faible qualité générées par l'IA, comme un blog technologique autrefois apprécié publiant maintenant des articles de faible valeur générés par l'IA sous les noms de ses anciens employés, des recettes générées par l'IA pour des plats improbables comme des mojitos à la mijoteuse et de la crème glacée aux saucisses, ou Shrimp Jesus envahissant Facebook.

Comme c'est beaucoup moins cher et plus facile à créer que du bon vieux contenu artisanal, cela inonde rapidement Internet.

D'après ce que nous voyons aujourd'hui, le contenu généré par l'IA dépasse le contenu disponible généré par l'humain. GPT-5 sera entraîné (en partie) sur des données créées par GPT-4. GPT-6, à son tour, sera entraîné sur des données créées par GPT-5. Et ainsi de suite.

tagL'effondrement des modèles et comment l'éviter

Utiliser ses propres sorties comme entrées est mauvais tant pour les humains que pour les LLM. Même si vous êtes très sélectif sur la quantité de données synthétiques que vous utilisez et leur type, vous ne pouvez pas garantir que votre modèle ne se dégradera pas.

Pour les modèles d'IA générative dans leur ensemble, la baisse de qualité et de diversité des sorties est expérimentalement mesurable et survient assez rapidement. Les modèles de génération d'images développent des anomalies après quelques générations, et dans un article, un grand modèle de langage entraîné sur des données Wikipedia qui donnait des réponses cohérentes et précises aux prompts, à la neuvième génération d'entraînement sur sa propre sortie, répondait aux prompts en répétant les mots "lièvres à queue" encore et encore.

C'est assez simple à expliquer : Un modèle d'IA est une approximation de ses données d'entraînement. Un modèle d'IA entraîné sur la sortie d'un modèle d'IA est une approximation d'une approximation. À chaque cycle d'entraînement, la différence entre l'approximation et les données "réelles" du monde réel s'agrandit de plus en plus.

Nous appelons cela un "effondrement du modèle".

Alors que les données générées par l'IA deviennent de plus en plus répandues, l'entraînement de nouveaux modèles à partir de données collectées sur Internet risque de diminuer les performances des modèles. Nous avons des raisons de penser que tant que la quantité de données réelles, créées par l'homme, ne diminue pas, nos modèles ne se dégraderont pas beaucoup, mais ils ne s'amélioreront pas non plus. Cependant, ils prendront plus de temps à entraîner si nous ne pouvons pas séparer les données créées par l'IA des données créées par l'homme. Les nouveaux modèles deviendront plus coûteux à créer, sans s'améliorer.

L'effondrement du modèle est-il inévitable ? Briser la malédiction de la récursion en accumulant des données réelles et synthétiques

La prolifération des modèles génératifs, combinée à l'entraînement préalable sur des données à l'échelle du web, soulève une question d'actualité : que se passe-t-il lorsque ces modèles sont entraînés sur leurs propres sorties générées ? Des recherches récentes sur les boucles de rétroaction modèle-données ont proposé que de telles boucles conduiraient à un phénomène appelé effondrement du modèle, où les performances se dégradent progressivement à chaque itération de rétroaction modèle-données jusqu'à ce que les modèles ajustés deviennent inutiles. Cependant, ces études supposaient largement que les nouvelles données remplacent les anciennes données au fil du temps, alors qu'une hypothèse sans doute plus réaliste est que les données s'accumulent au fil du temps. Dans cet article, nous nous demandons : quel effet l'accumulation de données a-t-elle sur l'effondrement du modèle ? Nous étudions empiriquement cette question en pré-entraînant des séquences de modèles de langage sur des corpus de texte. Nous confirmons que le remplacement des données réelles originales par les données synthétiques de chaque génération tend effectivement vers l'effondrement du modèle, puis démontrons que l'accumulation des générations successives de données synthétiques aux côtés des données réelles originales évite l'effondrement du modèle ; ces résultats sont valables pour différentes tailles de modèles, architectures et hyperparamètres. Nous obtenons des résultats similaires pour les modèles génératifs profonds sur d'autres types de données réelles : modèles de diffusion pour la génération de conformations moléculaires et autoencodeurs variationnels pour la génération d'images. Pour comprendre pourquoi l'accumulation de données peut éviter l'effondrement du modèle, nous utilisons un cadre analytiquement traitable introduit par des travaux antérieurs dans lequel une séquence de modèles linéaires est ajustée aux sorties des modèles précédents. Les travaux précédents ont utilisé ce cadre pour montrer que si les données sont remplacées, l'erreur de test augmente avec le nombre d'itérations d'ajustement du modèle ; nous étendons cet argument pour prouver que si les données s'accumulent à la place, l'erreur de test a une limite supérieure finie indépendante du nombre d'itérations, ce qui signifie que l'effondrement du modèle ne se produit plus.

arXiv.orgMatthias Gerstgrasser

L'ironie est flagrante ici. L'appétit vorace de l'IA pour les données pourrait conduire à une famine de données. Le Trouble d'Autophagie du Modèle est comme la maladie de la vache folle pour l'IA : Tout comme nourrir les vaches avec des déchets bovins a conduit à une nouvelle forme de maladie cérébrale parasitaire, l'entraînement de l'IA à partir de quantités croissantes de sorties d'IA conduit à des pathologies mentales dévastatrices.

Les modèles génératifs auto-consommateurs deviennent FOUS

Les avancées sismiques dans les algorithmes d'IA générative pour les images, le texte et d'autres types de données ont conduit à la tentation d'utiliser des données synthétiques pour entraîner les modèles de nouvelle génération. La répétition de ce processus crée une boucle autophage (auto-consommatrice) dont les propriétés sont mal comprises. Nous menons une analyse approfondie analytique et empirique utilisant des modèles génératifs d'images état de l'art de trois familles de boucles autophages qui diffèrent dans la manière dont les données d'entraînement réelles fixes ou nouvelles sont disponibles à travers les générations d'entraînement et dans la manière dont les échantillons des modèles de génération précédente ont été biaisés pour équilibrer la qualité des données par rapport à la diversité. Notre conclusion principale dans tous les scénarios est que sans suffisamment de nouvelles données réelles dans chaque génération d'une boucle autophage, les futurs modèles génératifs sont condamnés à voir leur qualité (précision) ou leur diversité (rappel) diminuer progressivement. Nous appelons cette condition le Trouble d'Autophagie du Modèle (MAD), faisant l'analogie avec la maladie de la vache folle.

arXiv.orgSina Alemohammad

La bonne nouvelle est que l'IA ne peut pas se permettre de remplacer l'humanité car elle a besoin de nos données. La mauvaise nouvelle est qu'elle pourrait freiner sa propre croissance en ruinant ses sources de données.

Pour éviter cette famine de connaissances prévisible de l'IA, nous devons repenser la façon dont nous entraînons et utilisons les modèles d'IA. Nous voyons déjà des solutions comme la Génération Augmentée par Récupération, qui essaie d'éviter d'utiliser les modèles d'IA comme source d'information factuelle et les considère plutôt comme des dispositifs pour évaluer et réorganiser les sources d'information externes. Une autre voie est la spécialisation, où nous adaptons les modèles pour effectuer des classes spécifiques de tâches, en utilisant des données d'entraînement organisées concentrées sur des domaines étroits. Nous pourrions remplacer les modèles prétendument polyvalents comme ChatGPT par des IA spécialisées : LawLLM, MedLLM, MyLittlePonyLLM, etc.

Il existe d'autres possibilités, et il est difficile de dire quelles nouvelles techniques les chercheurs découvriront. Peut-être existe-t-il une meilleure façon de générer des données synthétiques ou des moyens d'obtenir de meilleurs modèles avec moins de données. Mais il n'y a aucune garantie que plus de recherche résoudra le problème.

En fin de compte, ce défi pourrait forcer la communauté de l'IA à faire preuve de créativité. Après tout, la nécessité est la mère de l'invention, et un paysage d'IA affamé en données pourrait susciter des solutions vraiment innovantes. Qui sait ? La prochaine grande avancée en IA pourrait venir non pas de plus de données, mais de la découverte de moyens de faire plus avec moins.

tagQue se passe-t-il si seules les mégacorporations peuvent se permettre de collecter des données ?

Pour beaucoup de gens aujourd'hui, Internet se résume à Facebook, Instagram et X, consultés à travers un rectangle de verre noir qu'ils tiennent dans leur main. C'est homogénéisé, "sûr" et contrôlé par des gardiens qui décident (via des politiques et leurs algorithmes) ce que (et qui) vous voyez et ce que vous ne voyez pas.

Ce n'était pas toujours comme ça. Il y a à peine quelques décennies, nous avions des blogs générés par les utilisateurs, des sites web indépendants, et bien plus encore. Dans les années 80, il y avait des dizaines de systèmes d'exploitation et de standards matériels en concurrence. Mais dans les années 2010, Apple et Microsoft avaient gagné la partie, commençant la tendance à l'homogénéisation.

Nous voyons la même chose avec les navigateurs web, les smartphones et les sites de médias sociaux. Nous commençons par une explosion de diversité et de nouvelles idées avant que les grands acteurs ne monopolisent le jeu et rendent difficile pour quiconque d'autre de jouer.

Cela dit, bien que ces acteurs aient eu un monopole, certains petits joueurs se sont quand même faufilés. (Prenez Linux et Firefox, par exemple). "Le succès de l'outsider" est peu probable de se produire avec les LLM cependant. Quand les petits acteurs n'ont pas les moyens financiers d'accéder à des données d'entraînement variées et à jour, ils ne peuvent pas créer des modèles de haute qualité. Et sans cela, comment peuvent-ils rester en activité ?

Les géants ont les ressources nécessaires pour maintenir leurs modèles d'IA repus d'un régime constant d'informations fraîches, même alors que le web plus large se serre la ceinture. Pendant ce temps, les petits acteurs et les startups sont laissés à gratter le fond du baril des données, luttant pour nourrir leurs algorithmes avec des miettes rassis. C'est un écart de connaissances qui pourrait s'amplifier. Alors que les riches en données s'enrichissent en insights et en capacités, les pauvres en données risquent de prendre encore plus de retard, leurs IA devenant plus obsolètes et moins compétitives de jour en jour. Il ne s'agit pas seulement de savoir qui a les jouets d'IA les plus brillants - il s'agit de savoir qui façonnera l'avenir de la technologie, du commerce et même de notre accès à l'information. Nous regardons vers un futur où une poignée de géants technologiques pourrait détenir les clés des royaumes d'IA les plus avancés, tandis que tous les autres sont laissés à observer depuis l'âge des ténèbres numériques.

Avec tout le contenu juteux qui flotte autour à être licencié, il est peu probable qu'une seule mégacorporation soit celle qui le licencie tout, comme Netflix dans le temps. Vous vous souvenez ? Vous vous inscriviez à un service et obteniez toutes les émissions dont vous aviez jamais rêvé. Aujourd'hui, les émissions sont réparties entre Hulu, Netflix, Disney+, et quel que soit le nom qu'ils donnent à HBO Max cette semaine. Parfois, une émission que vous aimez peut simplement s'évaporer dans l'éther. Cela pourrait être l'avenir des LLM : Google a un accès prioritaire à Reddit, tandis qu'OpenAI obtient l'accès au Financial Times. iFixit ? Ces données n'existent plus, simplement stockées comme des embeddings poussiéreux, et jamais mises à jour. Au lieu d'un modèle pour les gouverner tous, nous pourrions faire face à une fragmentation et des capacités changeantes à mesure que les droits de licence sont jonglés entre les fournisseurs d'IA.

tagEn conclusion

Que nous le voulions ou non, le scraping est là pour rester. Déjà, les fournisseurs de contenu érigent des barrières pour limiter l'accès, n'ouvrant les portes qu'à ceux qui peuvent se permettre de licencier le contenu. Cela limite considérablement les ressources dont peut apprendre un LLM, tandis qu'en même temps, les petites entreprises sont exclues de la guerre des enchères pour le contenu lucratif, et le reste du butin est partagé entre les LLM des géants technologiques. C'est le monde post-Netflix du streaming qui se répète, mais cette fois-ci pour la connaissance.

Alors que les données générées par l'humain s'amenuisent, la "bouillie" générée par l'IA explose. Entraîner des modèles sur ces données peut conduire à un ralentissement des améliorations, voire à un effondrement du modèle. La seule solution est de penser différemment - ce pour quoi les startups, avec leur culture d'innovation et de disruption, sont idéalement positionnées. Pourtant, les données qui ne sont accordées sous licence qu'aux grands acteurs sont précisément ce dont ces startups ont besoin pour survivre.

En limitant l'accès équitable aux données, les méga-corporations ne font pas que étouffer la concurrence - elles étranglent l'avenir même de l'IA, supprimant l'innovation même qui pourrait nous propulser au-delà de ce potentiel âge sombre numérique.

La révolution de l'IA n'est pas le futur, l'IA c'est maintenant. Selon les mots de William Gibson : « [L]'avenir est déjà là, il n'est juste pas réparti équitablement. » Il peut facilement devenir encore plus inégalement distribué.