Accueil Blog Glitchs Explosion

Cet article n'est disponible qu'en français.

Rayonnages d'une bibliothèque publique vus en enfilade, allée déserte

Des modèles entraînés sur les communs, puis reloués

Un soir, je cherche comment corriger un comportement bizarre d’une lib de dates. Je pose la question à un assistant, j’obtiens une réponse correcte, précise, avec l’explication du fuseau horaire qui provoquait le décalage. Deux jours plus tard, je retombe par hasard sur un fil de forum de 2016 où un inconnu explique exactement ça, avec les mêmes exemples. Il avait pris vingt minutes de sa soirée pour aider quelqu’un qu’il ne connaissait pas.

D’où vient réellement le texte

Les corpus d’entraînement ne sont pas un mystère. Les descriptions publiées par les équipes qui en construisent listent les mêmes ingrédients : une archive géante du web ouvert, des dépôts de code, des articles scientifiques en accès libre, des encyclopédies, des forums techniques, des bases de documentation.

Ce sont, presque intégralement, des communs. Des choses écrites par des gens qui ont accepté que leur travail soit copié, redistribué et modifié, parce que ça leur paraissait la bonne façon de faire circuler du savoir. Wikipédia est sous une licence qui exige l’attribution et le partage à l’identique. Une grande partie du code lu par ces modèles est sous des licences qui exigent aussi une attribution.

L’attribution est précisément ce qu’un modèle génératif ne restitue pas. Ce n’est pas une malveillance, c’est structurel : le texte produit est une recombinaison statistique, il n’a plus de fil qui remonte à sa source. La condition qui rendait le partage possible disparaît dans l’opération technique.

Le circuit économique, dans l’ordre

Suivons l’argent, c’est court. Une personne écrit une réponse gratuitement, sur un site financé par des dons ou par de la publicité. L’archive du web la collecte, gratuitement. Une entreprise télécharge l’archive, gratuitement, et paye la seule étape qui coûte cher : le calcul. Elle vend ensuite l’accès au modèle par abonnement mensuel.

À la fin, le développeur qui avait écrit la réponse de 2016 peut souscrire un abonnement pour obtenir sa propre réponse plus vite. C’est le seul moment de la chaîne où de l’argent change de main.

Pendant ce temps, les endroits d’où venait la matière première se vident. Quand tout le monde interroge un modèle plutôt qu’un forum, personne n’écrit plus la réponse suivante. Les sites qui hébergeaient ces échanges voient leur audience baisser, donc leurs revenus, donc leur capacité à exister. La ressource n’est pas seulement prélevée sans compensation, elle est prélevée d’une manière qui empêche sa reconstitution.

Et je l’utilise quand même

Je n’écris pas ça depuis une position confortable. J’utilise ces outils tous les jours, ils me font gagner un temps considérable, et je n’ai pas l’intention d’arrêter par principe. Ce serait une posture, et une posture ne rend rien à personne.

Ce que je fais est modeste et probablement insuffisant. Je donne à Wikipédia. Je continue de répondre dans les issues des projets que j’utilise, même quand je sais que ma réponse finira dans un corpus. Je cite mes sources quand j’écris ici, parce que c’est le geste minimal qui maintient le fil visible.

Un ami me dit que c’est le sort de tout commun, et qu’une route publique sert aussi aux camions d’une société privée. La différence tient à l’entretien : la route est refaite avec l’impôt, et les camions payent l’impôt.

Il reste une asymétrie que rien de tout ça ne corrige. Le travail bénévole de millions de gens a été transformé en actif privé sans qu’aucun contrat n’ait eu à être négocié, simplement parce que la licence qu’ils avaient choisie n’avait pas prévu qu’on puisse lire tout, ne rien recopier littéralement, et vendre le résultat.

Articles liés

Cadenas posé sur un clavier d'ordinateur dans une lumière bleutée

Licences open source rachetées : ce que révèlent les forks

Terraform, Redis : quand un projet libre change de licence une fois la communauté captée, et pourquoi les forks repartent presque toujours du même endroit.

Lire l'article →
Un disque dur externe branché à un petit serveur, à côté d'un téléphone affichant une galerie de photos

Quitter Google Photos pour Immich : la migration réelle

J'ai sorti quinze ans de photos d'un service gratuit pour les héberger chez moi avec Immich. L'export, les pièges, et ce que ça coûte vraiment par mois.

Lire l'article →

Sources

Ce que j'ai lu, regardé ou vérifié pour écrire cet article.

  1. Common Crawl : archive web publique massivement utilisée comme corpus d'entraînement de modèles de langage commoncrawl.org (ouvre dans un nouvel onglet)
  2. Gao, L. et al. (2021), « The Pile: An 800GB Dataset of Diverse Text for Language Modeling », description des sources d'un corpus d'entraînement arxiv.org (ouvre dans un nouvel onglet)
  3. Creative Commons, licence CC BY-SA 4.0 : obligation d'attribution et de partage à l'identique, celle sous laquelle Wikipédia est publiée creativecommons.org (ouvre dans un nouvel onglet)
  4. Wikimedia Foundation : financement et fonctionnement du projet Wikipédia wikimediafoundation.org (ouvre dans un nouvel onglet)