Model collapse des IA : Explication simple
Si on entraîne une IA sur ses propres générations, est-ce qu’on ne risque pas de créer des modèles consanguins ?
Les connaissances de Claude s’arrêtent en avril 2024.
On pourrait se dire que c’est un désavantage.
Mais est-ce que c’est pas ça qui fait sa force ?
Plus le temps passe, plus les gens utilisent l’IA pour créer du contenu sur internet.
Article de blog, actus, images, videos, etc.
Et les modès sont entrainés sur quoi ? Les données du web.
Donc si on entraîne une IA sur ses propres générations est-ce qu’on ne risque pas de créer des modèles consanguins ?
Comme si un nourisson en pleine croissance se nourrissait de ses propres régurgitations.
(Désolé pour l’image).
Il y a une théorie qui se précise sur ce scénario : il s’appelle « model collapse ».
Qui pourrait d’ailleurs créer un plafond d’apprentissage pour les IA.
Donc c’est peut-être pour ça que Claude a arrêté son apprentissage à une date précise (théorie fumeuse), ce qui pourrait expliquer pourquoi il est autant affuté dans ses réponses.
Ça pose plein de questions sur ce que va devenir le web dans les mois à venir.
Passionnant.