Haha, alors note que par rapport à d'autres personnes dans l'extrême gauche, moi j'ai plutôt tendance à considérer que le capitalisme, c'est à la fois plus facile d'en sortir qu'on le pense, mais également moins fondamental:

C'est une étape importante et nécessaire, mais ça ne nous empêche pas de lutter contre plein d'autres mécanismes d'oppression qui existent et qui ne vont pas magiquement disparaître lorsque l'on va changer la structure de propriété des moyens de production. On aura encore à parler du post-colonialisme, du sexisme, de diverses dérives religieuses... Toutes ces choses-là ne vont pas disparaître par magie, et on peut même les combattre dès aujourd'hui.

Franchement, la publication originale, je ne sais même pas si elle vaut encore le coup d'être citée. Elle démontre un effet sur un dataset particulier (wikitext2) de qualité sur un modèle de 125 millions de paramètres. Ils ont démontré un fait assez évident qui est que lorsque tu as un modèle imparfait qui essaye de prédire un dataset, il fait plein d'erreurs. Et que si tu réinjectes ce dataset plein d'erreurs dans l'entraînement d'un nouveau modèle, il va en faire encore plus. Ce n'est absolument pas garanti que ça se généralise à des plus gros modèles ou à d'autres datasets plus gros qui généralement sont de moins bonne qualité.

Ce n'était pas un résultat particulièrement surprenant, et ce n'était pas un particulièrement bon argument pour dire que les données synthétiques ne fonctionnent pas. C'est un point dans le débat, mais la presse s'en est emparée en faisant croire que le débat était tranché, ce qui n'était absolument pas le cas. Les données synthétiques ont une importance de plus en plus grande et on les utilise tout le temps.

Je compare ça à la publication scientifique qui avait prouvé que la force musculaire d'un bras humain n'était pas suffisante à actionner des ailes (correct) et en a conclu que les humains ne pourraient jamais voler.

PS: wow, pas de balise spoiler! On arrive à la fin de la conversation?