Considérations énergétiques et politiques

Printemps 2019. Alerte d’Emma Strubell et du MIT.

Considérations énergétiques et politiques pour l’IA

🚨 Le 5 juin 2019, Emma Strubell, candidate au doctorat et auteur principal de l’article Energy and Policy Considerations for Deep Learning in NLP donnait l’alerte à la communauté scientifique et politique du terrible impact écologique des modèles de deep learning en linguistique, à l’époque. Son article est paru dans ACL2019 🇮🇹, la plus grande conférence de linguistique. Le Massachusetts Institute of Technology a rediffusé l’alerte sur la consommation énergétique, les émissions carbones de modèles avec des millions de paramètres comme Transformers (Google, 2017) et BERT (Google, 2018) dans sa revue technologique du 6 juin 2019. On parlait alors de modèles larges allant jusqu’à 65 millions de paramètres (1/1000 LLaMA, 2023).

L’entraînement d’un seul modèle d’IA peut émettre autant de carbone que…

6 juin 2019. MIT Technology Review. Par Karen Hao.

L’industrie de l’intelligence artificielle est souvent comparée à l’industrie pétrolière : une fois extraites et raffinées, les données, comme le pétrole, peuvent être une marchandise très lucrative. Maintenant, il semble que la métaphore puisse s’étendre encore plus loin. Comme son homologue fossile, le processus de deep learning a un impact environnemental démesuré.

Dans un nouvel article, des chercheurs de l’Université du Massachusetts à Amherst ont effectué une évaluation du cycle de vie pour entraîner plusieurs grands modèles d’IA courants. Ils ont découvert que le processus peut émettre plus de 280 tonnes d’équivalent en dioxyde de carbone, soit près de cinq fois les émissions liées au cycle de vie d’une voiture américaine moyenne (et cela inclut la fabrication de la voiture elle-même). De plus, les chercheurs notent que les chiffres ne doivent être considérés que comme des valeurs de référence. “Entrainer un seul modèle est le minimum de travail que vous pouvez faire”, déclare Emma Strubell, candidate au doctorat à l’Université du Massachusetts, Amherst, et auteur principal de l’article. En pratique, les chercheurs en IA développent un nouveau modèle à partir de zéro ou adaptent un modèle à un nouveau jeu de données, nécessitant de nombreuses autres expériences d’entraînements et d’ajustements.

L’empreinte carbone du traitement du langage naturel

L’article examine spécifiquement le processus d’entraînement de modèles de linguistique pour le traitement du langage naturel (NLP), le sous-domaine de l’IA qui se concentre sur la compréhension du langage humain par des machines. Les deux dernières années ont été jalonnées de performances remarquables dans la traduction automatique, la complétion de phrases et d’autres tâches. Le tristement célèbre modèle GPT-2 d’OpenAI, par exemple, excellait dans la rédaction de faux articles convaincants. Mais de telles avancées ont nécessité l’entraînement de modèles toujours plus grands sur des ensembles de données tentaculaires récupérées sur Internet. L’approche est coûteuse en calcul et très gourmande en énergie.

L’équipe a examiné quatre modèles qui ont été à l’origine des plus grandes avancées en matière de performances : le Transformer, ELMo, BERT et GPT-2. Ils les ont entraînés chacun sur un seul GPU pendant jusqu’à une journée pour mesurer sa consommation d’énergie. Ils ont ensuite utilisé le nombre d’heures d’entraînement indiqué dans les documents originaux du modèle pour calculer l’énergie totale consommée au cours du processus d’entraînement complet. Ce nombre a été converti en livres d’équivalent dioxyde de carbone sur la base du mix énergétique moyen aux États-Unis, qui correspond étroitement au mix énergétique utilisé par AWS d’Amazon, le plus grand fournisseur de services cloud.

Les coûts estimés d’entraîner un modèle une fois

En pratique, les modèles sont généralement entraînés plusieurs fois au cours de la recherche et du développement. Ils ont constaté que les coûts informatiques et environnementaux de l’entraînement augmentent proportionnellement à la taille du modèle, puis explosent lorsque des étapes de réglage supplémentaires sont utilisées pour augmenter le score final du modèle.

Strubell et ses collègues ont utilisé un modèle qu’ils avaient produit dans un article précédent comme étude de cas. Ils ont constaté que le processus de construction et de test d’un modèle final digne d’un article nécessite l’entraînement de 4 789 modèles sur une période de six mois. Converti en équivalent CO2, il a émis plus de 35 tonnes.

L’importance de ces chiffres est colossale, surtout si l’on considère les tendances actuelles de la recherche en IA. “Ce type d’analyse doit être fait pour sensibiliser sur les ressources dépensées […] et susciter un débat”, explique Gómez-Rodríguez. “Ce que beaucoup d’entre nous n’ont probablement pas compris, c’est son ampleur jusqu’à ce que nous ayons vu ces comparaisons”, a fait écho Siva Reddy, post-doctorant à l’Université de Stanford qui n’a pas participé à la recherche.

La privatisation de la recherche en IA

Les résultats soulignent également un autre problème croissant dans le domaine de l’IA : l’intensité des ressources désormais nécessaires pour produire des résultats dignes d’être publiés rend de plus en plus difficile pour les personnes travaillant dans le milieu universitaire de continuer à contribuer à la recherche. “Cette tendance à former d’énormes modèles sur des tonnes de données n’est pas réalisable pour les universitaires, en particulier les étudiants diplômés, car nous n’avons pas les ressources de calcul”, déclare Strubell. “Il y a donc un problème d’accès équitable entre les chercheurs du milieu universitaire et les chercheurs de l’industrie.”