为什么人工智能日渐“臃肿”

Question 1 : Pourquoi la taille des modèles d’intelligence artificielle est-elle devenue si importante ces dernières années Question 2 : Quels sont les risques associés à l’augmentation de la taille des modèles d’IA ? Pourquoi les IA deviennent obèses Notre monde est marqué par des événements rares : au-delà de quelques éléments courants, une multitude d’autres restent marginaux. Par exemple, dans les textes, une poignée de mots sont ultra-fréquents, mais on trouve aussi une « longue traîne » de termes rares. Même chose pour les images : dans un verre, on voit souvent de l’eau ou du vin, mais parfois… un chat ou des objets insolites. Comment capturer cette diversité avec des ressources limitées ? Souvent, ces phénomènes suivent des « lois de puissance » : 90 % peuvent être décrits par peu d’éléments, mais pour couvrir 95 % du corpus, il en faut dix fois plus… et cent fois plus pour 97,5 %…