Le d\u00e9bat sur la consommation d’\u00e9nergie des syst\u00e8mes d’IA n’est pas purement politique. Les centres de donn\u00e9es et le mat\u00e9riel \u00e0 haute \u00e9chelle consomment d’\u00e9normes quantit\u00e9s d’\u00e9nergie et l’augmentation constante de la taille des mod\u00e8les ne fait que renforcer cette tendance. \u00ab\u00a0Nous ne pouvons pas passer \u00e0 l’\u00e9chelle ind\u00e9finiment\u00a0\u00bb, explique Klimovic, \u00ab\u00a0c’est pourquoi la recherche de solutions plus durables est essentielle\u00a0\u00bb<\/p>\n\n\n\n\n\n
Architectures de mod\u00e8les \u00e9conomes Les GPU sont pr\u00e9cieux, mais souvent inutilis\u00e9s Efficacit\u00e9 gr\u00e2ce \u00e0 des frameworks intelligents Sailor<\/em> est une plate-forme qui parall\u00e9lise automatiquement les t\u00e2ches d’entra\u00eenement via des GPU, ce qui am\u00e9liore l’efficacit\u00e9 des GPU.<\/p>\n\n\n\n\n\n Modyn et Mixtera<\/em> sont des syst\u00e8mes de s\u00e9lection de donn\u00e9es plus intelligents qui entra\u00eenent les mod\u00e8les plus rapidement et avec moins de donn\u00e9es.<\/p>\n\n\n\n\n\n DeltaZip<\/em> est une plate-forme qui g\u00e8re efficacement les variantes de mod\u00e8les finement ajust\u00e9es. Elle compresse les diff\u00e9rences entre les mod\u00e8les (\u00ab\u00a0deltas\u00a0\u00bb), ce qui r\u00e9duit les temps de chargement et rend l’inf\u00e9rence plus rapide et moins gourmande en ressources.<\/p>\n\n\n\n\n\n Durabilit\u00e9 de la formation et de l’inf\u00e9rence Libert\u00e9 scientifique et science ouverte La r\u00e9volution de l’IA ne sera durable que si l’efficacit\u00e9 devient la ligne directrice. En mati\u00e8re d’algorithmes, de mat\u00e9riel et d’architecture syst\u00e8me. Des projets comme Sailor, Modyn ou DeltaZip montrent des moyens concrets de combiner d’\u00e9normes \u00e9conomies d’\u00e9nergie avec l’excellence technique. Pour Klimovic, une chose est s\u00fbre : \u00ab\u00a0\u00c0 l’avenir, l’IA de haute qualit\u00e9 ne sera pas seulement synonyme d’intelligence, mais aussi de pr\u00e9servation des ressources\u00a0\u00bb<\/p>\n\n","protected":false},"excerpt":{"rendered":" L’intelligence artificielle est consid\u00e9r\u00e9e comme le moteur de l’avenir. Mais les \u00e9normes ressources de calcul que n\u00e9cessitent les grands mod\u00e8les de langage et d’apprentissage soul\u00e8vent de plus en plus de questions sur la durabilit\u00e9. Dans un entretien avec Ana Klimovic, professeur d’informatique \u00e0 l’ETH, il appara\u00eet clairement que des gains d’efficacit\u00e9 sont possibles et essentiels pour ma\u00eetriser la soif d’\u00e9nergie croissante de l’IA.<\/p>\n","protected":false},"author":2,"featured_media":139530,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","_surecart_dashboard_logo_width":"180px","_surecart_dashboard_show_logo":true,"_surecart_dashboard_navigation_orders":true,"_surecart_dashboard_navigation_invoices":true,"_surecart_dashboard_navigation_subscriptions":true,"_surecart_dashboard_navigation_downloads":true,"_surecart_dashboard_navigation_billing":true,"_surecart_dashboard_navigation_account":true,"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"footnotes":""},"categories":[8747,743,8735,22438],"tags":[2053,872,3931,7215,44927,2002],"class_list":["post-139599","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-energie","category-immonews-fr","category-proptech-fr","category-trends-fr","tag-energieeffizienz-fr","tag-immoinvest-fr","tag-immonews-fr","tag-kuenstliche-intelligenz-fr","tag-nachhaltige-technologie-fr","tag-news-fr","pmpro-has-access"],"acf":{"bild_mit_ki_erstellt_worden":[],"lead":"L'intelligence artificielle est consid\u00e9r\u00e9e comme le moteur de l'avenir. Mais les \u00e9normes ressources de calcul que n\u00e9cessitent les grands mod\u00e8les de langage et d'apprentissage soul\u00e8vent de plus en plus de questions sur la durabilit\u00e9. Dans un entretien avec Ana Klimovic, professeur d'informatique \u00e0 l'ETH, il appara\u00eet clairement que des gains d'efficacit\u00e9 sont possibles et essentiels pour ma\u00eetriser la soif d'\u00e9nergie croissante de l'IA.","autor":"Quelle: cscs","ort":"","bildunterschrift":"","zusammenfassung":"","bild_im_grid":false,"gallerie":"","newsim":""},"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t
<\/strong>Une approche consiste \u00e0 introduire la sparsity (r\u00e9duction de la densit\u00e9) dans les r\u00e9seaux neuronaux. Les mod\u00e8les n’activent alors que des parties pertinentes de leur syst\u00e8me, alors que les approches classiques utilisent toujours l’ensemble du r\u00e9seau. les mod\u00e8les \u00ab\u00a0Mixture-of-Experts\u00a0\u00bb suivent cette logique. Ils r\u00e9partissent les requ\u00eates de mani\u00e8re cibl\u00e9e sur des modules sp\u00e9cialis\u00e9s. Cela permet d’\u00e9conomiser de l’\u00e9nergie sans compromettre la qualit\u00e9.<\/p>\n\n\n\n\n\n
<\/strong>Klimovic voit un probl\u00e8me central dans la faible utilisation des GPU, bien que ceux-ci consomment \u00e9norm\u00e9ment d’\u00e9nergie. Les goulets d’\u00e9tranglement apparaissent notamment lors du pr\u00e9traitement des donn\u00e9es par les GPU et lors de la communication entre plusieurs GPU. L’utilisation de la puissance de calcul est souvent inf\u00e9rieure \u00e0 50 pour cent. De nouvelles solutions logicielles sont n\u00e9cessaires pour \u00e9viter que de pr\u00e9cieuses ressources ne soient inutilis\u00e9es.<\/p>\n\n\n\n\n\n
<\/strong>Votre groupe de recherche d\u00e9veloppe des syst\u00e8mes qui mettent l’accent sur l’automatisation et l’optimisation.<\/p>\n\n\n\n\n\n
<\/strong>Les gains d’efficacit\u00e9 jouent un r\u00f4le cl\u00e9 non seulement dans la formation, mais aussi dans l’application, appel\u00e9e inf\u00e9rence. Avec des milliards d’interactions quotidiennes avec des chatbots, la pr\u00e9servation des ressources \u00e9nerg\u00e9tiques et mat\u00e9rielles devient une urgence mondiale.<\/p>\n\n\n\n\n\n
<\/strong>Klimovic souligne l’importance de la recherche acad\u00e9mique. Moins contrainte par des imp\u00e9ratifs \u00e9conomiques, elle peut poursuivre des innovations \u00e0 long terme. Elle souligne le r\u00f4le de l’initiative suisse sur l’IA, lanc\u00e9e en 2023 et bas\u00e9e sur le supercalculateur Alps du CSCS, quasiment neutre pour le climat. Avec plus de 10 millions d’heures de GPU et 20 millions de francs suisses de financement, il s’agit de la plus grande initiative de science ouverte et de source ouverte au monde pour les mod\u00e8les de base de l’IA.<\/p>\n\n\n\n\n\n