Des réponses plus précises de l’IA
Un nouvel algorithme de l'ETH Zurich révolutionne l'utilisation de grands modèles linguistiques. Avec des données ciblées, les réponses de l'IA deviennent plus fiables et la charge de calcul diminue considérablement.
Les grands modèles linguistiques fascinent par leur savoir et irritent en même temps par leurs réponses imprécises ou contradictoires. La cause en est souvent l’incertitude des modèles, qui était jusqu’à présent difficile à contrôler. Avec l’algorithme SIFT (« Selecting Informative data for Fine-Tuning »), des chercheurs de l’ETH Zurich ont développé une méthode qui s’attaque précisément à ce problème. Elle sélectionne avec précision les données supplémentaires en fonction de leur capacité à réduire l’incertitude et à améliorer la qualité des réponses.
Sélection des informations par analyse vectorielle
Au lieu d’utiliser simplement les informations les plus proches, SIFT analyse la structure relationnelle des informations linguistiques dans l’espace multidimensionnel des grands modèles. L’angle entre les vecteurs est décisif. Les informations dont le contenu est complémentaire sont ciblées afin de permettre des réponses complètes et pertinentes. Les redondances et les superpositions, comme c’est le cas dans les approches classiques, sont systématiquement évitées.
Un grand impact même avec de petits modèles
L’enrichissement ciblé avec des données pertinentes permet de réduire drastiquement la charge de calcul des grands modèles linguistiques. Lors de tests, SIFT-tuning a même surpassé des modèles d’IA puissants avec des modèles jusqu’à 40 fois plus petits. En même temps, le système s’adapte de manière dynamique. En cours d’utilisation, le modèle enrichi devient de plus en plus précis en s’entraînant lui-même en cours d’utilisation.
Évaluer la pertinence pour d’autres domaines d’application
SIFT offre également une valeur ajoutée précieuse. En analysant quelles données sont reconnues comme particulièrement pertinentes, il est possible d’identifier des corrélations importantes dans des domaines spécialisés tels que la médecine, la recherche ou l’industrie. Par exemple, les données de diagnostic particulièrement pertinentes pourraient être filtrées efficacement.