Präzisere KI-Antworten
Ein neuer Algorithmus der ETH Zürich revolutioniert die Nutzung grosser Sprachmodelle. Mit gezielt ausgewählten Daten werden KI-Antworten verlässlicher und der Rechenaufwand sinkt deutlich.
Grosse Sprachmodelle faszinieren durch ihr Wissen und irritieren zugleich durch ungenaue oder widersprüchliche Antworten. Die Ursache liegt oft in der Unsicherheit der Modelle, die bislang schwer zu kontrollieren war. Forschende der ETH Zürich haben nun mit dem SIFT-Algorithmus («Selecting Informative data for Fine-Tuning») eine Methode entwickelt, die genau hier ansetzt. Sie wählt zusätzliche Daten präzise danach aus, ob sie die Unsicherheit verringern und die Antwortqualität verbessern.
Informationsauswahl durch Vektoranalysen
Statt einfach die nächstliegenden Informationen zu verwenden, analysiert SIFT die Beziehungsstruktur der Sprachinformationen im vieldimensionalen Raum der grossen Modelle. Entscheidend ist der Winkel zwischen den Vektoren. Informationen mit komplementären Inhalten werden gezielt ausgewählt, um vollständige und relevante Antworten zu ermöglichen. Redundanzen und Überlagerungen, wie sie bei klassischen Ansätzen auftreten, werden systematisch vermieden.
Grosse Wirkung auch mit kleinen Modellen
Die gezielte Anreicherung mit relevanten Daten ermöglicht es, den Rechenaufwand grosser Sprachmodelle drastisch zu reduzieren. In Tests übertraf SIFT-tuning sogar leistungsstarke KI-Modelle mit bis zu 40-mal kleineren Modellen. Gleichzeitig passt sich das System dynamisch an. Während der Nutzung wird das angereicherte Modell laufend präziser, indem es sich selbst im Betrieb weitertrainiert.
Relevanz bewerten für andere Anwendungsbereiche
SIFT bietet zudem einen wertvollen Zusatznutzen. Durch die Analyse, welche Daten als besonders relevant erkannt werden, lassen sich wichtige Zusammenhänge in Spezialgebieten wie der Medizin, Forschung oder Industrie identifizieren. So könnten beispielsweise besonders aussagekräftige Diagnosedaten effizient herausgefiltert werden.