Mobile-Menu

Neues KI-Modell insbesondere für kleine Tabellendaten TabPFN ermöglicht schnellere und präzisere Vorhersagen

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Universität Freiburg
Fsas Technologies GmbH
Board Deutschland GmbH
BigData-Insider

Das Forscherteam um Prof. Dr. Frank Hutter von der Universität Freiburg hat mit TabPFN ein neues KI-Modell entwickelt. Dieses soll präzisere und schnellere Vorhersagen von Tabellendaten ermöglichen, insbesondere bei Datensätzen mit weniger als 10.000 Datenpunkten – ein Bereich, in dem viele traditionelle Machine-Learning-Modelle an ihre Grenzen stoßen.

Für das Training des KI-Modells verwendeten die Forschenden den Großrechner der Universität.(Bild: Jürgen Gocke / Universität Freiburg)
Für das Training des KI-Modells verwendeten die Forschenden den Großrechner der Universität.
(Bild: Jürgen Gocke / Universität Freiburg)

TabPFN (Transformer-based Probabilistic Forecasting Network) wurde mit 100 Millionen synthetischen Datensätzen trainiert, die kausale Zusammenhänge simulieren. Das umfangreiche Training befähigt das Modell, fehlende Datenpunkte zu schätzen, Ausreißer zu identifizieren und gleichzeitig robuste Vorhersagen zu treffen. TabPFN benötige dabei nur etwa 50 Prozent der Datenmenge, um die gleiche Genauigkeit wie hergebrachte Verfahren zu erzielen. Damit könnten auch ressourcenarme Projekte oder Studien von hochentwickelten KI-Technologien profitieren.

Zudem soll TabPFN im Umgang mit neuen Arten von Daten effizienter als bisherige Algorithmen sein. Statt bei jedem Datensatz einen neuen Lernprozess zu beginnen, kann das Modell auf ähnliche Datensätze angepasst werden. Dieser Vorgang ähnelt der Anpassung von Sprachmodellen mit offenen Gewichten wie das von Meta entwickelte Llama. Auch ermöglicht das Modell, aus einem Datensatz die Wahrscheinlichkeitsdichte abzuleiten und daraus wiederum neue Daten mit ähnlichen Eigenschaften zu erzeugen.

Prof. Dr. Frank Hutter: „Mit TabPFN verlässlich und schnell Vorhersagen aus Tabellendaten berechnen zu können, ist für viele Fachdisziplinen ein Gewinn – von der Biomedizin über die Wirtschaftswissenschaften bis hin zur Physik.“(Bild: Universität Freiburg)
Prof. Dr. Frank Hutter: „Mit TabPFN verlässlich und schnell Vorhersagen aus Tabellendaten berechnen zu können, ist für viele Fachdisziplinen ein Gewinn – von der Biomedizin über die Wirtschaftswissenschaften bis hin zur Physik.“
(Bild: Universität Freiburg)

„Mit TabPFN verlässlich und schnell Vorhersagen aus Tabellendaten berechnen zu können, ist für viele Fachdisziplinen ein Gewinn – von der Biomedizin über die Wirtschaftswissenschaften bis hin zur Physik“, sagt Hutter.

Datensätze, sei es zur Wirkung bestimmter Medikamente oder zu Teilchenbahnen in Beschleunigern am CERN, sind selten vollständig oder fehlerfrei. Deshalb besteht ein wichtiger Teil der wissenschaftlichen Datenanalyse daraus, Ausreißer als solche zu erkennen oder fehlende Datenpunkte durch sinnvolle Abschätzungen zu ergänzen. Bisherige Algorithmen wie XGBoost funktionieren gut bei großen Datensätzen, sind jedoch bei kleineren Datenmengen oft unzuverlässig.

Die Ergebnisse wurden in der Fachzeitschrift Nature veröffentlicht. Beteiligt war neben der Universität Freiburg das Universitätsklinikum Freiburg, die Charité – Universitätsmedizin Berlin, das Freiburger Start-up PriorLabs sowie das ELLIS Institut Tübingen.

In einem nächsten Schritt werden die Forschenden die KI weiterentwickeln, um auch bei größeren Datensätzen bestmögliche Vorhersagen machen zu können.

Artikelfiles und Artikellinks

(ID:50280071)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte