Definition Was ist EleutherAI?

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Fivetran Germany GmbH

Xpand Solutions GmbH

EleutherAI ist ein Non-Profit-Projekt für die Entwicklung und Förderung von Künstlicher Intelligenz und maschinellem Lernen. Die Non-Profit-Forschungsgruppe hat unter anderem mehrere frei verfügbare, große Sprachmodelle wie GPT-J oder GPT-NeoX erstellt, trainiert und veröffentlicht. Auch der 825 Gigabyte große Texttrainingsdatensatz „The Pile“ stammt von EleutherAI. Ein weiterer Schwerpunkt von EleutherAI ist die Forschung im Bereich Interpretierbarkeit und Alignment großer KI-Modelle.

EleutherAI ist der Name eines im Juli 2020 von Connor Leahy, Sid Black und Leo Gao gegründeten Open-Source-Projekts. Es ist aus einer Discord-Server-Gruppe entstanden und beschäftigt sich mit der Forschung, Entwicklung und Förderung von Künstlicher Intelligenz und maschinellem Lernen. Seit 2023 ist EleutherAI formell als gemeinnütziges Forschungsinstitut registriert.

Eines der Ziele von EleutherAI ist es, KI für jedermann zugänglich zu machen. Zudem sollte eine Art Open-Source-Version des von OpenAI entwickelten und veröffentlichten Sprachmodells GPT-3 geschaffen werden. Ein weiterer Schwerpunkt von EleutherAI ist die Forschung im Bereich Interpretierbarkeit und Alignment großer KI-Modelle. In den letzten drei Jahren hat EleutherAI mehrere große KI-Modelle selbst entwickelt und trainiert oder an der Entwicklung von KI-Modellen mitgearbeitet. Darunter zum Beispiel die beiden großen Sprachmodelle GPT-J und GPT-NeoX sowie die KI-Modelle BLOOM und VQGAN-CLIP.

An der Entwicklung des Deep-Learning-Text-zu-Bild-Generators Stable Diffusion und des Faltungs-KI-Modells OpenFold war EleutherAI ebenfalls maßgeblich beteiligt. Auch der 825 Gigabyte große Datensatz „The Pile“ stammt von EleutherAI. Mit ihm lassen sich große Sprachmodelle trainieren. Die Modelle, Forschungsergebnisse und weiteren Arbeiten von EleutherAI genießen hohes Ansehen in der KI-Community und werden millionenfach heruntergeladen und genutzt. Das Projekt beschäftigt Vollzeit- und Teilzeitmitarbeiter und verfügt über eine große Community. Die Entwicklungen finden zu einem großen Teil Community-basiert statt und werden von vielen unterstützt. Zu den Unterstützern und Sponsoren von EleutherAI gehören unter anderem CoreWeave, Hugging Face, Stability AI, Google TRC, Lambda Labs und Nat Friedman.

Die Entstehung von EleutherAI und Ziele des Projekts

Mit der Entwicklung und Veröffentlichung großer Transformer-basierter Sprachmodelle wie GPT-3 von OpenAI hat die Künstliche Intelligenz einen entscheidenden Entwicklungsschritt gemacht und großes Interesse geweckt. Das Erstellen und Trainieren großer Sprach- und KI-Modelle ist aber aufwendig und kostspielig und erfordert viel Know-how, Manpower und Hard- und Software-Ressourcen. Aktuell dominieren wenige große Unternehmen wie Google, Microsoft oder OpenAI die KI-Entwicklung. Sie verfolgen eigene finanzielle Interessen und haben weniger das „Allgemeinwohl“ im Blick. Die Gründer von EleutherAI haben das große Potenzial Künstlicher Intelligenz, aber auch die vielen damit verbundenen Risiken und Gefahren, erkannt. Sie sind davon überzeugt, dass die Zukunft der Künstlichen Intelligenz nicht von wenigen Unternehmen mit eigenen, ganz spezifischen finanziellen Interessen bestimmt werden sollte. Künstliche Intelligenz soll für die Allgemeinheit verfügbar sein. Unabhängige Forscher sollen mit KI arbeiten können.

EleutherAI wurde als Non-Profit-Organisationen und Teil einer Art Gegenbewegung der aktuellen KI-Landschaft gegründet. Das Projekt möchte zusammen mit anderen Organisationen wie LAION oder OpenBioML für eine offene KI-Forschung und KI-Wissenschaft sorgen. Ziel ist es unter anderem, durch mehr Transparenz die KI weiter voranzubringen und die mit KI-Technologien verbundenen Risiken zu reduzieren. Weitere Ziele sind:

• KI für jedermann zugänglich zu machen

• Bereitstellung einfach nutzbarer Werkzeuge und Technologien

• Förderung von Ethik und Transparenz im Bereich der Künstlichen Intelligenz

• verantwortungsvoller Einsatz von KI zum Wohl der Menschheit

• einfacher und schneller Einsatz von KI für verschiedene Anwendungsbereiche

• Menschen über die Möglichkeiten, Einschränkungen und Risiken von KI zu unterrichten

Arbeiten und Veröffentlichungen von EleutherAI

Seit der Gründung im Jahr 2020 hat das Open-Source-Projekt und gemeinnützige Forschungsinstitut EleutherAI zahlreiche KI-Modelle, Arbeiten und Forschungsergebnisse veröffentlicht. Bereits 2021 wurden zwei GPT-Neo-Varianten mit 1,3 Milliarden und 2,7 Milliarden Parametern vorgestellt. 2021 veröffentlichte EleutherAI das sechs Milliarden Parameter große Modell GPT-J. Es wurde mit dem ebenfalls von EleutherAI geschaffenen, 825 Gigabyte großen Datensatz „The Pile“ trainiert. 2022 folgte GPT-NeoX-20B mit 20 Milliarden Parametern. Für das Training von GPT-NeoX-20B wurden GPUs von CoreWeave und ebenfalls der Datensatz The Pile eingesetzt. Hinsichtlich ihrer Leistungsfähigkeit können die EleutherAI-Modelle in vielen Benchmarks und einzelnen NLP-Bereichen mit den GPT-Sprachmodellen von OpenAI mithalten.

Zu den weiteren Veröffentlichungen von EleutherAI zählen:

• das Text-to-Image-Modell VQGAN-CLIP aus den Jahren 2021 und 2022

• das Text-to-Image-Modell CLOOB-Conditioned Latent Diffusion (CCLD) aus dem Jahr 2022

• OpenFold, eine speichereffiziente, GPU-freundliche PyTorch-Reproduktion von AlphaFold2 aus dem Jahr 2022

• Pythia, eine Folge von 16 Modellen mit 154 teilweise trainierten Checkpoints zur Erforschung großer trainierter Sprachmodelle (Skalierung, Interpretierbarkeit und Transparenz) aus dem Jahr 2023

• das OSLO Framework aus dem Jahr 2023 zur Optimierung des Trainings und der Inferenz großer KI-Modelle auf GPUs

(ID:49597483)