Mobile-Menu

KI-Modelle auf Endgeräten PrismML bringt 27-Milliarden-Parameter-Modell aufs Smartphone

Von Berk Kutsal 1 min Lesedauer

Anbieter zum Thema

QUNIS GmbH

Das US-Unternehmen PrismML hat mit Bonsai 27B ein multimodales Sprachmodell veröffentlicht, das nach Angaben des Herstellers als erstes seiner Größenklasse auf einem Smartphone läuft. Möglich mache das eine extreme Gewichtskompression auf gut ein Bit pro Parameter.

Ternäre Gewichte kennen nur drei Zustände: −1, 0 und +1. Aus dieser Beschränkung zieht PrismML den Größenvorteil, der ein 27B-Modell in den Speicher eines Smartphones bringt.(Bild: PrismML)
Ternäre Gewichte kennen nur drei Zustände: −1, 0 und +1. Aus dieser Beschränkung zieht PrismML den Größenvorteil, der ein 27B-Modell in den Speicher eines Smartphones bringt.
(Bild: PrismML)

PrismML hat mit Bonsai 27B ein multimodales Modell auf Basis von Qwen3.6 27B vorgestellt. Es erscheint in zwei Varianten unter der Apache-2.0-Lizenz. Ternary Bonsai 27B arbeitet mit ternären Gewichten und belegt laut Hersteller 5,9 Gigabyte, die 1-Bit-Variante mit binären Gewichten kommt auf 3,9 Gigabyte. Zum Vergleich nennt PrismML rund 54 Gigabyte für dasselbe Modell in 16-Bit-Präzision. Beide Varianten unterstützen ein Kontextfenster von 262.000 Token sowie Werkzeugaufrufe und agentische Abläufe. Der Vision-Teil liegt in 4-Bit-Form vor.

Die Kompression greift nach Darstellung des Unternehmens durchgängig, also auch bei Embeddings, Attention und LM-Head. Bonsai 27B läuft über MLX auf Apple-Geräten und über CUDA auf Nvidia-GPUs. Auf einer Geforce RTX 5090 gibt PrismML bis zu 163 Token pro Sekunde für die 1-Bit-Variante an, auf einem M5 Max bis zu 87 Token pro Sekunde.

Über eine Suite aus 15 Benchmarks erreicht die ternäre Variante nach Herstellerangaben 95 Prozent der Vollpräzisions-Basis, die 1-Bit-Variante 90 Prozent. Die von PrismML veröffentlichte Tabelle differenziert das:

Category (benchmarks) Qwen 3.6 27B Ternary Bonsai 27B 1-bit Bonsai 27B
Math (GSM8K, MATH-500, AIME25, AIME26) 95.3 93.4 91.7
Coding (HumanEval+, MBPP+, LiveCodeBench) 88.7 86.0 81.9
Agentic and Tool-calling (BFCL v3, TauBench) 80.0 74.0 66.0
Instruction following (IFEval, IFBench) 78.4 71.8 65.8
Knowledge / STEM (MMLU-Redux, MuSR) 83.1 77.0 73.4
Vision (MMMU Pro, OCRBench) 72.6 65.2 59.6
Overall (15 benchmarks) 85.0 (100 %) 80.5 (95 %) 76.1 (90 %)

Mathematik und Coding verlieren wenig, Vision sinkt von 72,6 auf 59,6 Punkte, Instruction Following von 78,4 auf 65,8. Beim Tool-Calling fällt der Wert von 80,0 auf 66,0 Punkte. Technische Details zu Kompression und Evaluierung nennt PrismML im Whitepaper.

Das Unternehmen ging aus einem Team von Caltech-Forschern hervor und wird nach eigenen Angaben von Khosla Ventures, Cerberus, Google und Samsung unterstützt.

(ID:50900727)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte