13 Minuten für eine einzige Antwort. So lange hat Strata auf meinem MacBook an den ersten Dateien einer kleinen Kundenverwaltung geschrieben. Dieselbe Software beantwortet mir auf einem zweiten Rechner eine kurze Frage in 3,4 Sekunden. Dazwischen liegt der Faktor zehn: rund 7 Tokens pro Sekunde auf dem einen, 70 auf dem anderen.
Strata ist ein Open-Source-Programm, das das Sprachmodell Qwen3.8-Flash-Next auf dem eigenen Rechner ausführt. Das Versprechen: ein großes Modell auf normaler Hardware. Ich habe es auf zwei Rechnern ausprobiert und dabei gelernt, an welcher Stelle „normal“ aufhört.
- Strata läuft auf Windows, Linux und macOS und stellt das Modell über eine Schnittstelle bereit, die zu OpenAI und Anthropic passt.
- Das Modell besteht aus 24.576 kleinen Teilmodellen. Pro Wort rechnen nur 10 davon.
- Auf meinem MacBook Pro mit M1 Max und 32 GB lagen nur rund 10 Prozent dieser Teilmodelle im Speicher. Ergebnis: 7 Tokens pro Sekunde.
- Auf einem Rechner, auf dem das Modell ganz in den Speicher passt, waren es 70 Tokens pro Sekunde.
Was ist Strata?
Strata ist eine Software, die ein einzelnes großes Sprachmodell lokal ausführt, also ohne Cloud. Sie steht unter der MIT-Lizenz auf GitHub, hat dort knapp 47.000 Sterne und liegt in Version 0.2.19 vor. Das Modell selbst, Qwen3.8-Flash-Next, stammt vom Qwen-Team und hat eine eigene Lizenz.
Nach dem Start lauscht Strata auf dem eigenen Rechner und spricht dieselbe Sprache wie die Dienste von OpenAI und Anthropic. Jedes Werkzeug, das eine solche Adresse annimmt, kann sich damit verbinden. Das README nennt unter anderem Claude Code, Codex CLI und OpenClaw. Wie so eine Verbindung aussieht, steht in meinem Beitrag über OpenClaw mit einem lokalen Modell.
Installiert wird Strata über eine Desktop-App oder im Terminal:
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch
strata launch fragt nach der gewünschten Modellstufe, lädt sie herunter und startet den Server. Plane dafür Zeit und Platz ein: Der Download umfasst je nach Stufe 66 bis 76 GB. Bei mir war das Modell danach unter http://127.0.0.1:8080/v1 erreichbar.
Wie passt ein so großes Modell auf einen normalen Rechner?
Qwen3.8-Flash-Next ist ein Mixture-of-Experts-Modell. Die Dokumentation von Strata beschreibt es als Team aus 24.576 kleinen Spezialisten, den Experten. Für jedes Wort, das das Modell schreibt, braucht es nur 10 von ihnen. Der Rest liegt in diesem Moment ungenutzt herum.
Genau das nutzt Strata aus und verteilt das Modell auf drei Orte:
- Grafikkarte: die Teile, die bei jedem Wort gebraucht werden, und ein Zwischenspeicher mit den meistbenutzten Experten.
- Arbeitsspeicher: alle 24.576 Experten.
- Prozessor: rechnet die Experten, die nicht auf der Grafikkarte liegen.
Reicht der Arbeitsspeicher nicht, liest Strata die Experten von der SSD. Die Dokumentation sagt dazu trocken: Das funktioniert und ist viel langsamer. Wie viel langsamer, habe ich gemessen.
Wie schnell ist Strata auf einem MacBook mit 32 GB?
Am 21. Oktober habe ich Strata auf meinem MacBook Pro mit M1 Max und 32 GB Arbeitsspeicher gestartet, mit der Stufe IQ3_XXS und 32.768 Tokens Kontext. Der Server lief, die erste Testanfrage kam zurück. Die Antwort schrieb das Modell mit rund 7 Tokens pro Sekunde. Flüssig mitlesen kann man ab etwa 10 bis 20.
Den Grund nennt das Protokoll von Strata selbst. Das Modell belegt 71 GB auf der Platte, die Experten allein 47 GB. In den Speicher geladen waren 2.462 von 24.576 Experten, also rund 10 Prozent. Die übrigen 90 Prozent holte Strata bei Bedarf von der SSD. Die Grafikeinheit des M1 Max hat nicht gerechnet, sie hat auf die Platte gewartet.
Für einen Chat reicht das zur Not. Für meinen kleinen Programmier-Benchmark reichte es nicht. Die Aufgabe: eine Kundenverwaltung mit Flask und SQLite. Das Modell schrieb mit 3,2 bis 5,4 Tokens pro Sekunde. Der zweite Schritt mit 4.172 Tokens dauerte 777 Sekunden, also knapp 13 Minuten, und endete mit einem Formatfehler: drei Dateien angekündigt, zwei geliefert. Der dritte Schritt brauchte weitere sechs Minuten und schrieb die drei Dateien dann sauber. Im vierten brach der Lauf ab. Der Code, der bis dahin dastand, ist fehlerfrei durch die Syntaxprüfung gegangen. Nur wartet niemand zwanzig Minuten auf drei Dateien.
Und wenn das Modell ganz in den Speicher passt?
Am 22. November habe ich die Probe auf einem zweiten Rechner in meinem Netz gemacht. Dort läuft Strata mit der größten Stufe IQ3_S und 131.072 Tokens Kontext, und das Modell passt ganz in den Speicher. Gemessen: 70,6 Tokens pro Sekunde. Eine Frage mit drei Sätzen Antwort war nach 3,4 Sekunden erledigt.
Der Vergleich ist sogar unfair zugunsten des MacBooks, denn dort lief die kleinere Stufe. Die größere war trotzdem zehnmal so schnell.
| MacBook Pro M1 Max, 32 GB | Zweiter Rechner | |
|---|---|---|
| Stufe | IQ3_XXS | IQ3_S |
| Kontext | 32.768 Tokens | 131.072 Tokens |
| Experten im Speicher | rund 10 Prozent | alle |
| Tempo beim Schreiben | rund 7 Tokens pro Sekunde | 70,6 Tokens pro Sekunde |
Wie viel Speicher braucht Strata?
Das Projekt nennt für jede Stufe einen Wert für Arbeitsspeicher und Grafikspeicher zusammen und bezeichnet ihn selbst als Schätzung:
| Stufe | Speicher für das Modell | Einordnung des Projekts |
|---|---|---|
| Q2_0 | 37,6 GB | am schnellsten |
| IQ2_XS | 39,2 GB | schnell |
| IQ3_XXS | 47,0 GB | langsamer |
| IQ3_S | 54,8 GB | am langsamsten, beste Qualität |
Die Empfehlung dazu: Mit 64 GB Arbeitsspeicher passt jede Stufe, mit 48 GB passen Q2_0 und IQ2_XS. Mein MacBook liegt mit 32 GB unter der kleinsten Stufe. Das hätte ich vorher nachlesen können.
Aufschlussreich ist eine Messung des Projekts: 94 Tokens pro Sekunde mit Q2_0 auf einer RTX 5070. Diese Grafikkarte hat nur 12 GB eigenen Speicher, der Rechner dazu aber 64 GB Arbeitsspeicher. Eine teure Grafikkarte braucht Strata also nicht. Es braucht Platz für die Experten.
Erst rechnen, dann laden
Bei lokalen Modellen habe ich bisher eine einfache Regel benutzt: Passt das Modell in den Speicher, läuft es, sonst startet es gar nicht. Strata verschiebt diese Grenze. Es startet auch dann, wenn der Speicher nicht reicht, und sieht dabei aus, als würde es funktionieren. Die Grenze ist noch da, sie zeigt sich nur später, als Wartezeit.
Bevor du 70 GB herunterlädst, rechne deshalb kurz: Arbeitsspeicher plus Grafikspeicher deines Rechners gegen die Tabelle oben. Liegst du darüber, bekommst du ein großes Modell, das auf deinem eigenen Rechner bleibt und keine Zwischenstationen bei fremden Anbietern braucht. Liegst du darunter, bist du mit einem kleineren Modell besser bedient, das ganz in den Speicher passt. Wie du so eines findest und startest, steht in KI ohne Cloud ausprobieren.




