Ausprobiert

Ein ganzer Song aus dem eigenen Mac? Ich wollte wissen, ob das ohne Cloud geht.

Ein ganzer Song aus dem eigenen Mac? Ich wollte wissen, ob das ohne Cloud geht.

Texte schreibt mein Mac schon lange selbst, Bilder inzwischen auch. Bei Musik dachte ich bisher: Das ist die Disziplin, für die man einen Dienst im Netz braucht. Dann erschien MiniMax Music 3 mit offenen Modellgewichten, und ich wollte wissen, ob ein ganzer Song auch auf dem eigenen Rechner entstehen kann. Kurze Antwort: Ja. Lange Antwort: Ja, aber der Weg dahin war holpriger als gedacht, und der Rechner muss sehr viel Arbeitsspeicher haben.

Erst hören, dann lesen

Beide Stücke sind vollständig lokal entstanden, auf einem Mac mit M5 Max und 128 GB Arbeitsspeicher. Nichts davon ist nachbearbeitet.

Deutsches Beispiel, 60 Sekunden: eigene Beschreibung und eigener deutscher Liedtext. Rechenzeit: 8 Minuten 55 Sekunden.

MP3 herunterladen (1,2 MB)

Testlauf, 3 Minuten: das längste Stück, das bisher durchgelaufen ist. Rechenzeit: 21 Minuten 53 Sekunden.

MP3 herunterladen (3,6 MB)

Ob das nach Musik klingt oder nach einer sehr teuren Spieluhr, entscheidest du am besten selbst. Mich interessiert hier vor allem die Frage, was nötig war, damit überhaupt etwas herauskommt.

Das Wichtigste in Kürze

  • MiniMax Music 3 läuft offiziell nur mit CUDA, also auf Nvidia-Grafikkarten. Für Apple Silicon gibt es einen Community-Port auf Basis von MLX.
  • Der Port lief nicht aus dem Stand: Eine Datei fehlte, das Sprachmodell ließ sich erst nach zwei Korrekturen umwandeln, und lange Stücke brauchten einen Umbau.
  • Ein 3-Minuten-Stück hat 22 Minuten gerechnet und in der Spitze 106 GB Arbeitsspeicher belegt.
  • Für einen Mac mit 16 oder 32 GB ist das nichts, auch nicht für meinen Mac mini als KI-Rechner. Das ist ein Experiment für sehr gut ausgestattete Rechner.

Warum läuft das nicht einfach so?

Die meisten offenen KI-Modelle werden für Nvidia-Karten gebaut. Auf dem Mac gibt es dafür MLX, Apples eigenes Rechengerüst für die M-Prozessoren. Jemand muss ein Modell also erst dorthin übersetzen. Bei Sprachmodellen passiert das inzwischen innerhalb von Tagen, bei Musikmodellen seltener.

Für MiniMax Music 3 gibt es so eine Übersetzung: den Port minimax-music3-mlx auf Hugging Face. Der Autor schreibt offen dazu, dass der Code komplett von einem Sprachmodell erzeugt und nicht geprüft ist. Das ist ehrlich, heißt aber auch: Bevor so etwas auf meinem Rechner läuft, will ich wissen, was es tut. Ich habe den Code deshalb vorher auf Netzwerkzugriffe, Shell-Aufrufe und unsicheres Laden von Dateien durchsucht. Ergebnis: Er liest nur die lokalen Gewichtsdateien.

Was du dafür brauchst

  • Einen Mac mit Apple Silicon und sehr viel Arbeitsspeicher. Schon ein 30-Sekunden-Stück hat bei mir 69 GB belegt.
  • Rund 27 GB Platz für die Modellgewichte von MiniMaxAI/MiniMax-Music3. Es reichen die Ordner language_model, tokenizer, rvq_depth_decoder, condition_encoder, transformer, vocoder, scheduler und scripts samt Konfigurationsdateien. Die Gewichte im Originalformat brauchst du nicht noch einmal.
  • Den MLX-Port, Branch quant: sieben Python-Dateien und ein Beispiel.
  • Eine Python-Umgebung. Bei mir genügte das Python 3.9 des Systems mit mlx 0.29.3, mlx-lm 0.29.1, torch 2.8.0, transformers 4.57.6, soundfile, scipy, safetensors und huggingface_hub.

Was nicht gepasst hat und wie es dann lief

1. Eine Datei fehlte

Der Port ruft zwei Funktionen aus einer Datei prompt.py auf, die im Repository gar nicht liegt. Sie bereiten die Musikbeschreibung und den Liedtext so auf, wie das Modell sie erwartet. Beide Funktionen gibt es im Referenzcode, den Hugging Face gerade in die Bibliothek diffusers einbaut (Pull Request 14456). Von dort habe ich sie unverändert übernommen. Unverändert ist hier wichtig: Das Format gehört zum Modell, wer daran dreht, bekommt andere Musik.

2. Das Sprachmodell ließ sich nicht umwandeln

MiniMax Music 3 besteht aus mehreren Stufen. Die erste ist ein Sprachmodell, das aus Beschreibung und Text eine Art Partitur in Tokens schreibt. Mit 16 GB ist es der größte Brocken. Auf 4 Bit verkleinert sind es noch 4,5 GB. Dafür waren zwei Handgriffe nötig:

  • In model/language_model/config.json musste der Wert "rope_theta": 1000000 auf die oberste Ebene. Er stand nur eine Ebene tiefer, und mlx-lm sucht ihn oben.
  • Die Tokenizer-Dateien aus model/tokenizer/ mussten in den Ordner des Sprachmodells kopiert werden, sonst bricht die Umwandlung beim Laden ab.

Danach lief die Umwandlung durch:

.venv/bin/python -m mlx_lm convert --hf-path model/language_model \
    -q --q-bits 4 --mlx-path model/language_model_4bit

3. Lange Stücke gingen in die Knie

Das war der eigentliche Knackpunkt. Die zweite Stufe macht aus der Partitur Klang, und der Port schickte dafür das ganze Stück in einem einzigen Durchgang durch das Modell. Der Speicherbedarf wächst dabei quadratisch mit der Länge: 71 GB für 10 Sekunden, 104 GB für 30 Sekunden. Außerdem ist das Modell für so lange Abschnitte gar nicht trainiert. Der Autor des Ports beschreibt ab etwa einer Minute eine dünne, verrauschte Mitte.

Der Referenzcode löst das anders, und so habe ich es umgebaut: Das Stück wird in Fenster von 8 Sekunden zerlegt, die sich zur Hälfte überlappen. Jedes Fenster bekommt das Ende des vorherigen mit auf den Weg und wird beim Berechnen immer wieder darauf hingeblendet, damit die Übergänge nicht hörbar sind. Am Schluss wird jedes Fenster einzeln in Klang umgerechnet, die überlappenden Ränder fallen weg, und der Rest wird aneinandergehängt.

Das klingt nach einem Detail, entscheidet aber darüber, ob ein Stück nach 30 Sekunden endet oder drei Minuten lang wird.

So erzeugst du ein Stück

Du brauchst zwei Textdateien: eine Beschreibung der Musik (Stil, Instrumente, Stimmung, Tempo) und den Liedtext. Der Liedtext braucht Strukturmarken wie [verse] oder [chorus], jeweils auf einer eigenen Zeile.

.venv/bin/python generate.py caption.txt lyrics.txt -o out/song.wav -f 4500 -s 42
  • -f ist die Länge in Frames, 25 pro Sekunde. 750 ergibt 30 Sekunden, 4500 drei Minuten.
  • -s ist der Startwert für den Zufall. Derselbe Wert ergibt dasselbe Stück, ein anderer eine neue Variante.
  • Heraus kommt eine WAV-Datei in Stereo mit 32 kHz.

Starte immer nur einen Lauf gleichzeitig, der Speicherbedarf ist hoch.

Wie lange dauert das und wie viel Speicher frisst es?

StückLängeSprachmodellDiffusion und AudioGesamtFaktor zur EchtzeitSpeicher in der Spitze
Test, in einem Durchgang10 s12 s24 s44 s4,4×71 GB
Test, in einem Durchgang30 s35 s97 s2 min 15 s4,5×104 GB
Test, in Fenstern30 s34 s128 s2 min 45 s5,5×69 GB
Deutsches Beispiel (Hörprobe oben)60 s77 s454 s8 min 55 s8,9×nicht gemessen
Testlauf 3 Minuten (Hörprobe oben)180 s216 s1094 s21 min 53 s7,3×106 GB

Die Gesamtzeit liegt jeweils ein paar Sekunden über der Summe der beiden Stufen. Zwei Dinge fallen auf:

  • Das Sprachmodell ist berechenbar. Es braucht rund 1,2 Sekunden pro Sekunde Musik, egal wie lang das Stück ist.
  • Die Klangerzeugung bestimmt die Wartezeit. Beim 3-Minuten-Stück entfallen gut 18 der 22 Minuten auf die 44 Fenster. Je nach Stück rechnet der Mac insgesamt 4,4- bis 8,9-mal so lange, wie die Musik dauert. Warum das 60-Sekunden-Stück pro Sekunde länger braucht als das 3-Minuten-Stück, kann ich aus den Zahlen nicht erklären.

Was noch nicht gut ist

  • Der Speicher wächst trotz Fenstern weiter. 69 GB bei 30 Sekunden, 106 GB bei drei Minuten. Warum, habe ich noch nicht herausgefunden. Ein 5-Minuten-Stück scheitert daran.
  • Deutsch ist ein Versuch. Die Beschreibung des Modells nennt keine unterstützten Sprachen. Belegt sind Englisch und Chinesisch. Das deutsche Beispiel oben zeigt, was dabei herauskommt.
  • Die Lizenz hat Auflagen. Das Modell steht unter der „MiniMax-Music3 Community License“. Wer mit den Stücken Geld verdienen will, sollte sie vorher lesen.

Lohnt sich das?

Nüchtern gerechnet: nein. Ein Rechner mit 128 GB Arbeitsspeicher, 27 GB Download und 22 Minuten Wartezeit für drei Minuten Musik, das erledigt ein Musikdienst im Netz deutlich schneller und ohne eigene Hardware.

Mich hat trotzdem etwas anderes überrascht. Vor einem Jahr hätte ich gesagt, dass Musik auf absehbare Zeit in die Rechenzentren gehört. Jetzt steht hier ein Gerät auf dem Schreibtisch, das einen Song mit Gesang erzeugt, ohne dass ein einziges Byte das Haus verlässt. Kein Konto, kein Abo, keine Frage, was mit meinen Texten passiert. Bei Bildern mit Ollama war es genauso: erst ein mühsames Experiment, ein paar Monate später ein Befehl. Ich rechne damit, dass es bei Musik ähnlich läuft und der Speicherhunger mit den nächsten Versionen sinkt.

Bis dahin ist es ein Bastelprojekt. Aber eines, bei dem am Ende etwas aus den Lautsprechern kommt, das es vorher nicht gab.

Häufige Fragen

Kann ich auf dem Mac Musik mit KI generieren, ohne Cloud?

Ja. Mit MiniMax Music 3 und einem MLX-Port entsteht die Musik vollständig auf dem eigenen Rechner. Bei mir lief das auf einem Mac mit M5 Max und 128 GB Arbeitsspeicher.

Wie viel Arbeitsspeicher braucht MiniMax Music 3 auf dem Mac?

In meinen Läufen 69 GB für 30 Sekunden und 106 GB für drei Minuten, jeweils in der Spitze. Auf einem Mac mit 16, 32 oder 64 GB habe ich es nicht getestet; nach diesen Werten rechne ich nicht damit, dass es dort durchläuft.

Wie lange dauert ein Song?

Das 3-Minuten-Stück hat 21 Minuten 53 Sekunden gerechnet, das 60-Sekunden-Stück 8 Minuten 55 Sekunden und ein 30-Sekunden-Test knapp drei Minuten. Der Mac braucht also grob fünf- bis neunmal so lange, wie die Musik dauert.

Geht auch Sprache statt Musik?

Dafür gibt es einfachere Wege. Wie du auf dem Mac aus Text gesprochene Audiodateien machst, steht in meinem Beitrag zu Text-to-Speech auf macOS.