Das Programm heißt LLmFarm
Klappt auf dem iPad mit M Prozessor ganz gut, auf meinen IPhone 13 auch aber sehr langsam.
So geht’s:
TestFlight installieren
Auf das TestFlight Icon auf https://llmfarm.site/ klicken.
In Safari !! eins der Modelle runterladen https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF/tree/main
LLMFarm starten.
Als Model das Mistral Model auswählen
In den Optionen (nur auf dem iPad) Metal auswählen.
Dann auf Chat, dort erneut das Model auswählen und los geht’s.
Wäre die App schneller (bzw das Handy) dann wäre das schon sehr cool.
Lokal auf deinem Rechner kannst du DiffusionBee und Stable Diffusion verwenden.
