GPT4All lokal selbst anreichern (trainieren) auf Mac

Nach DiffussionBee / Stable Diffusion auf dem Mac echt gute Bilder produziert (wie dieses Beitragsbild) muss ich jetzt mal versuchen GPT4All via Python mit meinen Dokumenten zu trainieren.. Die Desktop-Anwendung ist ja nett aber ohne eigene Daten…

Zudem frage ich mich an was es liegt, dass GPT4All so seltsam antwortet. Ich würde aber mal annehmen die vorhandenen Datenmodelle sind einer der Hauptgründe.

Allerdings bricht GPT4All auch ab und zu einfach die Ausgabe ab.. naja, egal. Zum lernen ist das stand jetzt ja egal.

Abgesehen davon: DiffussionBee / Stable Diffusion wurde ja auch erst lokal gut mit mehr Modellen.

————

Eigentlich wollte ich GPT4All benutzen um in PDFs nach Daten zu suchen… die erste Anleitung hat natürlich am Ende nicht funktioniert… aber die Zweite.

Was passieren sollte: GPT4All als python Library runterladen, Programmierschnittstellen installieren, testen des enthaltenen Grundmodels (LLM).
Grundmodel austauschen gegen ein aktuelles damit das Teil schlauer ist und deutsch kann.
Grundmodel mit eigenem Wissen anreichern.

Warum? Weil die Daten dann nur auf meinem Rechner liegen. Kundendaten oder andere Daten sind dann nirgendwo anders als bei mir.

GPT4All und Langchain herunterladen

Erst mal python und ein Build Projekt von GPT4All aus Github runterladen..

brew install python
git clone https://github.com/wombyz/gpt4all_langchain_chatbots.git

Wie an der URL erkennbar nutzen wir langchain als VectorDB

VS Code starten und Verzeichnis öffnen

Terminal öffnen…

pip3 install nomic
python3 nomic_setup.py

Download läuft..
Endlich hat der Mac M Pro mal was zu denken… und die 32 GB Memory mal was zu tun.

Warten…. und ich habe zu lange gewartet denn nach dem Download hing das Programm.. also Strg+C und selbst mal schnell was probieren.. tut:

from nomic.gpt4all import GPT4All

def main():
    with GPT4All() as bot:
        print("\nEnter Your Prompt: ")
        while True:
            user_input = input("\n> ")
            response = bot.prompt(user_input)
            print("\nGPT4All: ", response)

if __name__ == '__main__':
    main()

OK. Grundsätzlich funktioniert also irgendwas.. und so importiert man dann zB ein anderes Modell

import gpt4all
gptj = gpt4all.GPT4All("ggml-gpt4all-j-v1.3-groovy")
messages = [{"role": "user", "content": "Name 3 german car brands"}]
gptj.chat_completion(messages)

Kommt was raus aber nix gescheites

aber so wichtig ist das nicht, wichtiger ist, das es tut.

Als nächstes dieses Beispiel probieren:
https://python.langchain.com/en/latest/modules/models/llms/integrations/gpt4all.html

OK, hat nicht geklappt, hab aber eine andere Anleitung tut mit PDFs:

https://levelup.gitconnected.com/training-your-own-llm-using-privategpt-f36f0c4f01ec

nur die URLLib musste ich Downgraden

und ja, es hat gelernt aber es ist schwierig mit unterhalten denn die PDFs sind deutsch.

Jetzt hab ich mal einige englische PDFs reingeladen, das tut deutlich besser.
Allerdings antwortet jetzt GPT4ALL wieder so seltsam abgebrochen usw.

Fazit 1:

Es tut aber ist jetzt nicht der Bringer aus diversen Gründen. Es tut sich aber auch so viel so schnell. Wer weiss.. in 4-8 Wochen ist das Ding ggf super gut. Die Libraries ändern sich ja stündlich.

Schritt 2:

Stable Diffusion wurde ja auch erst lokal gut mit mehr Modellen.

Deswegen nächster Schritt:

https://pub.towardsai.net/finetuning-local-large-language-models-on-your-data-using-langchain-9229da66ad9b

und siehe da – jetzt tuts..
Mit dem passenden Modell und Daten ist Medizin für meinen Mac kein Ding mehr.

question: what is the solution for soar throat ?

1. If you get bad allergies, eat healthy food like fruit and vegetable to reduce inflammation in your body. Drink water as much or more than before if possible during a cold period when symptoms are worse. Avoid using alcohol too because it can weaken the immune system for longer durations of time while having fever which is not normal but should be treated with antibiotics along-with antihistamines (if needed)

Jetzt brauch ich mal ein Modell das dazu noch deutsch kann.

---

GPT4All german / GPT4ALL deutsch

Hier tut sich bisher leider wenig. Mistral wäre mal ein netter Versuch zu probieren aber Zeit hab ich leider wenig.

---

Diverse Models gibts da
https://huggingface.co/

Das Ding kann auch sprechen:
https://www.youtube.com/watch?v=FBXA-DPyNrA

Original-Anleitung von:

Alternativ empfehle ich LMStudio – Dies stellt eine URL bereit welche man direkt ansprechen kann