Hinweise und Erklärungen:
Dieser Chatbot lädt ein LLM (Large Language Model) in den Cache des Browsers und führt es lokal aus. Es werden keine Prompts an den Server oder eine Cloud gesendet.
Die trainierten LLM Modelle sind relativ groß. Daher ist ein gewisser Trade-off zwischen gut trainiertem Modell und der Größe des Modells nötig.
Ein gut trainiertes Modell kann 40 GB groß sein. Das wäre für die Ausführung direkt im Webbrowser aber zu groß und auch zu viel zum Downloaden.
Kleine Modelle wie das TinyLlama mit ca. 500 MB machen aber zu ungenaue Ausgaben und fantasieren teilweise zu stark.
Ein guter Kompromiss ist das "Llama-3-8B-Instruct-q4f32_1-MLC-1k" mit ca. 4 GB (es ist daher als Standard ausgewählt).
Voraussetzungen:
Um solch ein Modell mit 4 GB zu downloaden braucht es jedoch eine schnelle Internet Verbindung oder viel Geduld.
Damit das LLM lokal im Browser ausgeführt werden kann, muss WebGPU als Hardwarebeschleunigung eingesetzt werden. Dadurch sind die leistungsstarken LLM-Operationen direkt im Webbrowser ohne serverseitige Verarbeitung möglich.
Je leistungsstärker der Client Rechner ist (besonders die lokale GPU), desto schneller kann der Chatbot reagieren.
WebGPU wird bisher nur in Chrome ab Version 113 oder höher unterstützt. Viele Browser die auf die Chrome-Engine aufbauen haben in der Regel auch die WebGPU Unterstützung.
Bei Chrome muss ggf. noch WebGPU aktiviert werden. Für die Verarbeitung sowie die Größe des Cache wäre die 64 Bit Version von Chrome am sinnvollsten. Die 32 Bit Version von Chrome macht manchmal Probleme.
Es wird noch geladen...
Schritt 1: Wähle das zu downloadende LLM Modell aus und klick auf "Download".
Bei Klick auf Download wird das ausgewählte LLM Modell in den Cache des Browser geladen und danach automatisch initialisiert.
(Ich empfehle es beim voreingestelltem Model "Llama-3-8B-Instruct-q4f32_1-MLC-1k" zu belassen. Es ist ca. 4GB groß)
Schritt 2: Chatten und auf "send" klicken
(Am besten funktioniert es auf englisch. Deutsch geht zwar auch, aber ist teilweise nicht so gut)