Lokale KI auf dem Smartphone

Eine KI für den absoluten Notfall lokal auf dem eigenen Smartphone.

Michael Meister

3. Aug. 2024 • 3 min read

Ich habe inzwischen sechs unterschiedliche Tools auf meinem Smartphone getestet. Und eines hat bei mir die besten Resultate hervorgebracht: Maid

Auch wenn man es im Playstore durch Suchen nicht finden kann, so ist es doch vorhanden:

Maid

Das schöne an Maid ist, dass man sowohl lokale als auch remote verfügbare KI einbinden kann. So kann ich zum einen meine eigene Ollama-Instanz hinterlegen, wie auch ChatGPT oder Gemini.

Hier soll es jedoch um eine lokale KI auf dem Smartphone selbst gehen. Und die ist leichter eingerichtet als ich ursprünglich erkannt hatte.

Setup

Zunächst wählt man aus, welche KI man nutzen möchte. In unserem Fall daher LlamaCPP:

Dann klickt man oben rechts auf das Menü-Icon, das ein wenig an eine Ordner-Struktur erinnert:

Unter Model-Settings klickt man nun auf HuggingFace

Und schon darf man sich aus den bekanntesten Modellen eines aussuchen:

Der erste Prompt

Hat man seine Wahl getroffen (entsprechend der Leistung seines Smartphones), darf man auch schon seinen ersten Prompt testen - vorzugsweise in Englisch, da multilinguale Modelle meist deutlich größer sind:

Das Ergebnis ist sehr mit dem meines Servers vergleichbar. Bis auf die benötigte Zeit. Für diese recht umfangreiche Antwort (sieben Abschnitte) benötigte LlamaCPP 315 Sekunden unter Verwendung von phi3:mini.

Tuning

Man hat jedoch auch Einfluss auf das Szenario, unter dem Maid seine Antworten gibt. Ähnlich wie bei open-webui lässt sich der System-Prompt und andere Parameter in Profilen ändern. Maid selbst kommt mit folgenden Einstellungen:

Da ich jedoch unzensierte Antworten bevorzuge, versuche ich hier einmal ein paar Anpassungen vorzunehmen:

Wenn man nun eine Testfrage stellt, die ChatGPT verweigert, hat man schnell verifiziert, dass sich das Modell wunschgemäß verhält.

Fazit

Auf einem Laptop geht alles natürlich viel schneller. Sollte jedoch der Strom auf dem Planeten tatsächlich einmal ausfallen (siehe Blackout), kann ich dank meiner kleinen Solartasche direkt auf meinem Smartphone herausfinden, wie man ohne die heute selbstverständlich gewordene Infrastruktur überlebt.