Nextcloud mit lokaler KI
Volle Kontrolle über die eigenen Daten in der eigenen Cloud trotz Auswertung durch KI
Ich habe bereits ausführlich über den Einsatz von lokaler KI geschrieben, insbesondere im Hinblick auf meine Bedenken, meine Daten an externe Anbieter zu übermitteln und nicht nachvollziehen zu können, was mit ihnen geschieht. Nun möchte ich einige meiner Anforderungen miteinander verbinden.
Zurzeit betreibe ich eine Nextcloud in einem LXC-Container auf meinem Proxmox-Server, der in meinem Keller steht. Ich würde gerne die Unterstützung einer KI beim Erstellen von Dokumenten in Anspruch nehmen. Es erscheint jedoch widersprüchlich, einerseits darauf zu achten, dass alle Daten lokal bleiben, und andererseits alles an OpenAI zu senden, damit ChatGPT meine Anforderungen umsetzt.
Der Plan
Seit einiger Zeit bietet Nextcloud eine Integration von ChatGPT an. Zudem hat ollama seit Version 0.124 seine API an die von OpenAI angepasst. Daher sollte es möglich sein, ollama nahtlos mit Nextcloud zu verbinden.
Die lokale KI
Wie man eine lokale KI aufsetzt habe ich bereits hinreichend beschrieben:
Michael Meister
Jetzt muss daher lediglich die Nextcloud angepasst werden.
Nextcloud und ollama verbinden
Zuerst muss eine weitere App hinzugefügt werden:
Der Assistant soll auch eine KI nutzen können. Daher habe ich noch die OpenAI Anbindung installiert:
Sind diese Apps installiert, kann man in den Administrationseinstellungen der Nextcloud unter Verwaltung im Abschnitt Künstliche Intelligenz entsprechende Anpassungen an die eigene Umgebung vornehmen:
Da ich in dieser Test-Installation für ollama noch kein Passwort vergeben habe, muss ich lediglich die URL zu ollama eintragen und der Konfiguration einen Namen geben.
Als nächstes kann ich bereits aus einer Liste das zu nutzende Model auswählen:
Dann begrenze ich die Größe der Antworten, damit ollama nicht ewig weiterrechnet. Auch die Art meiner Anfragen kann ich hier einstellen. Ich möchte keine Bilder generieren lassen, da ich auf meinem Server keine Grafikkarte zur Verfügung stelle:
Nun kann ich festlegen, wo diese KI genutzt werden soll. Diese Einstellungenmacht man erstaunlicherweise plötzlich oberhalb der gerade erstellten Konfiguration:
Direkt darunter wähle ich, wo ich den Assistent sehen möchte:
Abschließend hinterlegen wir noch einen Prompt, der es uns später leichter machen wird, um den Assistenten zu nutzen:
Praktischer Test
Endlich kann man sehen, wofür man diese Einstellungen vorgenommen hat, denn der Assistent zeigt sich bereits direkt nach dem einloggen:
Doch wenn ich in meine Dokumente oder Notizen wechsele, stehen mir verschiedene neue Funktionen zur Verfügung:
Möchte ich gemma2:latest nun den Text neu formulieren lassen, klicke ich einfach auf den entsprechenden Menüeintrag und sehe das Ergebnis:
Wenn mir die Formulierung besser gefällt, kann ich diese leicht übernehmen. Die anderen Menüpunkte erschließen sich sicherlich von selbst. Wenn ich eine Zusammenfassung eines Dokumentes oder Abschnittes benötige, klicke ich entsprechende auf Summarize, oder für eine Passende Überschrift auf Generate Headline:
Fazit
Da ich meine MarkDown Dokumente in Osidian schreibe und auf meiner Nextcloud als Notizen synchronisiere, bin ich bereits beim Erstellen der Dokumente bestens unterstützt:
Michael Meister
Mit dieser Weiterentwicklung eröffnen sich nun auch neue Möglichkeiten für Chats in Nextcloud Talk, dem integrierten Mailclient sowie für Aufgaben und Kalender. In einer Zeit, in der große Konzerne aus den Daten ihrer Nutzer Kapital schlagen, ist es umso wichtiger, die Kontrolle über die eigenen Daten zu behalten.
Die Kombination von Nextcloud und ollama stellt einen weiteren bedeutenden Schritt in die richtige Richtung dar: Sie ermöglicht sowohl einen Gewinn an Produktivität als auch die Wahrung der Datenhoheit.