Nextcloud mit lokaler KI

Volle Kontrolle über die eigenen Daten in der eigenen Cloud trotz Auswertung durch KI

Nextcloud mit lokaler KI

Ich habe bereits ausführlich über den Einsatz von lokaler KI geschrieben, insbesondere im Hinblick auf meine Bedenken, meine Daten an externe Anbieter zu übermitteln und nicht nachvollziehen zu können, was mit ihnen geschieht. Nun möchte ich einige meiner Anforderungen miteinander verbinden.

Zurzeit betreibe ich eine Nextcloud in einem LXC-Container auf meinem Proxmox-Server, der in meinem Keller steht. Ich würde gerne die Unterstützung einer KI beim Erstellen von Dokumenten in Anspruch nehmen. Es erscheint jedoch widersprüchlich, einerseits darauf zu achten, dass alle Daten lokal bleiben, und andererseits alles an OpenAI zu senden, damit ChatGPT meine Anforderungen umsetzt.

Der Plan

Seit einiger Zeit bietet Nextcloud eine Integration von ChatGPT an. Zudem hat ollama seit Version 0.124 seine API an die von OpenAI angepasst. Daher sollte es möglich sein, ollama nahtlos mit Nextcloud zu verbinden.

Die lokale KI

Wie man eine lokale KI aufsetzt habe ich bereits hinreichend beschrieben:

KI mit privaten Dokumenten
Persönliche Informationen von einer KI verarbeiten lassen. Simpler geht es ja fast nicht mehr…

Jetzt muss daher lediglich die Nextcloud angepasst werden.

Nextcloud und ollama verbinden

Zuerst muss eine weitere App hinzugefügt werden:

Der Assistant soll auch eine KI nutzen können. Daher habe ich noch die OpenAI Anbindung installiert:

Sind diese Apps installiert, kann man in den Administrations-Einstellungen der Nextcloud unter Verwaltung im Abschnitt Künstliche Intelligenz entsprechende Anpassungen an die eigene Umgebung vornehmen:

Da ich in dieser Test-Installation für ollama noch kein Passwort vergeben habe, muss ich lediglich die URL zu ollama eintragen und der Konfiguration einen Namen geben.

Als nächstes kann ich bereits aus einer Liste das zu nutzende Model auswählen:

Dann begrenze ich die Größe der Antworten, damit ollama nicht ewig weiterrechnet. Auch die Art meiner Anfragen kann ich hier einstellen. Ich möchte keine Bilder generieren lassen, da ich auf meinem Server keine Grafikkarte zur Verfügung stelle:

Nun kann ich festlegen, wo diese KI genutzt werden soll. Die Einstellungen dazu macht man erstaunlicherweise oberhalb der gerade erstellten Konfiguration:

Direkt darunter wähle ich, wo ich den Assistent sehen möchte:

Abschließend hinterlege ich noch einen Prompt, der es mir später leichter machen wird, den Assistenten zu nutzen:

Praktischer Test

Endlich kann ich sehen, wofür ich diese Einstellungen vorgenommen habe, denn der Assistent zeigt sich bereits direkt nach dem Einloggen:

Wenn ich in meine Dokumente oder Notizen wechsele, stehen mir verschiedene neue Funktionen zur Verfügung:

Möchte ich gemma2:latest nun den Text neu formulieren lassen, klicke ich einfach auf den entsprechenden Menüeintrag und sehe das Ergebnis:

Wenn mir die Formulierung besser gefällt, kann ich diese leicht übernehmen. Die anderen Menüpunkte erschließen sich sicherlich von selbst. Wenn ich eine Zusammenfassung eines Dokumentes oder Abschnittes benötige, klicke ich entsprechende auf Summarize, oder für eine passende Überschrift auf Generate Headline:

Fazit

Da ich meine MarkDown Dokumente in Obsidian schreibe und auf meiner Nextcloud als Notizen synchronisiere, bin ich bereits beim Erstellen der Dokumente bestens unterstützt:

Obsidian mit KI denkt beim Schreiben mit
KI schlägt die nächsten zwei Sätze während des Schreibens vor…

Mit dieser Weiterentwicklung eröffnen sich nun auch neue Möglichkeiten für Chats in Nextcloud Talk, dem integrierten Mailclient sowie für Aufgaben und Kalender. In einer Zeit, in der große Konzerne aus den Daten ihrer Nutzer Kapital schlagen, ist es umso wichtiger, die Kontrolle über die eigenen Daten zu behalten.

Die Kombination von Nextcloud und ollama stellt einen weiteren bedeutenden Schritt in die richtige Richtung dar: Sie ermöglicht mir sowohl einen Gewinn an Produktivität als auch die Wahrung der Datenhoheit.