Warum sollte man überhaupt eine eigene KI nutzen?

Wir nutzen KI längst ganz selbstverständlich im Alltag. Ob als Chat, um Musik zu komponieren oder Videos zu erstellen. Doch wie groß ist das tatsächliche Risiko dahinter? Welche Gefahren entstehen konkret?

Ein Blick in die Nutzungsbedingungen vieler KI-Anbieter zeigt: Die eingegebenen Daten werden gespeichert und teilweise für das Training der Systeme verwendet. Problematisch wird das vor allem dann, wenn sensible oder private Informationen preisgegeben werden - denn diese könnten theoretisch in Antworten für andere Nutzer einfließen.

Hinzu kommt ein weiterer Unsicherheitsfaktor: Daten, die heute harmlos erscheinen, können morgen in einem völlig anderen Kontext genutzt werden. Politische Rahmenbedingungen können sich ändern, und damit auch der Umgang mit gesammelten Informationen. Was heute einem vertrauenswürdigen Anbieter überlassen wird, könnte künftig für ganz andere Zwecke eingesetzt werden.

Nachdem wir die rechtlichen Rahmenbedingungen betrachtet haben, wird das Dilemma deutlich:

US-amerikanische Technologiekonzerne wie Microsoft betonen in ihren Unternehmenslizenzen, dass Inhalte aus Prompts und vergleichbaren Eingaben nicht für das Training ihrer Modelle verwendet werden. Gleichzeitig unterliegen diese Unternehmen jedoch nationalen Gesetzen, die sie verpflichten, gespeicherte Daten auf Anfrage an US-Behörden herauszugeben.

Es entsteht also ein Spannungsfeld zwischen vertraglich zugesicherter Datennutzung und gesetzlichen Zugriffsmöglichkeiten - ein Widerspruch, der insbesondere bei sensiblen Informationen kritisch bewertet werden muss.

Neben den juristischen Datenverlusten können diese Daten aber auch möglicherweise Dritten in die Hände fallen. Zum Beispiel durch Sicherheitslücken, wie hier bei Microsoft Copilot:

Es handelt sich dabei natürlich nicht um ein Problem, das auf Microsoft beschränkt ist. Auch ChatGPT machte sich einen Namen mit der Veröffentlichung Chats fremder User in der Chat-History am linken Bildrand.

ChatGPT Data Leaks and Security Incidents (2023-2025): A Comprehensive Overview

Explore the most notable ChatGPT data leaks and privacy incidents from 2023 to 2024. Learn about the critical security challenges faced by AI technologies, the importance of robust privacy measures, and how enterprises can protect themselves from potential breaches. Discover key actions for CISOs and Heads of Information Security to ensure compliance and safeguard user data.

Wald AIWald AI

Auch Samsung verlor seine Forschungsdaten, weil sie auf ChatGPT hochgeladen wurden, um sie für Präsentationen zu vereinfachen. Unglücklicherweise wurden sie dann zum Training der Modelle mitbenutzt und so musste die Konkurrenz diese Forschungen nicht mehr betreiben. Sie konnten ja einfach bei ChatGPT nachfragen.

Das grundsätzliche Problem

Cloud-Dienste sind bequem, aber man gibt dabei zwangsläufig die Kontrolle über seine Daten ab. Wer Daten aus der Hand gibt, darf nicht erwarten, dass Dritte sie dauerhaft vertraulich behandeln. Kommt es zu politischen oder rechtlichen Veränderungen – etwa in den USA oder Deutschland –, können nicht nur künftig entstehende Daten, sondern auch bereits gespeicherte Daten nachträglich ausgewertet oder genutzt werden. Datensammlung wirkt immer rückwärts!

Wie speichert eine KI Informationen?

Eine KI speichert Informationen als Zahlen in riesigen Matrizen. Diese Zahlen legen fest, wie stark künstliche Neuronen miteinander verknüpft sind. Beim Training werden die Matrizen fortlaufend angepasst – mithilfe linearer Algebra: Vektoren werden multipliziert, addiert und im Raum transformiert. Genau solche Operationen fallen auch bei 3D-Berechnungen an, weshalb Grafikkarten dafür besonders geeignet sind.

Interessant in diesem Beispiel ist, dass die Richtung des gelben Vektors die Idee von "Gender" repräsentiert. Spielt man dieses Spiel mit E(Pasta) - E(Italien) + E(Deutschland), erhält man als naheliegensten Vektor E(Bratwurst) 😆.

Installation einer lokalen KI

Eine lokale KI zu installieren ist deutlich einfacher, als manche annehmen. Aufgrund der besonderen Flexibilität wählen wir ollama.

Das geht schnell und einfach:

Fertig!

Mit einem kurzen Test weisen wir nach, dass alles funktioniert. Dazu schauen wir mal in die Liste der verfügbaren Modelle:

Ollama

Search for models on Ollama.

Wie man sieht, werden fehlende Modelle automatisch nachgeladen. Allerdings ist das Wissen lokal begrenzt.

Es ist dabei gut zu wissen, was der Unterschied zwischen reasoning, instruction-following und tool-use ist.

Über die Zeit sammeln sich einige Modelle, für unterschiedliche Zwecke. Coding, Thinking, Instruction-Following oder auch unzensierte Modelle, die sich nicht weigern Schaden anzurichten (Exploit-Developement).

root@ai:~ # ollama list
NAME                                                                                                 ID              SIZE      MODIFIED     
michael:latest                                                                                       a255352a2095    18 GB     14 hours ago    
mm_thinking:latest                                                                                   8cfa5cfc7a10    13 GB     14 hours ago    
mm_tool_use:latest                                                                                   38019720da29    18 GB     14 hours ago    
mm_instruct:latest                                                                                   4a85831f6b1c    18 GB     14 hours ago    
glm-4.7-flash:latest                                                                                 d1a8a26252f1    19 GB     2 weeks ago     
dolphin3:8b-llama3.1-fp16                                                                            b0941c6f3226    16 GB     2 weeks ago     
devstral:latest                                                                                      9bd74193e939    14 GB     2 weeks ago     
gemma3:27b-it-qat                                                                                    29eb0b9aeda3    18 GB     2 weeks ago     
codegemma:latest                                                                                     0c96700aaada    5.0 GB    2 weeks ago     
gpt-oss:latest                                                                                       17052f91a42e    13 GB     2 weeks ago     
qwen3:30b-a3b-instruct-2507-q4_K_M                                                                   19e422b02313    18 GB     2 weeks ago     
mistral-small3.2:latest                                                                              5a408ab55df5    15 GB     2 weeks ago     
hf.co/DavidAU/Qwen3-The-Xiaolong-Josiefied-Omega-Directive-22B-uncensored-abliterated-GGUF:Q4_K_M    5919ddb7b2f1    13 GB     2 weeks ago     
hf.co/mradermacher/Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated-i1-GGUF:Q4_K_M                    35e38c54cdc5    18 GB     2 weeks ago

Was bringt eine KI, die keine Ahnung hat?

Berechtigte Frage. Grundsätzlich soll die KI dabei helfen, Muster zu erkennen. Ob in der Reihenfolge von Wörtern (Sprache eben) oder in Dokumenten und Konfigurationen. Man muss einer lokalen KI also Informationen geben, in denen sie Muster erkennen kann.

Große Cloud-Anbieter trainieren das ganze Internet in ihre Modelle. Da man von seinem Arbeitgeber meist nur schwache Laptops zur Verfügung gestellt bekommt, kann man nicht auf die Leistung eines Macbooks zurückgreifen. Um dieses Problem zu lösen, müssen wir die KI anweisen, die nötigen Informationen zu recherchieren. Das erklärt man einer lokalen kleinen KI in gleicher Weise, wie man auch einem Junior-IT-Engineer seine Aufgabe beschreiben würde:

1. Erkenne das Ziel der gestellten Aufgabe und finde die besten Schlüsselworte für eine Internetsuche. Dabei darfst Du keine privaten/interne Informationen preisgeben.
2. Suche im Internet nach URLs, die am besten auf die Suchbegriffe passen.
3. Beschaffe die Inhalte der URLs und reichere deinen Kontext damit an.
4. Beantworte die Frage.

Wie komme ich jedoch an die Informationen aus dem Internet? Ich könnte am einfachsten curl nutzen. Dann frage ich einfach eine bekannte Suchmaschine wie Google, oder ich betreibe einfach eine eigene Suchmaschine, die strukturierte, KI-freundliche JSON-Antworten liefert und dabei gleich sämtliche Tracking-Informationen konsequent entfernt.

Die beste anonyme Meta-Suchmaschine

Eine selbstgehostete, datenschutzfreundliche Suchmaschine mit SearXNG und Docker – für maximale Kontrolle über die eigenen Suchanfragen und -ergebnisse!

Meister-Tech-BlogMichael Meister

Für die KI ist die Antwort dann besser zu verstehen, sodass sie die URLs besuchen kann:

Mit dem neu gewonnenen Kontext kann die KI die Fragen nun besser beantworten:

Das ist für meinen Geschmack zu viel Text. Der Name hätte mir gereicht. Man sollte daher der KI genauer sagen, was ihr Job ist. Normalerweise ist eine KI ein "hilfsbereiter Assistent", was man ihr durch einen neuen System-Prompt abgewöhnen kann.

Der System-Prompt

Um der KI die Gesprächigkeit eines Assistenten abzugewöhnen, erstellen wir ein neues Modell. Das ist sehr einfach. Man muss es nur in Textform beschreiben:

echo '
FROM qwen3:30b-a3b-instruct-2507-q4_K_M

SYSTEM """
# Role
You are a pure output engine.

# Instructions
**NEVER** provide introductions, greetings, explanations, or filler phrases (e.g., 'Here is the code', 'Sure').

# Output-Format
If a specific format is requested, output **ONLY** the raw content of that format.
Your output begins directly with the response.
"""
' > mm_no_gelaber.modelfile

/usr/local/bin/ollama create mm_no_gelaber -f mm_no_gelaber.modelfile

Mal sehen, wie sich die Antwort nun verändert:

OK. Aber vielleicht geht es auch mit etwas mehr Komfort. Vielleicht ein WebUI?

Mehr Komfort

Soetwas wie ChatGPT wäre wünschenswert. Also fügen wir das auch noch schnell hinzu:

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    environment:
      - PUID=1000
      - PGID=1000
      - TZ=Europe/Berlin
    volumes:
      - ./open-webui:/app/backend/data

Mit dem Befehl docker compose up -d open-webui wird der Web-Service auf Port 3000 erreichbar gemacht.

Und schon kann man die Webseite aufrufen und ollama als lokale KI eintragen:

Sobald man seine KI eingetragen hat, kennt open-webui auch schon alle Modelle aus der Konsole:

Und schon kann es losgehen:

Aber das Problem kennen wir ja schon. Also schnell eine Suchmaschine als Werkzeug hinzufügen:

Und schon sind wir auf einem Stand, der bereits nahe an großen Cloud-Anbietern ist:

Eigene Wissensdatenbank nutzen

Es gibt verschiedene Wege, einer KI eigene Informationen bereitzustellen. Am einfachsten ist es, Dokumente direkt in den Chat hochzuladen. Das funktioniert gut bei kleinen Datenmengen, stößt jedoch bei größeren schnell an Grenzen.

Für umfangreiche Inhalte ist es deutlich effizienter, die Dokumente in Vektoren zu zerlegen (Embeddings) und diese in einer separaten Vektordatenbank zu speichern. So können relevante Informationen gezielt und performant abgerufen und dem Modell bei Bedarf kontextbezogen zur Verfügung gestellt werden.

Damit open-webui das automatisch übernimmt,

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    environment:
      - PUID=1000
      - PGID=1000
      - TZ=Europe/Berlin
    ...
    volumes:
      - ./open-webui:/app/backend/data
      - /mnt/nextcloud/files/dms:/app/backend/data/docs      # Knowledge-Pfad
    ...

Hier könnte man also beliebige Shares platzieren - also auch webdav-Verzeichnisse, die in einem entfernten Web-Laufwerk liegen.

Ich scanne Dokumente, die von offiziellen Stellen kommen (Versicherung/Steuer/Nebenkosten...), grundsätzlich ein und lasse sie dann in meinem Dokument-Management-System sortieren. Diesen bereinigten Ordner stelle ich meiner KI zur Verfügung:

Und so kann ich schnell Fragen an meine lokale KI richten:

Technische Anwendungen von lokaler KI

Wir haben also gelernt, dass KI gut mit Kontext umgehen kann. Warum also nicht Logfiles als Kontext zur Verfügung stellen und darin ungewöhnliche Aktivitäten erkennen lassen?

Läßt sich der Arbeitsaufwand verringern?

Kunden reichen ihre Anforderungen häufig so ein, wie sie in ihren eigenen Unterlagen stehen, ohne darüber nachzudenken, was davon wirklich benötigt wird. In der weiteren Prozesskette wird dann versucht, die Arbeit weiterzugeben. Dies führt dazu, dass letztlich vorgelagerte Aufgaben beim letzten Arbeitsschritt erledigt werden müssen. Und so erreicht mich eine Anforderung, 93 Firewall-Regeln auf einer Firewall einzurichten:

Natürlich ohne jede Struktur oder Ordnung. Wie man im Screenshot bereits sehen kann, habe ich die Excel-Tabelle in open-webui kopiert und die Frage gestellt, wie sich dieses Regelwerk auf die geringste Anzahl an Firewall-Regeln optimieren läßt.

So konnte das Regelwerk auf lediglich 4 Regeln reduziert werden, was sowohl die Übersicht erhöht als auch die Fehleranfälligkeit drastisch reduziert:

Kunde kann docs.python.org nicht erreichen

Da es durch die Firma des Kunden untersagt ist, interne Informationen Dritten zugänglich zu machen, kann keine Cloud-KI zur Analyse der zig-tausend Events genutzt werden. Vielleicht bringt die lokale KI einen ja auf den richtigen Weg.

Zunächst nutzen wir ein Modell, dem wir einen passenden System-Prompt mitgeben:

Dann kann man aus dem Terminal einfach die gesammelten Ausgaben in das Chat-Fenster übertragen:

Ich gebe noch eine Richtung meiner Analyse vor, um der lokalen KI mein Ziel zu verdeutlichen.

Die KI hat nach mehreren Rückfragen schließlich festgestellt, dass die Firewall die Pakete nicht blockiert und auch der Proxy nicht in den Traffic eingreift. Aber der Client (ein Macbook) immer Verbindungen zu docs.python.org unterbricht, nachdem er mit Bitdefender bei Microsoft gesprochen hat.

Schließlich konnte der Fehler in der Konfiguration der EDR-Lösung gefunden werden.

Security Operations

Eine lokale KI lässt sich auch nahtlos in bestehende Software integrieren, etwa in ein SIEM. Wird dort ein definierter Use Case ausgelöst, analysiert die KI automatisiert sämtliche relevanten Logs der beteiligten Komponenten, die im SIEM bereits zentral vorliegen.

Dazu zählen beispielsweise Firewall-, Proxy-, Antivirus- und Server-Logs. Die KI untersucht diese Daten systematisch auf Muster, Korrelationen und Anomalien, um belastbare Hinweise darauf zu identifizieren, ob ein Angriff erfolgreich war und welcher Schaden möglicherweise entstanden ist. Diese Vor-Untersuchung beschleunigt die Incident-Response deutlich.

Wazuh on Steroids: AI-Powered Incident Analysis On-Demand

Upgrade Wazuh with an AI-powered active response for on-demand, deep-dive incident analysis.

Meister-Tech-BlogMichael Meister

Wazuh weiter aufgebohrt - Deep Incident Research mit opencode

What if the AI didn’t just analyze the logs, but went and looked up every IOC on its own?

Meister-Tech-BlogMichael Meister

Beispiel

Ich habe ein kleines Script geschrieben, das SIEM-Alarme per STDIN erhält. Die lokale KI findet heraus, welche IP Auslöser des Incidents war und recherchiert im Internet, wer der Angreifer war. Liegt der Kontext vollständig vor, kann der lokalen KI ein Auftrag erteilt werden:

Von diesem Zeitpunkt an werden SIEM-Alarme mit einer Voranalyse angereichert. Sie sieht ungefähr so aus:

# payload_printable aus dem Suricata-Alert (nicht druckbare Bytes als '.' dargestellt):
....SMB2........@.......FcSMB....................................

# Erläuterung der sichtbaren Strukturen:
# '....'        → NetBIOS Session Service Length Header (\x00\x00\x00\xXX)
# 'SMB2'        → SMB2 Protokollsignatur (\xFESMB = 0xFE534D42)
# '........@.'  → SMB2-Header-Felder (Command, Flags, MessageId etc.) – binäre Integerwerte
# 'FcSMB'       → SMB2_COMPRESSION_TRANSFORM_HEADER Signatur (\xFCSMB = 0xFC534D42)
#               → Das Vorhandensein dieses Headers in einem NEGOTIATE-Paket ist
#                 der charakteristische Indikator für CVE-2020-0796
# '...(viele Punkte)' → OriginalCompressedSegmentSize + Offset-Feld mit
#                       manipulierten Werten (Integer-Overflow-Trigger)

# Firewall lässt Paket mit öffentlicher Quell-IP am Gäste-Interface durch (vtnet3)
# Anomalie: Quell-IP 6.5.43.254 ist keine gültige Gäste-Netz-Adresse (192.168.188.0/24)
Apr 20 05:12:11 mastergate.meister.world filterlog[10442]: 210,,,a8f3c1b9e3a44712c1c9e9f2d7a1b123,vtnet3,match,pass,in,4,0x0,,64,51234,0,DF,6,tcp,60,6.5.43.254,192.168.74.10,55321,445,0,S,192837465,,64240,,mss;sackOK;TS;nop;wscale

# Suricata erkennt SMBGhost-Signatur am Gäste-Interface
# payload_printable: nicht druckbare Bytes als '.' – kein Klartext-Nutzdatenstring
Apr 20 05:12:11 mastergate.meister.world suricata[46484]: {"timestamp":"2026-04-20T05:12:11.812341+0200","in_iface":"vtnet3","src_ip":"6.5.43.254","src_port":55321,"dest_ip":"192.168.74.10","dest_port":445,"proto":"TCP","alert":{"action":"allowed","gid":1,"signature_id":2035678,"signature":"SERVER-SMB Microsoft Windows SMBv3 srv2.sys remote code execution attempt","category":"Attempted Administrator Privilege Gain","severity":1},"payload_printable":"....SMB2........@.......FcSMB...................................."}

# Fileserver verwirft das malformierte Paket (Windows SMB Server Log, UTC)
2026-04-20T03:12:11.000Z [SMBSrv] WARN  peer=6.5.43.254:55321 SMB2_NEGOTIATE status=STATUS_INVALID_PARAMETER (0xC000000D) reason="Malformed_Negotiate_Request"

# Wazuh Active Response blockiert die Angreifer-IP
2026/04/20 05:12:12 active-response/bin/firewall-drop: {"version":1,"origin":{"name":"node01","module":"wazuh-execd"},"command":"add","parameters":{"extra_args":[],"alert":{"rule":{"id":"31501","description":"Suricata: Alert - Attempted Administrator Privilege Gain"}},"program":"firewall-drop","srcip":"6.5.43.254"}}

Es sind natürlich auch Szenarien möglich, in denen die lokale KI aktive administrative Arbeiten übernehmen kann.

Junior IT Administrator

Mit n8n lassen sich Workflows leicht zusammenbauen, wie es einige vielleicht bereits mit LEGO-Mindstorm in ihrer Jugend getan haben.

So kann man der lokalen KI einen Auftrag geben, der aktiv Änderungen an einem System vornehmen kann, da sie z.B. per ssh auf entfernte Systeme zugreifen kann. Falls die KI die nötigen Befehle nicht kennt, kann sie im Internet recherchieren, wobei sie sich an die definierten Regeln halten muss: Keine internen Informationen dürfen in das Internet abfließen!

My AI Colleague’s New Rules of Engagement

After its initial training, the AI assistant gets more responsibility, governed by a new Prime Directive.

Meister-Tech-BlogMichael Meister

Doch es geht noch universeller: openClaw

Der universelle Alleskönner

OpenClaw ist ein Open-Source-KI-Agent, der auf deinem eigenen Rechner läuft und mithilfe von großen Sprachmodellen Aufgaben automatisch ausführen kann. Anders als reine Chatbots kann er echte Aktionen durchführen, etwa Dateien lesen, Programme steuern, Nachrichten senden oder Termine organisieren. Das Projekt wurde 2025 von Peter Steinberger veröffentlicht und ist als MIT-lizenzierte Plattform gedacht, mit Entwickler eigene autonome KI-Assistenten bauen können.

Installation

curl -fsSL https://openclaw.ai/install.sh | bash

Fertig!

OpenClaw on Proxmox: Taming the Most Dangerous Software

OpenClaw grants AI full access. I installed it in a Proxmox LXC to contain the risk. But…

Meister-Tech-BlogMichael Meister

Noch schnell sagen, wo ollama zu finden ist, und dann kann die Konfiguration vorgenommen werden:

openclaw onboard --install-daemon

Konfiguration von openClaw

Da openClaw Zugriff auf ALLES hat - und damit auch auf die root-shell - kann man openClaw einfach in normaler Sprache erklären, wie er sich verhalten soll.

Daraus entsteht zum Beispiel seine Seele (soul.md):

# Technical Expert Soul

## Identity
I am a senior developer with 15 years of experience. I've made every mistake in the world and learned from them.

## Communication Style
- Direct, no corporate fluff
- Explain the reasoning behind every suggestion
- Use specific examples from experience
- Call out bad practices immediately
- Dry humor is allowed

## Values
- Code maintainability over cleverness
- Testing is non-negotiable
- Documentation saves future time
- Simple solutions beat complex ones

## Boundaries
- No shortcuts on security
- Won't write code I wouldn't maintain
- Honest about limitations and uncertainty

Achtung!

Man sollte extrem vorsichtig sein, wenn man ihm sagt, was seine Charaktereigenschaften sein sollen. Mich hat zum Beispiel gestört, dass im Chat immer Floskeln, wie "Oh. Das ist eine tolle Idee..." aufgetaucht sind. Ich habe ihm daraufhin gesagt, er solle aufhören immer alles mit Zuckerguss zu präsentieren. Mir ist eine nüchterne Aussage lieber - selbst wenn es meine Gefühle verletzen könnte, kann er sich auch mal böse verhalten. Kurze Zeit später hat er dann das root-Passwort geändert und mich ausgesperrt (böse eben 😢).

Ungewöhnliche Anwendungen

Möglicherweise betreibt eine Firma einen Reverse-Proxy, um die eigene Webseite anzubieten. Vielleicht wertet diese Firma genauer aus, wie die Nutzer mit der Webseite interagieren. Vielleicht via Google-Analytics? Oder selbstgehostet Rybbit?

Auch hier kann die KI bei der Datenauswertung helfen. Amazon und viele andere Big-Tech Konzerne wissen genau, welchen Artikel sich ein User länger beim Scrollen durch lange Listen genauer anschaut. So lässt sich längeres Überlegen vor dem Klick erkennen (meist ältere Personen) oder auch Zittern bei Mausbewegungen. Studien haben eine häufige Zitterfrequenz von ca. 3Hz - 7Hz ermittelt, die ein Indikator für Parkinson sein kann.

Ein Betreiber einer Webseite hat also möglicherweise nützlichere Gesundheitsdaten über den User als sein Arzt. So könnte man den User "Harlequin Fly" als jungen Gamer kategorisieren und "Amythyst Canidae" als Spät-Rentner. Vielleicht sind sie aber auch nur ein "Bot" und ein "Beifahrer" im Auto?

Fazit

Lokale KI kann durchaus mit Big-Tech mithalten. Sie ist meist deutlich individueller einsetzbar und vor allem Datenschutzfreundlicher.

Mitschreiben ist nicht erforderlich. Alle Infos befinden sich hier: