SoftwareTech

Unternehmenswissen mit KI sicher nutzbar machen

Handbücher, Verträge, Protokolle, Wikis und Ablagen enthalten das Wissen, nach dem Ihre Mitarbeitenden täglich suchen. Ein kontrolliertes Retrieval-System macht dieses Wissen zugänglich, ohne Berechtigungen zu umgehen oder Antworten zu erfinden.

RAG-Pilot prüfen Knowledge Copilot ansehen

Warum ein reines Sprachmodell nicht ausreicht

Ein Sprachmodell kennt Ihr Unternehmen nicht. Es kennt weder Ihre Preisliste noch Ihre Verfahrensanweisung von letzter Woche. Wird es dennoch danach gefragt, erzeugt es eine plausibel klingende Antwort, die falsch sein kann. Für den Unternehmenseinsatz ist das unbrauchbar.

Retrieval-Augmented Generation löst dieses Problem, indem vor der Antwort gezielt in Ihren eigenen Beständen gesucht wird. Das Modell formuliert dann nur noch auf Basis der gefundenen Stellen und gibt an, woher die Information stammt. Was nicht belegbar ist, wird als nicht belegbar ausgewiesen.

Architektur im Überblick

Ein tragfähiges System besteht aus mehr als einem Modellaufruf. Die folgenden Bausteine gehören dazu:

Bausteine eines Retrieval-Systems für den Unternehmenseinsatz.
BausteinAufgabe
Anbindung der QuellenDateiablagen, DMS, Wiki, Intranet, Ticketsystem oder Datenbanken werden angebunden und regelmäßig aktualisiert.
AufbereitungDokumente werden zerlegt, bereinigt und mit Metadaten versehen: Quelle, Stand, Gültigkeit, Zuständigkeit.
RechtemodellBerechtigungen der Quellsysteme werden übernommen. Wer ein Dokument nicht sehen darf, erhält daraus auch keine Antwort.
RetrievalKombination aus semantischer und schlüsselwortbasierter Suche, damit auch Fachbegriffe und Artikelnummern zuverlässig treffen.
GenerierungDas Modell antwortet ausschließlich auf Basis der gefundenen Belegstellen und verweist auf sie.
EvaluationEin fester Fragenkatalog misst die Antwortqualität und macht Veränderungen sichtbar.
ProtokollierungAnfragen, verwendete Quellen und Modellaufrufe werden nachvollziehbar erfasst.

RAG oder Fine-Tuning

Beides wird häufig verwechselt. Die Faustregel lautet: Retrieval eignet sich für Wissen, Fine-Tuning für Verhalten.

KriteriumRetrieval (RAG)Fine-Tuning
Geeignet fürFaktenwissen, Dokumente, häufig wechselnde InhalteFormat, Tonalität, wiederkehrende Aufgabenmuster
AktualisierungDokument austauschen, sofort wirksamErneutes Training erforderlich
NachvollziehbarkeitQuellenangabe möglichKeine Quellenangabe
RechteprüfungPro Anfrage möglichNicht möglich, Wissen steckt im Modell
Typischer AufwandMittelHoch, inklusive Datenaufbereitung

In der Praxis ist Retrieval für Wissensfragen fast immer der richtige Einstieg. Fine-Tuning kommt ergänzend infrage, wenn ein sehr spezifisches Ausgabeformat oder eine Fachsprache dauerhaft benötigt wird. Mehr dazu unter Individuelle KI-Lösungen.

Datenschutz und Betrieb

Vor dem ersten Prototyp wird geklärt, welche Daten das System sieht, wo sie verarbeitet werden und welcher Anbieter beteiligt ist. Betriebsmodelle in der EU oder in Deutschland werden je nach Schutzbedarf bewertet, ebenso der Betrieb offener Modelle in Ihrer eigenen Umgebung.

Hinweis: Ob eine konkrete Architektur den datenschutzrechtlichen Anforderungen genügt, hängt von den tatsächlichen Datenflüssen, den Verträgen mit den beteiligten Anbietern und Ihrer internen Datenklassifikation ab. Diese Bewertung erfolgt gemeinsam mit Ihren zuständigen Stellen und ersetzt keine Rechts- oder Datenschutzberatung.

Grenzen

Ein Retrieval-System ist nur so gut wie die Bestände, auf die es zugreift. Sind Dokumente veraltet, widersprüchlich oder nicht auffindbar, zeigt das System diese Schwächen sichtbar auf. Das ist unangenehm, aber nützlich: In den meisten Projekten ist das Aufräumen der Wissensbasis ein eigenständiger Ertrag.

Ablauf

Vom Anwendungsfall zum produktiven Assistenten

  1. Quellen klären

    Welche Bestände sind relevant, wer darf was sehen, wie aktuell sind die Inhalte.

  2. Prototyp

    Ein begrenzter Bestand wird angebunden und mit echten Fragen aus dem Fachbereich getestet.

  3. Evaluation

    Fester Fragenkatalog, gemessene Trefferqualität, gezielte Nachbesserung statt Bauchgefühl.

  4. Rollout

    Ausweitung auf weitere Bestände und Nutzergruppen, Monitoring und Übergabe.

Häufige Fragen

Müssen unsere Dokumente dafür in die Cloud?

Nicht zwingend. Je nach Schutzbedarf kommen Betrieb in der EU, Betrieb in Deutschland oder der Einsatz offener Modelle in Ihrer eigenen Umgebung infrage. Die Entscheidung wird vor dem Prototyp getroffen, nicht danach.

Wie stellen Sie sicher, dass niemand unbefugt Antworten erhält?

Die Berechtigungen der Quellsysteme werden übernommen und bei jeder Anfrage geprüft. Dokumente, die eine Person nicht öffnen darf, werden für diese Person auch nicht als Beleg herangezogen.

Woran erkennen wir, ob die Antworten gut sind?

Zu Beginn wird gemeinsam ein Fragenkatalog mit bekannten richtigen Antworten erstellt. Daran wird die Qualität gemessen, bei jeder Änderung erneut. So ist sichtbar, ob eine Anpassung wirklich verbessert hat.

Was kostet der laufende Betrieb?

Das hängt von Nutzungsmenge, Modellwahl und Betriebsmodell ab. Die zu erwartenden laufenden Kosten werden im Pilot gemessen und vor dem Rollout beziffert, damit die Entscheidung auf Zahlen beruht.

RAG-Pilot prüfen

Beschreiben Sie kurz, welches Wissen heute schwer auffindbar ist und in welchen Systemen es liegt. Wir schätzen ein, ob ein Pilot sinnvoll ist und was er umfassen sollte.

RAG-Pilot besprechen +49 1522 9233185