Ein großes Sprachmodell ist verblüffend und hoffnungslos zugleich. Es führt ein flüssiges Gespräch, hat aber keine Ahnung, dass deine Frühschicht um 07:00 Uhr beginnt, dass Fahrtkosten erst ab 10 Kilometern erstattet werden, oder dass Sam letzte Woche schon zweimal abgesagt hat. Ohne dieses Wissen ist jede Antwort geraten.
Das Problem: ein brillanter Neuling ohne Akte
Stell dir eine hervorragende neue Kollegin vor, die alles weiß außer, wie es bei euch läuft. Fragst du sie etwas, erfindet sie eine plausible Antwort, die genauso gut falsch sein kann. Genau das macht ein nacktes Sprachmodell.
Die Versuchung ist dann, alles in den Prompt zu stopfen: das ganze Handbuch, jede Regel, jede Ausnahme. Das funktioniert nicht. Es wird langsam, teuer, und das Modell ertrinkt im Rauschen.
Die Lösung: der richtige Kontext im richtigen Moment
Stattdessen holen wir pro Frage genau das relevante Wissen und geben es dem Modell mit, retrieval-augmented generation, kurz RAG. Kommt eine Frage zu Fahrtkosten? Dann suchen wir deine Fahrtkostenregelung heraus, und nur die. Geht es um eine bestimmte Schicht? Dann bekommt das Modell die Details genau dieser Schicht.
Der Effekt:
- Richtige Antworten, die zu deinen Absprachen passen, nicht zu einem Durchschnitt aus dem Internet.
- Keine Erfindungen. Das Modell antwortet auf Basis dessen, was in deinen Abläufen wirklich steht.
- Es skaliert. Ob du zehn Regeln hast oder tausend, wir holen nur das, was zählt.
Warum das den Unterschied macht
Es ist der Unterschied zwischen einer KI, die etwas sagt, und einer KI, die das Richtige sagt. Für jemanden, der um 22 Uhr eine Frage zu morgen stellt, ist eine falsche Antwort schlimmer als keine. RAG sorgt dafür, dass der Agent nur spricht, wenn er die Fakten hat, und dass er sie von dir hat und nicht von sich selbst.
Allgemeine KI ist ein Spielzeug. KI, die deinen Kontext kennt, ist eine Kollegin. Diesen Unterschied baust du nicht mit einem größeren Modell, sondern mit besserem Kontext.