KI-Glossar

RAG ist ein Verfahren, bei dem vor der Antwort passende Textstellen aus einer eigenen Wissensbasis gesucht und dem Sprachmodell mitgegeben werden. Das Modell formuliert dann aus diesen Stellen, statt aus dem Gedächtnis.

Der Gewinn ist nicht nur Aktualität, sondern Belegbarkeit: Was nicht in den gefundenen Stellen steht, kann als „weiß ich nicht“ beantwortet werden. Der schwächste Punkt ist immer der Abruf, nicht das Modell. Wird die falsche Stelle gefunden, formuliert das Modell die falsche Antwort sehr überzeugend.

Läuft hier live

Eine Vektordatenbank speichert Texte nicht als Text, sondern als Zahlenreihen (Embeddings) und findet zu einer Anfrage die inhaltlich ähnlichsten Einträge – über Distanzmaße wie Kosinus-Ähnlichkeit statt über Wortübereinstimmung.

Damit das bei vielen Einträgen schnell bleibt, wird nicht exakt, sondern näherungsweise gesucht (ANN, meist über einen HNSW-Index). Das ist der Grund, warum Ergebnisse leicht schwanken können.

Chunking ist das Zerlegen von Dokumenten in Abschnitte, die einzeln indexiert und später einzeln gefunden werden. Der Chunk ist die kleinste Einheit, die ein RAG-System zurückgeben kann.

Zu klein zerlegt fehlt der Kontext, zu groß verwässert die Ähnlichkeitssuche. Am besten funktioniert Zerlegen entlang der Struktur – Überschriften, Absätze, Definitionen – mit etwas Überlappung, statt nach fixer Zeichenzahl mitten im Satz.

Hier trifft sich KI mit SEO: Ein Text mit klaren Überschriften und einer vollständigen Aussage im ersten Absatz zerfällt in gute Chunks. Genau derselbe Text wird auch in Suchergebnissen und KI-Antworten häufiger zitiert.

Ein Embedding ist die Übersetzung eines Textes in eine Zahlenreihe mit fester Länge, in der inhaltliche Nähe als räumliche Nähe abgebildet wird.

Wichtigste Praxisregel: Embeddings verschiedener Modelle sind nicht vergleichbar. Wer das Embedding-Modell wechselt, muss den gesamten Bestand neu berechnen. Anfrage und Datenbank müssen immer mit demselben Modell erzeugt worden sein, sonst liefert die Suche Unsinn, ohne einen Fehler zu werfen.

Semantische Suche findet Inhalte nach Bedeutung statt nach Wortübereinstimmung: „Wie mache ich meine Seite schneller“ findet auch einen Text über Ladezeiten, in dem das Wort „schneller“ nicht vorkommt.

Ihre Schwäche sind exakte Zeichenfolgen – Produktnummern, Eigennamen, Fehlercodes. Deshalb ist in der Praxis eine hybride Suche üblich, die klassische Volltextsuche und Vektorsuche kombiniert.

Re-Ranking ist ein zweiter Bewertungsschritt: Die Vektorsuche liefert grob eine größere Menge Kandidaten, ein spezialisiertes Modell sortiert sie danach, wie gut sie die konkrete Frage beantworten.

Typisch sind 30 bis 50 abgerufene Chunks, von denen nach dem Re-Ranking die besten drei bis fünf ins Modell gehen. Das ist meist der wirksamste einzelne Qualitätshebel in einem RAG-System und wird am häufigsten weggelassen.

Grounding bezeichnet die Bindung einer Antwort an mitgelieferte Quellen: Das Modell soll nur aus dem antworten, was im Kontext steht, und offenlegen, worauf es sich stützt.

Grounding ist der Zweck, RAG die Technik dahinter. Ohne die ausdrückliche Anweisung, bei fehlender Grundlage nichts zu behaupten, füllt ein Modell Lücken auch dann, wenn Quellen vorliegen.

Eine Halluzination ist eine Ausgabe, die sprachlich stimmig und inhaltlich frei erfunden ist – erfundene Quellen, falsche Zahlen, nicht existierende Funktionen.

Sie ist kein Fehler im engeren Sinn, sondern die Kehrseite der Funktionsweise: Das Modell erzeugt die wahrscheinlichste Fortsetzung, nicht die belegte. RAG senkt die Rate deutlich, beseitigt sie aber nicht, und verschiebt das Problem zum Abruf hin.

Ein Token ist die kleinste Einheit, in die ein Modell Text zerlegt – meist ein Wortteil, nicht ein Wort. Abgerechnet und begrenzt wird in Token, nicht in Zeichen.

Für Deutsch relevant: Zusammengesetzte Wörter und Umlaute werden in mehr Token zerlegt als vergleichbarer englischer Text. Derselbe Inhalt kostet auf Deutsch also spürbar mehr als auf Englisch.

Das Context Window ist die Menge an Token, die ein Modell in einem Durchgang verarbeiten kann – System-Anweisung, Verlauf, mitgelieferte Dokumente und die Antwort zusammen.

Groß heißt nicht gleich gut: Inhalte in der Mitte langer Kontexte werden nachweislich schlechter berücksichtigt als Anfang und Ende. Fünf präzise Chunks schlagen regelmäßig fünfzig hineingekippte.

Der Knowledge Cutoff ist der Stichtag, bis zu dem die Trainingsdaten eines Modells reichen. Danach entstandene Ereignisse kennt es nicht.

Das Tückische ist nicht die Lücke, sondern der Umgang damit: Ein Modell weiß nicht zuverlässig, was es nicht weiß, und beantwortet Fragen zu späteren Ereignissen mitunter trotzdem. Aktualität kommt deshalb über Abruf, nicht über Training.

Der System Prompt ist die dem Gespräch vorangestellte Anweisung, die Rolle, Regeln, Tonfall und Grenzen festlegt und für den Nutzer nicht sichtbar ist.

Er ist die stärkste Steuerung, die ohne Training zur Verfügung steht, und zugleich eine Vertrauensgrenze: Was dort steht, kann durch geschickte Eingaben teilweise offengelegt werden. Zugangsdaten und Geschäftsgeheimnisse gehören nicht hinein.

Prompt Engineering ist das gezielte Formulieren von Eingaben, damit ein Modell brauchbare und wiederholbare Ergebnisse liefert.

In produktiven Systemen ist das keine Kunst, sondern Handwerk: Aufgabe klar benennen, Ausgabeformat vorgeben, Beispiele mitgeben, Grenzfälle beschreiben. Der größte Effekt kommt fast immer aus besserem Kontext, nicht aus geschickteren Formulierungen.

Temperature steuert, wie stark ein Modell bei der Wortwahl vom Wahrscheinlichsten abweicht. Niedrige Werte erzeugen vorhersehbare, hohe Werte variantenreichere Ausgaben.

Für Faktenantworten und strukturierte Ausgaben gehört der Wert nach unten, für Textentwürfe darf er höher liegen. Auch bei 0 ist die Ausgabe nicht garantiert identisch, weil Infrastruktur und Modellversion mitspielen.

Inference ist die Anwendung eines fertig trainierten Modells auf eine konkrete Eingabe, also alles, was zur Laufzeit passiert. Das Gegenstück ist das Training.

Praktisch relevant, weil hier die laufenden Kosten und die Antwortzeit entstehen – und weil ein Modell während der Inference nichts dazulernt. Wer möchte, dass ein System sich etwas merkt, muss das außerhalb lösen.

Multimodal heißt, dass ein Modell mehr als eine Art von Eingabe verarbeitet, typischerweise Text und Bild, teilweise auch Audio und Video.

Im Web-Alltag ist der häufigste Nutzen unspektakulär und wirksam: Screenshots von Fehlern auswerten, Layouts beschreiben, Alt-Texte aus Bildern vorschlagen.

Guardrails sind Prüfungen vor und nach dem Modellaufruf, die unerwünschte Ein- und Ausgaben abfangen – Themen außerhalb des Zwecks, personenbezogene Daten, ungültige Formate.

Entscheidend ist, dass sie außerhalb des Modells liegen. Eine Regel im System Prompt ist eine Bitte, eine Prüfung im Code ist eine Grenze.

Ein MCP-Server stellt Werkzeuge, Daten und Vorlagen über ein offenes Protokoll bereit, sodass beliebige KI-Anwendungen sie nutzen können, ohne dass für jede Kombination eine eigene Anbindung gebaut wird.

Das Model Context Protocol wurde Ende 2024 von Anthropic veröffentlicht und hat sich seither breit durchgesetzt. Aufgebaut ist es als Client-Server-Verbindung auf JSON-RPC-Basis, lokal über die Standardeingabe oder entfernt über HTTP.

Der Nutzen ist der eines Adapters: n Anwendungen und m Werkzeuge brauchen nicht mehr n×m Integrationen, sondern n+m.

Function Calling ist die Fähigkeit eines Modells, statt Text eine strukturierte Beschreibung eines Funktionsaufrufs auszugeben: welche Funktion mit welchen Parametern aufgerufen werden soll.

Wichtig für das Verständnis: Das Modell führt nichts aus. Es schlägt vor, die Anwendung führt aus und gibt das Ergebnis zurück ins Gespräch.

Die Abgrenzung zu MCP wird ständig verwechselt: Function Calling ist die Fähigkeit des Modells, MCP der Standard, über den Werkzeuge angeboten werden. MCP nutzt Function Calling, ist aber nicht dasselbe.

Ein KI-Agent ist ein System, das ein Ziel in mehrere Schritte zerlegt, dabei selbstständig Werkzeuge aufruft, die Ergebnisse bewertet und weiterarbeitet, bis das Ziel erreicht oder eine Grenze erreicht ist.

Der Begriff wird inflationär verwendet. Ein Chatbot mit einer angebundenen Funktion ist kein Agent. Der Unterschied liegt in der Schleife und darin, wer über den nächsten Schritt entscheidet – und genau daraus folgt der Bedarf an Abbruchbedingungen und Kostengrenzen.

Beim Streaming wird die Antwort Stück für Stück ausgeliefert, während sie entsteht, statt erst am Ende vollständig. Technisch meist über Server-Sent Events.

Die Gesamtdauer ändert sich dadurch nicht, die wahrgenommene schon: Statt sechs Sekunden Leere sieht der Nutzer nach 300 Millisekunden die ersten Wörter. Der Preis sind Fehler, die mitten in einer bereits sichtbaren Antwort auftreten und abgefangen werden müssen.

Ein Rate Limit begrenzt, wie viele Anfragen oder Token in einem Zeitfenster an eine KI-Schnittstelle gehen dürfen. Bei Überschreitung antwortet die Schnittstelle mit Statuscode 429.

Begrenzt wird üblicherweise beides: Anfragen pro Minute und Token pro Minute. Wer nur die Anfragen zählt, läuft mit langen Kontexten trotzdem ins Limit. Sauberer Umgang ist ein Wiederholungsversuch mit wachsendem Abstand, nicht sofortiges Neuversuchen.

Fine-Tuning trainiert ein bestehendes Modell mit eigenen Beispielen nach. RAG lässt das Modell unverändert und liefert das Wissen zur Laufzeit mit.

Die Faustregel: Fine-Tuning ändert das Wie – Tonfall, Format, Aufgabentyp. RAG ändert das Was – Fakten, Aktualität, Belegbarkeit. Der teuerste Irrtum ist, Fine-Tuning einzusetzen, um einem Modell Firmenwissen beizubringen. Beim nächsten Faktenwechsel beginnt alles von vorn.

Eine Edge Function ist Code, der ohne eigenen Server auf Anfrage in einem Rechenzentrum nahe am Nutzer ausgeführt wird und danach wieder verschwindet.

Für KI-Anwendungen passt das gut, weil der Zeitbedarf ohnehin beim Modell liegt und nicht beim eigenen Code, und weil ohne Anfragen keine Kosten entstehen. Die Einschränkungen muss man kennen: begrenzte Laufzeit, Kaltstart und kein Gedächtnis zwischen zwei Aufrufen.

Redis ist ein Datenspeicher im Arbeitsspeicher, der bei KI-Anwendungen den Gesprächsverlauf, Zwischenergebnisse und Zähler hält – also all das, was zustandslose Funktionen selbst nicht behalten können.

Zwei Eigenschaften machen ihn dafür passend: sehr kurze Zugriffszeiten und Ablaufzeiten pro Eintrag, sodass ein Gesprächsverlauf sich nach einer festgelegten Dauer von selbst aufräumt. Das ist zugleich ein Datenschutzargument, weil nichts unbegrenzt liegen bleibt.