Chunking: Wie aus Dokumenten brauchbare Treffer werden
Chunking ist das Zerlegen von Dokumenten in Abschnitte, die einzeln indexiert und abgerufen werden. Ihre Größe und Grenzen beeinflussen, welche Belege ein RAG-System findet. Je nach Architektur werden anschließend auch benachbarte Abschnitte oder das übergeordnete Dokument mitgegeben.
Warum überhaupt zerlegt wird
Drei Gründe, die alle gleichzeitig gelten.
Platz. Das Kontextfenster und das Budget für die Antwort sind begrenzt. Passende Ausschnitte lassen sich auch dann bereitstellen, wenn der gesamte Bestand nicht in eine Anfrage passt.
Trefferschärfe. Ein thematisch geschlossener Abschnitt kann eine konkrete Frage besser repräsentieren als ein langes Dokument mit vielen Themen. Sehr kleine Abschnitte verlieren dagegen Kontext. Mehr Chunks machen die Suche nicht automatisch schneller.
Kosten. Was im Kontext liegt, wird bezahlt. Fünf passende Abschnitte kosten einen Bruchteil von fünf ganzen Dokumenten.
Vier Strategien im Vergleich
Feste Länge. Es wird nach einer festgelegten Zahl von Zeichen oder Tokens geteilt. Das ist ein einfacher Vergleichsmaßstab. Ohne Rücksicht auf Satzgrenzen können jedoch unvollständige Aussagen entstehen. Tokens und Zeichen sind dabei keine austauschbaren Maße.
Feste Länge mit Überlappung. Dieselbe Zerlegung, aber jeder Abschnitt wiederholt die letzten Zeilen des vorherigen. Rettet den Zusammenhang an den Schnittkanten und ist der übliche Einstieg, weil er ohne Kenntnis der Dokumentstruktur funktioniert.
Entlang der Struktur. Überschriften, Absätze und Listen geben mögliche Grenzen vor. Für Dokumentation und Glossare ist das ein sinnvoller Ausgangspunkt. Zu lange Abschnitte müssen weiter unterteilt werden; Tabellen und Code brauchen häufig eigene Regeln. Ob diese Variante besser ist, zeigt die Auswertung am eigenen Bestand.
Semantisch. Ein Verfahren erkennt Themenwechsel, etwa über Embedding-Ähnlichkeiten oder ein Sprachmodell. Das kann bei unstrukturierten Transkripten helfen, verursacht aber zusätzlichen Aufwand. Ein Qualitätsgewinn gegenüber strukturbasierten Schnitten ist nicht garantiert.
Als Ausgangspunkt eignen sich strukturierte Abschnitte mit einem expliziten Tokenbudget. Die konkrete Zielgröße hängt vom Embedding-Modell, den Fragen und dem späteren Kontextfenster ab. Vergleiche mehrere Größen, statt einen einzelnen Richtwert als Optimum zu behandeln.
Überlappung
Überlappung wiederholt einen Teil des vorigen Abschnitts und kann Zusammenhänge an Schnittgrenzen erhalten. Sie garantiert nicht, dass jede übergreifende Aussage vollständig in einem Chunk liegt.
Auch strukturierte Abschnitte können aufeinander verweisen. Umgekehrt ist Überlappung bei festen Längen nicht immer nötig, wenn beispielsweise Nachbarabschnitte nachgeladen werden. Zu große Überlappung erhöht Speicher- und Verarbeitungskosten und kann nahezu identische Treffer erzeugen.
Metadaten am Chunk
Der unterschätzteste Teil des ganzen Themas. An jedem Abschnitt sollten mindestens hängen: Quelle und URL, der Pfad der übergeordneten Überschriften, das Datum der letzten Änderung, und je nach Anwendung Sprache oder Mandant.
Der Überschriftenpfad kann fehlenden Kontext ergänzen. Ein Satz wie „Der Richtwert liegt unter 600 Millisekunden“ ist ohne Bezug schwer einzuordnen. „WordPress → Performance → TTFB“ macht den Bezug sichtbar. Damit dies die Vektorsuche beeinflusst, muss der Pfad in den eingebetteten Text eingehen. Nur gespeicherte Metadaten verändern das Embedding nicht; für die Antwort müssen sie ebenfalls in den Kontext übernommen werden.
Metadaten ermöglichen Filter, beispielsweise nach Sprache, Freigabe oder Aktualität. Sie lassen sich je nach Datenbank später ergänzen, ohne alle Vektoren neu zu berechnen. Fehlen die nötigen Informationen in den Originalquellen, wird eine nachträgliche Zuordnung aufwendig.
Der Brückenschlag zu SEO
Ein Text, der sich gut zerlegen lässt, hat bestimmte Eigenschaften: Überschriften, die den Inhalt des folgenden Abschnitts benennen. Absätze, die eine Aussage vollständig enthalten. Eine Antwort, die direkt nach der Frage steht und nicht drei Absätze später.
Solche Texte sind für Menschen leichter nutzbar und lassen sich besser als einzelne Belege extrahieren. Daraus folgt jedoch keine Zusage für Featured Snippets oder KI-Zitate: Externe Suchsysteme verwenden eigene Auswahl- und Verarbeitungsschritte.
Für das Projekt lohnt sich deshalb dieselbe redaktionelle Grundlage: klare Überschriften und eigenständig verständliche Absätze. Das Chunking der eigenen Wissensbasis und die Sichtbarkeit in fremden KI-Systemen müssen dennoch getrennt geprüft werden.
Wie man Chunking überhaupt bewertet
Nicht nach Gefühl und nicht daran, ob die Antworten gut klingen. Der Weg führt über ein kleines Testset: zwanzig bis dreißig Fragen, bei denen bekannt ist, in welchem Dokument und an welcher Stelle die Antwort steht.
Gemessen wird etwa Recall@k: Welcher Anteil der bekannten relevanten Stellen steckt in den ersten k Treffern? Zusätzlich zählt, wie früh ein passender Treffer erscheint und ob die Antwort damit korrekt belegt wird. Das Testset sollte auch mehrteilige Fragen und Fragen ohne Antwort im Bestand enthalten.
Ein kleines Set eignet sich als erster Regressionstest, nicht als repräsentativer Qualitätsnachweis. Für belastbarere Aussagen müssen Themen, Schwierigkeitsgrade und Fehlfälle erweitert werden.