Forschung / AI Engineering

Vom Modell zum verlässlichen System.

Wie entstehen AI-Anwendungen, deren Antworten überprüfbar und deren Grenzen messbar sind? Der Schwerpunkt verbindet Sprachmodelle, Wissenszugriff und systematische Evaluation.

Wissenszugriff erkunden Evaluation ansehen

Schematisches neuronales Netz: gelernte Transformationen verbinden Eingabe und Ausgabe.

01 / MODEL

Beziehungen statt isolierter Wörter.

Sprachmodelle verarbeiten Tokens im Kontext. Attention gewichtet, welche Positionen für eine Repräsentation relevant sind.

Q, K und V entstehen durch gelernte Projektionen der Eingaberepräsentationen. Skalierten Ähnlichkeitswerten folgt eine Normalisierung; die Gewichte bestimmen die Mischung der Values.

Grundlage: Attention Is All You Need

Die Formel zeigt einen Attention-Kopf. Ein vollständiger Transformer ergänzt unter anderem mehrere Köpfe, Positionsinformation, Feedforward-Schichten und Residualverbindungen. Attention-Gewichte allein sind keine verlässliche Erklärung einer Modellentscheidung.

Einordnung: Attention is not Explanation

Attention (Q, K, V) = softmax (\frac{Q K^{T}}{\sqrt{d_{k}}}) V

(1)

Q: Queries · K: Keys · V: Values · dₖ: Dimension der Keys. Softmax wird zeilenweise berechnet.

CAUSAL SELF-ATTENTION

Gewichte lesen.

Jede Zeile steht für eine Query-Position, jede Spalte für eine Key-Position. Die Gewichte über zugängliche Positionen ergeben zusammen eins. Dunklere Felder zeigen höhere Gewichte.

Eine kausale Maske sperrt zukünftige Positionen. Bei der Generierung kann ein Token nur die eigene und vorherige Positionen berücksichtigen.

Beispielhafte Attention-Gewichte; Zeilen: Queries, Spalten: Keys.
Q ↓ / K →	Ein	System	zieht	um
Ein	1,00	—	—	—
System	0,27	0,73	—	—
zieht	0,10	0,30	0,60	—
um	0,10	0,20	0,25	0,45

Schematische Werte, keine Messung eines trainierten Modells. Wörter stehen zur besseren Lesbarkeit für Token-Positionen. Die kausale Maske ergänzt Gleichung (1), indem zukünftige Positionen vor dem Softmax ausgeschlossen werden.

02 / RETRIEVAL

Wissen gezielt hinzunehmen.

Retrieval-Augmented Generation (RAG) ergänzt die Generierung durch auffindbare externe Informationen. Der Index kann unabhängig vom Sprachmodell aktualisiert werden.

RAG · Referenzarchitektur

DokumenteSegmentieren
EmbeddingsIndex aufbauen
RetrievalKontext auswählen
SprachmodellAntwort erzeugen
PrüfungQuellen abgleichen

Eine Anfrage wird gegen den Index gesucht. Ausgewählte Textstellen ergänzen den Prompt. Quellen und Zugriffsrechte müssen bis zur Ausgabe erhalten bleiben.

Die Forschungsfragen beginnen vor dem Prompt: Welche Segmentierung erhält den Zusammenhang? Wann hilft eine Kombination aus semantischer und lexikalischer Suche? Verbessert ein Reranker die Auswahl tatsächlich relevanter Quellen?

Ein relevanter Treffer garantiert noch keine belegte Antwort. Deshalb müssen Retrieval, Quellenzuordnung und Generierung getrennt geprüft werden. Für Anfragen ohne ausreichende Evidenz gehört eine erkennbare Enthaltung zum Systemverhalten.

Grundlage: Retrieval-Augmented Generation

03 / EVALUATION

Qualität braucht einen Versuchsaufbau.

Die geplanten Untersuchungen vergleichen kontrollierte Varianten auf einem versionierten Testkorpus. Einzelne überzeugende Antworten ersetzen keine Auswertung.

Recall@k = \frac{| D_{k} \cap R |}{| R |}

(2)

Dₖ: die ersten k Treffer · R: annotierte relevante Dokumente; |R| > 0. Eine Metrik für Retrieval, nicht für die Richtigkeit der Antwort.

Auffindbarkeit

Recall@k misst, wie viele annotierte relevante Dokumente in den ersten k Treffern enthalten sind. Segmentierung, Suche und Reranking werden einzeln variiert.

Belegbarkeit

Antwortaussagen werden mit den Quellen abgeglichen. Auch widersprüchliche Dokumente, fehlende Belege und unbeantwortbare Fragen gehören in den Testkorpus.

Betriebsverhalten

Antwortzeiten, Ressourcenbedarf und Fehlerfälle werden gemeinsam betrachtet. Berechtigungsfilter und der Umgang mit Anweisungen in Dokumenten sind Teil der Systemprüfung.

Forschung & Praxis

Bestehende Arbeit. Offene Fragen.

GremienPilot ist das bestehende Open-Source-Projekt mit dem HPI: Audio wird transkribiert, Redebeiträge werden zugeordnet und Protokollentwürfe vor dem Export geprüft.

RAG-Systeme und die systematische Evaluation von Sprachmodellen bilden den weiteren Forschungsausblick. Die gezeigte RAG-Architektur ist ein Referenzmodell; hier werden noch keine Ergebnisse einer abgeschlossenen RAG-Studie ausgewiesen.

GremienPilot ansehen Forschungsaustausch