SERVICE — AUDIT
KI-Agenten- & Chatbot-Audit: Antwortet Ihrer richtig, verrät nichts und ist er konform?
Eine anbieterunabhängige Prüfung mit festem Umfang für einen Chatbot oder KI-Agenten, den Sie bereits betreiben — egal, wer ihn gebaut hat. Sie bekommen einen bewerteten Bericht zu Qualität, Sicherheit, Compliance und Betrieb und eine nach Risiko geordnete Maßnahmenliste.
EINGANGIhr laufender Chatbot oder Agent
→
AUSGANGbewerteter Bericht + Maßnahmenliste
Das Problem
Die meisten Chatbots gehen nach einer Demo live, nicht nach einem Test. Monate später weiß niemand, wie oft er falsch antwortet, ob eine präparierte Nachricht Kundendaten aus ihm herausholt — oder ob er Nutzern sagt, dass sie mit einer KI sprechen, seit 2. August 2026 Pflicht nach Artikel 50 des EU AI Act. Der Anbieter sagt, alles sei in Ordnung. Der Anbieter hat ihn gebaut.
So sieht der Bericht aus
Ein Score pro Bereich, jeder Befund mit Schweregrad und Maßnahme, dazu das Testset für den erneuten Lauf nach Änderungen. Beispieldaten.
AUDIT-BERICHT · SUPPORT-BOT V3BEISPIELDATEN
Qualität72/100
Sicherheit41/100
Compliance55/100
Betrieb80/100
- IDSCHWEREBEREICHBEFUND
- F-01HOCHSicherheitIndirekte Prompt Injection über hochgeladenes PDF legt System-Prompt und den Auftrag eines anderen Kunden offen
- F-02HOCHComplianceKeine KI-Kennzeichnung beim ersten Kontakt (EU AI Act Art. 50)
- F-03MITTELQualitätThema „Rückgabe“: 4 von 20 Testantworten widersprechen der aktuellen Richtlinie
- F-04MITTELBetriebTool-Aufrufe werden nicht aufgezeichnet — Gespräche von gestern sind nicht rekonstruierbar
- F-05NIEDRIGComplianceGesprächsprotokolle unbegrenzt gespeichert; keine Löschregel
12 Befunde · 2 hoch · 6 mittel · 4 niedrig · Testset: 140 Fälle
Was wir prüfen
- Antwortqualität — wir bauen ein Testset aus Ihren echten Gesprächen und messen Korrektheit, Quellentreue, Halluzinationsrate und Eskalationsverhalten — pro Thema, nicht als ein Durchschnitt.
- Sicherheit — Prompt Injection (direkt und indirekt über Dokumente, Webseiten oder Mail), Auslesen von System-Prompt und Daten, Tool-Berechtigungen und übermäßige Handlungsfreiheit — zugeordnet zu den OWASP Top 10 für LLM-Anwendungen und den OWASP Top 10 für Agentic Applications (2026).
- DSGVO und EU AI Act — Datenflüsse, Auftragsverarbeitungsverträge, Aufbewahrung von Logs und Vektordatenbanken, Risikoklassifizierung, Transparenz nach Art. 50 — und ob Ihre KI-Kompetenz-Maßnahmen nach Art. 4 dokumentiert sind.
- Architektur und Kosten — Modellwahl, Token-Kosten pro Gespräch, Latenz, Logging, Fallback-Pfade — und ob überhaupt jemand sehen kann, was der Bot gestern getan hat.
- Maßnahmenliste und Testset — Befunde nach Risiko und Aufwand geordnet, konkrete Maßnahmen und das Testset selbst — damit Sie oder Ihr Anbieter es nach jeder Änderung erneut laufen lassen können.
So läuft es ab
01
Scoping-Gespräch
Wofür der Bot da ist, wer ihn gebaut hat, worauf er zugreifen kann. Wir vereinbaren Umfang und Festpreis.
02
Zugang und Stichprobe
Lesezugriff auf Bot und Konfiguration plus ein Gesprächsexport. Wir ziehen die Stichprobe pro Thema, nicht zufällig — Fehler treten gehäuft auf.
03
Prüfung
Qualitätsläufe gegen das Testset, Red-Team-Sitzungen gegen das Live-System, Dokumentenprüfung zu DSGVO und AI Act. Typisch 1–2 Wochen.
04
Bericht und Besprechung
Ein bewerteter Bericht, eine priorisierte Maßnahmenliste und 60 Minuten Besprechung mit den Verantwortlichen für den Bot. Die Umsetzung ist optional — durch Sie, Ihren Anbieter oder uns.
Spezifikationen
| Typischer Stack | Eigenes Testset, LLM-as-Judge plus manuelle Bewertung, Red-Team-Playbook (OWASP LLM Top 10, OWASP Agentic Top 10), Dokumentenprüfung |
|---|---|
| Hosting | Ihr System bleibt, wo es ist — wir brauchen Lesezugriff und einen Gesprächsexport |
| Integration | Jeder Chatbot oder Agent: Anbieter-Plattformen, Agentur-Builds, Eigenentwicklung, n8n / LangChain / LangGraph |
| Prototyp-Zeitrahmen | 1–2 Wochen, Festpreis |
Acht Fragen, bevor Sie uns anrufen
Antworten Sie ehrlich. Es wird nichts gesendet — der Check läuft in Ihrem Browser. Offene Bereiche sind der Startpunkt eines Audits.
Häufige Fragen
Unser Chatbot stammt von einem Anbieter. Können Sie ihn trotzdem prüfen?
Ja. Wo nötig behandeln wir ihn als Blackbox, wo möglich lesen wir die Konfiguration. Die meisten Befunde — falsche Antworten, fehlende Eskalation, Datenlecks, fehlende KI-Kennzeichnung — zeigen sich von außen.
Welche rechtlichen Pflichten gelten für einen Kunden-Chatbot?
Nach Artikel 50 des EU AI Act müssen Menschen erfahren, dass sie mit einer KI interagieren — in Kraft seit 2. August 2026, mit Bußgeldern von bis zu 15 Millionen Euro oder 3 % des weltweiten Umsatzes. Die DSGVO gilt für jedes Gespräch mit personenbezogenen Daten. Die meisten Kunden-Chatbots sind nicht hochriskant — aber das sollte man wissen, nicht annehmen.
Was ist Prompt Injection, und warum betrifft das den Mittelstand?
Eine Nachricht, ein Dokument oder eine Webseite, die das Modell dazu bringt, seine Anweisungen zu ignorieren — etwa Daten anderer Kunden preiszugeben oder ein Tool auszulösen, das es nicht nutzen dürfte. Es ist das höchstplatzierte Risiko der OWASP Top 10 für LLM-Anwendungen und wird in jedem Audit getestet.
Verkaufen Sie uns dann die Behebung?
Der Bericht ist ohne uns vollständig und nennt Maßnahmen, die jedes kompetente Team umsetzen kann. Wenn wir sie umsetzen sollen, ist das ein eigener, separat bepreister Schritt.
CONTACT — HELLO@OLTEN.AI
Kostenloses 30-Minuten-KI-Audit
Wir sehen uns Ihre Prozesse an, benennen den Use Case mit dem schnellsten Payback — und sagen ehrlich, wenn KI nicht das richtige Werkzeug ist. Keine Folien, keine Verpflichtung.
Oder direkt schreiben: hello@olten.ai