Einführung
Die Messung der Leistung Ihres KI-Agenten ist entscheidend für kontinuierliche Verbesserungen und die Rechtfertigung des ROI. Dieser Leitfaden behandelt die wichtigsten Kennzahlen und deren Verwendung.
Das lernen Sie:
- Key Performance Indicators (KPIs)
- Wie man das Tracking einrichtet
- Interpretieren von Analysedaten
- Effektive A/B-Tests durchführen
Wichtige Kennzahlen zur Verfolgung
1. Kundenzufriedenheit (CSAT)
- Punktzahl: 1-5 Sterne oder Daumen hoch/runter
- Ziel: > 85% positiv
- Misst die allgemeine Zufriedenheit
2. Lösungszeit (TTR)
- Durchschnittliche Zeit zur Lösung eines Kundenproblems
- Ziel: < 3 Minuten für einfache Anfragen
- Weniger ist besser
3. Abwicklungsquote
- % der Konversationen, die ohne menschliches Eingreifen abgewickelt wurden
- Ziel: > 70%
- Zeigt die Effektivität des Agenten an
4. Konversionsrate
- % der Besucher, die die gewünschte Aktion abschließen
- Ziel: variiert je nach Branche (typischerweise 2-5%)
- Direkter Geschäftseinfluss
5. Reaktionszeit
- Zeit von der Nachricht bis zur ersten Antwort
- Ziel: < 5 Sekunden
- Beeinflusst die Kundenzufriedenheit
Konzentrieren Sie sich auf 3-4 Schlüsselkennzahlen, die mit Ihren Geschäftszielen übereinstimmen. Zu viele zu verfolgen kann überwältigend sein.
Analyse-Dashboard
Das Bravin AI Dashboard bietet Echtzeit-Einblicke in die Leistung Ihres Agenten.
Zugriff: Navigieren Sie zu Analysen → Dashboard
Hauptbereiche:
- Übersicht - Schlüsselkennzahlen auf einen Blick
- Konversationen - Volumen, Themen, Stimmung
- Leistung - Reaktionszeiten, Lösungsraten
- Kundenzufriedenheit - CSAT-Werte und Feedback
- Konversionen - Zielabschlüsse und Umsatzzuordnung
Erstellen Sie benutzerdefinierte Dashboards für verschiedene Stakeholder (Management, Support-Team, Marketing).
Kundenzufriedenheit messen
CSAT-Umfrage einrichten:
- Gehen Sie zu Einstellungen → Feedback
- Aktivieren Sie "Umfrage nach der Konversation"
- Wählen Sie den Umfragetyp (Sterne, Daumen, NPS)
- Legen Sie den Auslösezeitpunkt fest (sofort oder nach 24h)
Bewährte Verfahren:
- Halten Sie es einfach (1-2 Fragen)
- Fragen Sie am Ende "War das hilfreich?"
- Bieten Sie ein optionales Kommentarfeld an
- Senden Sie ein Follow-up für negative Bewertungen
{
"csat": {
"enabled": true,
"type": "stars",
"trigger": "conversation_end",
"question": "Wie zufrieden sind Sie mit dieser Konversation?",
"followUp": {
"enabled": true,
"threshold": 3,
"message": "Es tut uns leid, das zu hören. Könnten Sie uns mehr erzählen?"
}
}
}Lösungszeit
TTR verfolgen:
- Wird automatisch für jede Konversation berechnet
- Ansicht unter Analysen → Leistung
- Filtern nach Thema, Kanal, Zeitraum
TTR verbessern:
- Wissensdatenbank trainieren - Genauere Antworten
- Antwortlänge optimieren - Prägnant, aber vollständig
- Schnelle Antworten verwenden - Häufige Fragen vorbereiten
- Übergabe aktivieren - Für komplexe Probleme
Eine sehr niedrige TTR (< 30 Sekunden) könnte auf oberflächliche Antworten hindeuten. Balancieren Sie Geschwindigkeit mit Qualität.
Conversion-Tracking
Ziel-Tracking einrichten:
- Gehen Sie zu Analysen → Ziele
- Klicken Sie auf Neues Ziel erstellen
- Definieren Sie das Ziel (z.B. "Demo buchen", "Kauf tätigen")
- Legen Sie Auslösebedingungen fest
Zieltypen:
- URL-Übereinstimmung - Besucher erreicht Dankesseite
- Ereignis - Benutzerdefiniertes Ereignis ausgelöst (z.B. Button-Klick)
- Absicht - Agent erkennt Kaufabsicht
- Formularübermittlung - Lead-Erfassungsformular ausgefüllt
// Track custom conversion event
bw('track', 'conversion', {
type: 'demo_booked',
value: 0,
currency: 'USD',
metadata: {
source: 'chatbot',
plan: 'enterprise'
}
});Best Practices für A/B-Tests
Was zu testen ist:
- Agentenpersönlichkeit/-ton
- Antwortvorlagen
- Begrüßungsnachrichten
- Formulierung der Handlungsaufforderung
- Übergabezeitpunkt
Einen Test durchführen:
- Gehen Sie zu Einstellungen → A/B-Tests
- Wählen Sie aus, was getestet werden soll (z.B. Begrüßungsnachricht)
- Erstellen Sie Varianten (A: förmlich, B: locker)
- Legen Sie die Verkehrsaufteilung fest (50/50)
- Definieren Sie die Erfolgsmetrik (CSAT oder Konversion)
- Führen Sie den Test mindestens 2 Wochen oder 1.000 Konversationen lang durch
Statistische Signifikanz:
- Benötigt mindestens 100 Stichproben pro Variante
- Suchen Sie nach >10% Verbesserung
- Verwenden Sie Bravins integrierten Signifikanzrechner
Testen Sie jeweils nur eine Variable, um zu isolieren, was die Änderungen bewirkt.
Optimierungstipps
Wöchentliche Optimierungs-Checkliste:
- Überprüfen Sie Gesprächsprotokolle (Stichprobe 10-20)
- Identifizieren Sie häufige Fragen ohne gute Antworten
- Aktualisieren Sie die Wissensdatenbank mit neuen Informationen
- Analysieren Sie negative CSAT-Bewertungen auf Muster
- Testen Sie neue Antwortvarianten
- Überwachen Sie Trends der Abwicklungsquote
- Prüfen Sie auf technische Fehler oder langsame Antworten
Monatliche strategische Überprüfung:
- Vergleichen Sie Metriken mit dem Vormonat
- Überprüfen Sie A/B-Testergebnisse
- Passen Sie die Agentenpersönlichkeit basierend auf Feedback an
- Aktualisieren Sie Ziele und KPIs, wenn sich das Geschäft entwickelt
- Berechnen Sie ROI und Kosteneinsparungen
Richten Sie automatische wöchentliche Berichte ein, die Ihrem Team per E-Mail zugesandt werden. Gehen Sie zu Analysen → Berichte → Planen.