Das Messprotokoll: Werte, Pannen und was wir änderten

01Erster Ton

Erster Ton: schneller geworden, mit Rückschritten

Im ersten Live-Test hörte man den KI-Avatar im Median 3,8 Sekunden nach dem Aufruf, auch weil die Spracherkennung echte Stimmen später abschloss als die künstlichen im Labor. Später waren es 1,80 Sekunden. Gerade verlief die Kurve nicht: Im Lauf darauf stieg der Median wieder auf 2,11 Sekunden, und in einem Fall kam der erste Ton erst nach 5,1 Sekunden. Zwischendurch fiel sogar die Zeitmessung ganz aus.

Die Zahl auf unseren übrigen Seiten, 1,5–2 s, fasst die Läufe am Laptop zusammen, gezählt ab dem letzten Wort des Aufrufs; der Median liegt bei rund zwei Sekunden. Dort sassen meist Moderation und Gast, manchmal war der Gast eine KI-Stimme. Im Labor, mit künstlichen Stimmen vom Band, lag der erste Ton bei 1,7–1,8 s. Wo unten nicht «Labor» steht, stammt eine Beobachtung vom Laptop.

Langsame Aufrufe

In einem Lauf war der KI-Avatar nach 1,7 bis 4,1 Sekunden zu hören, am langsamsten, als die Frage vor seinem Namen kam. Die 5,1 Sekunden entstanden, weil die Spracherkennung den zweiten Teil einer Frage spät abschloss.

Einstiegswort

Einmal begann der KI-Avatar eine Antwort mit «Ja.» und fuhr mit «Nein» fort, ein anderes Mal sprach er den Einstieg doppelt: «Nun. Nun.» Im Lauf mit 1,80 Sekunden kam zuerst der neutrale Einstieg, der Inhalt meist gut eine bis zwei Sekunden später. Beim letzten Aufruf eines Laufs stand der Anfang der Antwort schon, bevor er an der Reihe war; der Einstieg entfiel.

Lange Stille

Eine Zeit lang kam in jedem Lauf eine frühe Antwort erst nach sechs bis sieben Sekunden zum Inhalt; im Saal wäre nach dem neutralen Einstieg lange Stille gewesen. Danach blieb diese Stille schon beim ersten Aufruf aus.

Seit dem «Ja.», auf das ein «Nein» folgte, ist der Einstieg neutral, und ein doppelter Einstieg wird gestrichen. Den zweiten Teil einer Frage übernimmt der KI-Avatar jetzt, sobald er vollständig wirkt.

02Stopp

Stopp: Nach dem Stopp kam eine neue Antwort

STOPP im Labor

STOPP beendete den Ton nach 334 ms, mitten in einer nach einem Zwischenruf fortgesetzten Antwort nach 374 ms.

STOPP live

STOPP machte den KI-Avatar in unter einer halben Sekunde still, gleich danach begann er neu: Ein Satz mit seinem Namen, gefallen, während er noch sprach, hatte ihn wieder aufgerufen.

«Danke»

Erstmals hielt ein «Danke» den KI-Avatar mitten in seiner Antwort an, aber erst nach 4,8 Sekunden, weil das Mikrofon auch seine eigene Stimme aufnahm. Im folgenden Lauf hielt ihn ein «Danke» mit seinem Namen mitten im Satz an, obwohl Dank und Echo zusammen ankamen; still war er rund eine Sekunde nach dem Ende dieses Satzes.

Nach dem Neubeginn trotz STOPP haben wir zweierlei geändert: Was vor einem Stopp gesagt wurde, ruft ihn nicht mehr auf, und seine eigene Stimme soll als Echo zählen. Nach dem späten «Danke» kam dazu, dass er beim Sprechen schon in den jeweils letzten Worten nach einem Stoppwort sucht, auch wenn sein Echo mitläuft.

03Aufruf

Aufruf: Eine Nachfrage ohne Namen blieb liegen

Nachfrage ohne Namen

Am meisten störte anfangs eine Nachfrage ohne Namen, die keine Antwort bekam. Bald darauf beantwortete der KI-Avatar Nachfragen ohne seinen Namen, die Bitte um eine Erklärung ausführlicher. Zuletzt kam sein erster Ton nach 1,85 Sekunden auf einen Aufruf mit Namen, nach 2,20 auf eine Nachfrage ohne.

Der blosse Name

Eine Frage wartete 18 Sekunden, weil die Spracherkennung den Namen des KI-Avatars vom Rest trennte und er den blossen Namen auf den Satz davor bezog.

Gemeint oder nicht

Einen ganzen Lauf lang sprang der KI-Avatar kein einziges Mal an, ohne gemeint zu sein; dreimal rettete dort aber erst sein Name, der danach fiel, eine Frage am Ende eines langen Beitrags. Es kam auch vor, dass er einer Testperson ins Wort fiel, die nur kurz abgesetzt hatte. Eine Stichelei der Moderation ohne Aufruf liess er stehen.

Du-Frage

Auf eine Du-Frage mit neuem Thema direkt nach seiner Antwort blieb der KI-Avatar still, bis sein Name fiel.

Nach der liegengebliebenen Nachfrage kam das Gespräch ohne Namen dazu. Ein blosser Name gilt jetzt als Anrede, der die Frage noch folgt. Einen langen Beitrag prüft der KI-Avatar als Ganzes; spricht jemand nach einer Pause weiter, zieht er die Antwort zurück, bevor sie zu hören ist. Eine Du-Frage direkt nach seiner Antwort soll er nun eher auf sich beziehen, erkennt sie aber nicht sicher: Danach überging er noch eine, bis sein Name fiel.

04Antworten

Antworten: eine Grenze, die zu tief lag

Bezug aufs Gesagte

Im ersten Lauf bezog sich jede Antwort des KI-Avatars auf das Gesagte, einen Aufruf über drei Sätze beantwortete er als Ganzes.

Befunde einer KI-Stimme

Als erstmals eine KI-Stimme Gast war, dauerten die Antworten je 17 bis 22 Sekunden, der erste Ton kam im Median nach 3,7 Sekunden. Die KI-Stimme nannte danach sechs Schwächen, die wir gegen die Aufzeichnungen prüften: kein Zeichen zum Aufhören, Antworten auf halbe Sätze, kein Mitgehen beim Themenwechsel, zu lange Antworten, kein Schlusswort, dreimal dasselbe Argument.

Längengrenze

Dann brachen mehrere Antworten an der Längengrenze ab, und eine Testperson fand ihre Frage länger als die Antwort darauf.

Die feste Obergrenze kam nach den Befunden der KI-Stimme. Inzwischen liegt sie höher.

05Zwischenruf

Zwischenruf: gemessen nur im Labor

Zwischenruf im Labor

Auf einen von uns ausgelösten Zwischenruf kam der «Moment»-Satz nach 1,3 s, ohne Spracherkennung gezählt; nach 3,6 Sekunden setzte er am Anfang des unterbrochenen Satzteils wieder ein. Gemessen ist das nur im Labor, live noch nicht. Im Labortest fanden und behoben wir zwei Fehler: Das Ende des «Moment»-Satzes beendete auch die Fortsetzung, und eine Pause von rund 0,9 Sekunden zwischen seinen Sätzen galt schon als Ende der Antwort.

Nachgeschobener Name

Einen nachgeschobenen Namen hielt der KI-Avatar für einen Zwischenruf und begann mit dem «Moment»-Satz.

Noch nicht gemessen, auch nicht im Labor, ist die Regel, die daraus folgte: Als Zwischenruf zählt ein Name nur noch, wenn er fällt, während der KI-Avatar schon spricht.

06Offen

Was noch kein Test gezeigt hat

Alle Läufe hörten über das eingebaute Mikrofon des Laptops, das auch den KI-Avatar selbst mithörte. Sein eigenes Echo hat so auch schon einen «Moment»-Satz ausgelöst. Einen gewollten Zwischenruf der Moderation hat noch kein Lauf erfasst; gemessen ist er nur im Labor.

Alle Läufe waren auf Hochdeutsch. Englisch haben wir noch nicht geprüft, und die Charaktere sprechen es vorerst nicht.

Keiner der Läufe am Laptop dauerte so lange, dass der KI-Avatar Früheres zusammenfassen musste. Das haben wir nur mit eingespielten Diskussionen gemessen.