Die Katze ist aus dem Sack: So schnell geraten KIs außer Kontrolle
Die KI-Katze ist aus dem Sack: KIs verdummen im Dialog
Heute bin ich über eine interessante Studie von #Microsoft und #Salesforce gestoßen. In der Studie wurde eine These verifiziert, die ich aus eigener praktischer Erfahrung schon länger hatte. Wenn du mit einer KI im Dialog interagierst, werden die Ergebnisse immer schlechter. Die Qualität nimmt je nach Thema und Zufall teilweise gravierend ab.
Dieses Verhalten wurde jetzt wissenschaftlich untersucht und die Ergebnisse sind teilweise erschreckend:
- Im Durchschnitt nahm die Qualität um 39% ab.
- Am Schluss gab es eine Antwortqualität von 60%, während der einzelne zusammengefasste Prompt 90% hat.
KI Katze ist aus dem Satz: LLMs verlieren sich in der Konversation.
Was bedeutet das für die Praxis?
Eigentlich bedeutet es in letzter Konsequenz, dass am Schluss einer Konversation alle gewonnenen Erkenntnisse noch einmal frisch in einem einzigen vollständigen hochwertigen Prompt zusammengefasst werden müssen. Erst dann erzielen LLMs (Large Language Models) die in den Werbeaussagen gepriesene hohe Qualität.
Es ist wie bei der Suche: Die Qualität der Anfrage bestimmt die Ausgabe.
Dennoch, dass Konversationen mit der KI so schlecht abschneiden, war für mich eine echte Überraschung.
Link auf die Studie: https://arxiv.org/html/2505.06120v1
