Menschliche Eingriffe erforderlich

KI-Selbstgespräche führen in den Wahnsinn

Datum:29.07.2024
Autor(en):Peter Marwan

Der Wert über echte menschliche Interaktionen mit Systemen gesammelten Daten wird angesichts der Zunahme von LLM-generierten Inhalten im Internet immer wertvoller.
Foto: Peter Marwan mit Dreamshaper XL Lightning via NightCafé

Generative künstliche Intelligenz (GenAI) und große Sprachmodelle (LLM) haben in den vergangenen zwei Jahren gezeigt, dass sie für viele Menschen in vielen Bereichen nützliche und hilfreiche Werkzeuge sein können. Manche träumen sogar davon, dass KI Menschen in manchen Bereichen ganz ersetzen kann.

Zumindest bei der Text- und Bilderstellung wird das allerdings so bald nicht möglich sein. Denn wie Ilia Shumailov und Zakhar Shumaylov mit ihren jeweiligen Teams an der Universiät Oxford jetzt herausgefunden haben, werden die Ergebnisse der KI-Arbeit immer schlechter, umso mehr bereits durch eine KI generiertes Material in den Trainingsdaten enthalten ist.

KI verschlechtert sich mit KI-Daten immer weiter

"Wir stellen fest, dass die wahllose Verwendung von modellgeneriertem Inhalt beim Training irreversible Defekte in den resultierenden Modellen verursacht, bei denen Enden der ursprünglichen Inhaltsverteilung verschwinden", schreiben die Wissenschaftler im Magazin "Nature"¹ . Das gelte alle für all erlernten generativen Modelle.

"Ach ist der süß" - diese sehr menschliche Reaktion in Bezug auf einen Golden Retriever und die daraus resultierende überproportionale Darstellung von Golden Retrievern in öffentlich verfügbaren Daten könnte KI auf absonderliche Irrwege führen.
Foto: ViDI Studio - shutterstock.com

Ihre Erkenntnisse müssten Ernst genommen werden, betonen die Wissenschaftler, wenn Anwender weiterhin in den Genuss der Vorteile des Trainings mit umfangreichen, aus dem Internet gecrawlten Daten kommen wollen. Sie weisen darauf hin, dass der Wert der über echte menschliche Interaktionen mit Systemen gesammelten Daten angesichts der Präsenz von LLM-generierten Inhalten im Internet immer wertvoller werde.

In einem Interview für die Zeitschrift Nature² ergänzt Zakhar Shumaylov "Wir müssen sehr vorsichtig sein, was in unseren Trainingsdaten landet. Andernfalls werden Dinge nachweislich immer schiefgehen."

Die Informatikerin Emily Wenger bringt das Dilemma für die Wissenschafts-Webseite Spektrum.de folgendermaßen auf den Punkt³: "KI erzeugt Müll, wenn man sie mit ihren eigenen Daten trainiert." Als Grund nennt sie, "dass die Modelle die selten vorkommenden Bestandteile des ursprünglichen Trainingsdatensatzes nach und nach vergessen."

Wenger illustriert das mit einem Beispiel: "Angenommen, ein Algorithmus soll Bilder von Hunden erzeugen. Das Programm wird die in den Trainingsdaten am häufigsten vorkommenden Hunderassen öfter nachbilden, so dass beispielsweise Golden Retriever im Vergleich zum Kleinen Basset Griffon Vendéen überrepräsentiert sind. Wenn nachfolgende Systeme mit diesem KI-generierten Datensatz trainiert werden, verstärkt sich das Problem. Nach mehreren Zyklen mit überrepräsentierten Golden Retrievern vergessen die Programme irgendwann, dass es Hunderassen wie den Kleinen Basset Griffon Vendéen überhaupt gibt, und liefern nur noch Bilder von Golden Retrievern."

Zu einem ähnlichen Ergebnis kam kürzlich eine weitere Studie aus Großbritannien⁴. Denmnach kann KI (konkret ChartGPT) zwar Autoren, die sich selbst als unkreativ einschätzen, beim Schreiben von Texten helfen - diese Texte gleichen sich aber immer mehr an. Echte, neue Ideen entstehen kaum, ein einmal bewährtes, mittelmäßiges Rezept wird immer häufiger wiederholt, umso öfter es als passend gewertet wurde.

Einfache Lösung des Problems nicht in Sicht

Wasserzeichen könnten das Problem nach Ansicht von Studien-Autor Shumailov zumindest entschärfen, weil sich entsprechend gekennzeichnete Daten leicht aus Trainingsdatensätzen entfernen ließen. Allerdings wirft der in der Theorie plausibel erscheinende Ansatz in der Praxis zahlreich Fragen auf. Erstens müssten sich dazu alle KI-Firmen auf gemeinsame Standards einigen. Schert nur ein Unternehmen aus, kollabiert das gesamte System. Zweitens lassen sich solche Wasserzeichen relativ leicht entfernen⁵.

Drittens ist noch unklar, ob das von Shumailov und Shumaylov als Problemlösung geforderte menschlichen Feedback sich nicht auch durch KI simulieren lässt. Google-Forscher haben dazu in Bezug auf Bildgenerierung erst kürzlich aus ihrer Sicht vielversprechende Ansätze vorgestellt⁶. Auch Microsoft arbeitet in dieser Richtung: Das Unternehmen beschäftigt sich intensiv damit⁷, wie die bekannten "Halluzinationen" - also Bestandteile der Antworten, die in den zugrundeliegenden Daten überhaupt nicht enthalten sind - unterbunden werden könnten

Informatikerin Wenger weist zudem darauf hin, dass in der aktuellen Arbeit ausschließlich KI-Modelle zur Texterzeugung untersucht wurden. Sie sieht Untersuchungsbedarf daraufhin, "ob die beschriebenen Probleme auch bei anderen generativen KI-Systemen auftreten, einschließlich multimodaler Programme wie GPT-4o, die Bilder, Text und Audio erzeugen."

Außerdem sei nicht berücksichtigt worden, was passiert, wenn die Modelle mit Daten anderer KI-Systeme trainiert werden. "Das würde ein realistischeres - und deutlich komplizierteres - Ergebnis liefern, da das Internet voll von Daten unterschiedlicher KI-Algorithmen ist. Falls das Problem auch in diesem Szenario bestehen bleibt, muss man herausfinden, was genau den Zusammenbruch der Modelle verursacht", schreibt Wenger.

Mehr zum Thema

Der richtige Umgang mit KI⁸

ChatGPT erweist sich als passabler Witze-Erfinder⁹

Gute Aussichten für KI-Projekte in der Landwirtschaft¹⁰

Sage-Studie zu KI im Personalwesen¹¹

Links im Artikel: