Droht der KI-Kollaps?

 

Eine Gefahr für die Zukunft der künstlichen Intelligenz

Ein neuer Teufelskreis entsteht: Der Anteil von Inhalten, die von künstlichen Intelligenzen erzeugt wurden, nimmt stetig zu und bildet das Trainingsmaterial für die nächste Generation von KI-Modellen. Ein aktuelles Experiment zeigt, dass dieser „Zirkelschluss“ schon nach wenigen Generationen zum Zusammenbruch von Sprachmodellen führen kann. Die Qualität der Ergebnisse nimmt ab, bis die KI-Systeme letztendlich nur noch unbrauchbare Informationen produzieren, wie Forscher in der Fachzeitschrift „Nature“ berichten. Doch wie kann man dies verhindern?

Ein sich selbst verstärkender KI-Kreislauf

Künstliche Intelligenzen, insbesondere große Sprachmodelle oder Bildgeneratoren, lernen durch die Analyse von großen Datenmengen. Bislang stammen diese Daten primär von Menschen, was den KI-Systemen ermöglicht, sinnvolle Inhalte zu generieren. Mit dem Aufschwung der künstlichen Intelligenz steigt jedoch der Anteil der KI-generierten Inhalte im Internet, was bedeutet, dass zukünftige KI-Modelle zunehmend mit den Daten ihrer Vorgänger trainiert werden.

Ilia Shumailov von der University of Oxford und seine Kollegen haben untersucht, welche Auswirkungen dieser Kreislauf auf zukünftige KI-Generationen haben könnte. Im Experiment fütterten sie das Sprachmodell OPT-125m von Meta zunächst mit Wikipedia-Texten. Die Folgegenerationen dieses KI-Systems erhielten dann für ihr Training eine Mischung aus von der KI generierten Daten und einem geringen Anteil an menschlich erzeugten Originaldaten.

Degradierung und Kollaps der KI-Modelle

Das Ergebnis war alarmierend: Bereits nach fünf KI-Generationen verschlechterten sich die Antworten merklich. Die Forscher beobachteten einen Kaskadeneffekt, bei dem sich Ungenauigkeiten kumulierten und die Fehler insgesamt zunahmen. Die KI begann, zunehmend Wörter und Sätze zu wiederholen. Wenn man die KI aufforderte, Wiederholungen zu vermeiden, verschlechterten sich die Ergebnisse noch weiter.

Nach neun Generationen lieferte das Sprachmodell nur noch unsinnige Sprachfetzen und Zeichenfolgen – es war kollabiert. Das unkontrollierte Lernen auf Basis von KI-generierten Daten führt zu einem degenerativen Prozess, bei dem die Modelle nach und nach die Verteilung der zugrundeliegenden Originaldaten vergessen, die essentiell für das Lernen sind.

Auswirkungen und mögliche Lösungen

Die möglichen Konsequenzen eines solchen KI-Kollapses erklärt die KI-Forscherin Emily Wenger von der Duke University anhand eines Beispiels: Ein Bildgenerator, der darauf trainiert wird, realistische Abbildungen von Hunden zu erstellen, nutzt als Datenbasis Fotos aus dem Internet. Da beliebte Hunderassen wie Golden Retriever häufiger vorkommen, zeigt der Bildgenerator bevorzugt diese Rassen. Mit der Zeit vergisst das KI-Modell die seltenen Rassen und generiert nur noch Bilder von Golden Retrievern, bis es schließlich keine Hunde mehr korrekt darstellen kann.

Maßnahmen zur Verhinderung des KI-Kollapses

Das Experiment zeigte, dass der KI-Kollaps nahezu unvermeidbar ist, sofern die künstliche Intelligenz nicht mit einem Mindestmaß an menschlichen Daten trainiert wird. Shumailov und seine Kollegen warnen, dass die Veröffentlichung von KI-generierten Daten im Internet die Datensammlung für das Training zukünftiger Modelle kontaminiert. Daher müsse dieses Problem ernst genommen werden, um auch in Zukunft vom Internet als Trainingsmaterial profitieren zu können.

Die Gefahr dieser Degeneration betrifft nicht nur Textgeneratoren, sondern auch andere generative KI-Systeme. Allerdings wurde nicht untersucht, was passiert, wenn ein KI-System nicht mit den eigenen Produkten, sondern mit denen eines anderen KI-Modells trainiert wird. Angesichts der Tatsache, dass das Internet von den Daten verschiedener KI-Modelle überflutet wird, wäre dies ein realistisches Szenario, dessen Auswirkungen noch abzuwarten sind.

Wasserzeichen als mögliche Lösung?

Sollte sich das Szenario der Forscher bewahrheiten, stellt sich die Frage, wie der fatale KI-Kreislauf verhindert werden kann. Eine mögliche Lösung wäre, eine Art Wasserzeichen in alle von künstlicher Intelligenz erzeugten Texte, Bilder oder Videos einzubauen. Dies würde jedoch eine konzertierte Aktion aller Hersteller von generativen KI-Systemen erfordern. Ob Konkurrenten wie OpenAI, Meta, Google und Co zu einer solchen Zusammenarbeit bereit sind, bleibt abzuwarten.

(Nature, 2024; doi: 10.1038/s41586-024-07566-y)



Zur Quelle wechseln

Literature advertisement

Geld vernünftig ausgeben: Über die richtige Art von Sparsamkeit

Der Begriff Sparsamkeit bezieht sich nicht nur auf Geldangelegenheiten, sondern auf alles im Leben – den klugen Umgang mit der Zeit, den klugen Umgang mit der eigenen Fähigkeit, der eigenen Energie, und das bedeutet umsichtig zu leben, sorgfältige Lebensgewohnheiten. Sparsamkeit ist der wirtschaftliche Umgang mit sich selbst, mit seiner Zeit, mit seinen Angelegenheiten, mit seinem Geld, die vernünftigstmögliche Verwendung dessen, was wir von allen Ressourcen des Lebens haben.

Sparsamkeit ist nicht nur einer der Grundsteine für ein Vermögen, sondern auch die Grundlage für vieles, was eine hervorragende Eigenschaft hat. Sie verbessert die Möglichkeiten des Einzelnen. Die Ausübung der Sparsamkeit hat eine sehr gesunde Wirkung auf alle Fähigkeiten. Sparsamkeit ist in vielerlei Hinsicht ein Zeichen von Überlegenheit. Die Gewohnheit zur Sparsamkeit steht für Selbstbeherrschung. Sie ist ein Beweis dafür, dass der Mensch kein hoffnungsloses Opfer seiner Begierden, seiner Schwächen ist, sondern dass er Herr seiner selbst und seiner Finanzen ist.

Im Inhalt behandelte Punkte:
– Wirtschaft ist keine Schikane, sondern das planvolle Handeln zur Befriedigung von Bedürfnissen.
– Kapital ist der kleine Unterschied zwischen dem, was wir verdienen und dem, was wir ausgeben.
– Sparsamkeit ist nicht Geiz, sondern Vorsorge und die Art wie man sein Geld klug ausgibt.
– Falsche Sparsamkeit oder Verschwendung ist, wenn das Eingesparte weniger Wert ist, als der Aufwand, und das führt zur Armut.
– Ein kleiner Betrag, der regelmäßig über längere Zeit gespart wird, wächst zu einem Vermögen heran.
– Hinter jedem ehrlichen Vermögen steckt kluge Sparsamkeit.
– Man kann das gleiche Geld nicht zweimal ausgeben.
– Vertrauen genießt nur derjenige, der sein Geld vernünftig ausgibt, nicht aber derjenige, der es verschwendet.
– Glück ist eine geistige Einstellung, es ist der Zustand des Geistes, nicht der Zustand des Portemonnaies.
– Zeit ist kostbar. Nutze Sie die Zeit auf kluge Weise!
… u.a.

Es ist ein Buch mit wertvollen Ratschlägen, die jeder lesen sollte.

Hier geht es weiter …

Literature advertisement

Was sind Wirklichkeiten?

Wie kam es zur Entdeckung natürlicher Gesetze?
Lässt uns die Natur in ihre Werkstatt blicken?
Ist Erkenntnis subjektiv oder objektiv?
Wie hängen Bewusstsein und Natur zusammen?
Was ist unvergänglich in Raum und Zeit?
Wodurch wird wissenschaftliche Erkenntnis erst möglich?
Welche Reize überschreiten die Schwelle des Bewusstseins?
Was bedeutet die Welt der Werte für die Persönlichkeit?
Verfolgt die Natur einen Zweck?
Wo liegen die Grenzen des Gefühls?
Ist die Welt dem Untergang geweiht?
Wie kann man Krummes durch etwas Gerades messen?
Was ist es, das zwei große Denker den Menschen mitzuteilen haben?
Welche Wirklichkeit zeigen uns Traumbilder?
Kann die Mystik Unerklärliches erklären?
Wie wird die Zukunft werden?

Das sind die Fragen zu denen der Autor in diesem Buch Stellung bezieht und mit seinen Antworten im feuilletonistisch leicht verständlichen Stil den Leser fasziniert.

Hier geht es weiter …

Literature advertisement

Psychologische Verkaufskunst

In der Psychologie der Verkaufskunst gibt es zwei wichtige Elemente, nämlich
(1) Die Psyche des Verkäufers; und
(2) die Psyche des Käufers.
Das zu verkaufende Produkt stellt das Bindeglied dar, auf dem sich die beiden Gemüter vereinen und zu einer Einigung kommen müssen. Der Verkauf selbst ist das Ergebnis der Verschmelzung und Übereinstimmung beider Psychen..
Da das Wesen der Verkaufskunst in der Anwendung der richtigen psychologischen Prinzipien besteht, ist es unbedingt erforderlich, dass der Verkäufer diese Prinzipien kennt, einschließlich der Denk- und Handlungsweisen seiner Kunden. Daraus ergibt sich eine Vorgangsweise, die schließlich zum Abschluss führt.
Kaufen und lesen Sie dieses Buch, und das großartige Gefühl ihrer Abschlusserfolge wird Sie glücklich machen!

Hier geht es weiter …