Eine Gefahr für die Zukunft der künstlichen Intelligenz
Ein neuer Teufelskreis entsteht: Der Anteil von Inhalten, die von künstlichen Intelligenzen erzeugt wurden, nimmt stetig zu und bildet das Trainingsmaterial für die nächste Generation von KI-Modellen. Ein aktuelles Experiment zeigt, dass dieser „Zirkelschluss“ schon nach wenigen Generationen zum Zusammenbruch von Sprachmodellen führen kann. Die Qualität der Ergebnisse nimmt ab, bis die KI-Systeme letztendlich nur noch unbrauchbare Informationen produzieren, wie Forscher in der Fachzeitschrift „Nature“ berichten. Doch wie kann man dies verhindern?
Ein sich selbst verstärkender KI-Kreislauf
Künstliche Intelligenzen, insbesondere große Sprachmodelle oder Bildgeneratoren, lernen durch die Analyse von großen Datenmengen. Bislang stammen diese Daten primär von Menschen, was den KI-Systemen ermöglicht, sinnvolle Inhalte zu generieren. Mit dem Aufschwung der künstlichen Intelligenz steigt jedoch der Anteil der KI-generierten Inhalte im Internet, was bedeutet, dass zukünftige KI-Modelle zunehmend mit den Daten ihrer Vorgänger trainiert werden.
Ilia Shumailov von der University of Oxford und seine Kollegen haben untersucht, welche Auswirkungen dieser Kreislauf auf zukünftige KI-Generationen haben könnte. Im Experiment fütterten sie das Sprachmodell OPT-125m von Meta zunächst mit Wikipedia-Texten. Die Folgegenerationen dieses KI-Systems erhielten dann für ihr Training eine Mischung aus von der KI generierten Daten und einem geringen Anteil an menschlich erzeugten Originaldaten.
Degradierung und Kollaps der KI-Modelle
Das Ergebnis war alarmierend: Bereits nach fünf KI-Generationen verschlechterten sich die Antworten merklich. Die Forscher beobachteten einen Kaskadeneffekt, bei dem sich Ungenauigkeiten kumulierten und die Fehler insgesamt zunahmen. Die KI begann, zunehmend Wörter und Sätze zu wiederholen. Wenn man die KI aufforderte, Wiederholungen zu vermeiden, verschlechterten sich die Ergebnisse noch weiter.
Nach neun Generationen lieferte das Sprachmodell nur noch unsinnige Sprachfetzen und Zeichenfolgen – es war kollabiert. Das unkontrollierte Lernen auf Basis von KI-generierten Daten führt zu einem degenerativen Prozess, bei dem die Modelle nach und nach die Verteilung der zugrundeliegenden Originaldaten vergessen, die essentiell für das Lernen sind.
Auswirkungen und mögliche Lösungen
Die möglichen Konsequenzen eines solchen KI-Kollapses erklärt die KI-Forscherin Emily Wenger von der Duke University anhand eines Beispiels: Ein Bildgenerator, der darauf trainiert wird, realistische Abbildungen von Hunden zu erstellen, nutzt als Datenbasis Fotos aus dem Internet. Da beliebte Hunderassen wie Golden Retriever häufiger vorkommen, zeigt der Bildgenerator bevorzugt diese Rassen. Mit der Zeit vergisst das KI-Modell die seltenen Rassen und generiert nur noch Bilder von Golden Retrievern, bis es schließlich keine Hunde mehr korrekt darstellen kann.
Maßnahmen zur Verhinderung des KI-Kollapses
Das Experiment zeigte, dass der KI-Kollaps nahezu unvermeidbar ist, sofern die künstliche Intelligenz nicht mit einem Mindestmaß an menschlichen Daten trainiert wird. Shumailov und seine Kollegen warnen, dass die Veröffentlichung von KI-generierten Daten im Internet die Datensammlung für das Training zukünftiger Modelle kontaminiert. Daher müsse dieses Problem ernst genommen werden, um auch in Zukunft vom Internet als Trainingsmaterial profitieren zu können.
Die Gefahr dieser Degeneration betrifft nicht nur Textgeneratoren, sondern auch andere generative KI-Systeme. Allerdings wurde nicht untersucht, was passiert, wenn ein KI-System nicht mit den eigenen Produkten, sondern mit denen eines anderen KI-Modells trainiert wird. Angesichts der Tatsache, dass das Internet von den Daten verschiedener KI-Modelle überflutet wird, wäre dies ein realistisches Szenario, dessen Auswirkungen noch abzuwarten sind.
Wasserzeichen als mögliche Lösung?
Sollte sich das Szenario der Forscher bewahrheiten, stellt sich die Frage, wie der fatale KI-Kreislauf verhindert werden kann. Eine mögliche Lösung wäre, eine Art Wasserzeichen in alle von künstlicher Intelligenz erzeugten Texte, Bilder oder Videos einzubauen. Dies würde jedoch eine konzertierte Aktion aller Hersteller von generativen KI-Systemen erfordern. Ob Konkurrenten wie OpenAI, Meta, Google und Co zu einer solchen Zusammenarbeit bereit sind, bleibt abzuwarten.
(Nature, 2024; doi: 10.1038/s41586-024-07566-y)
Geld vernünftig ausgeben: Über die richtige Art von Sparsamkeit
Der Begriff Sparsamkeit bezieht sich nicht nur auf Geldangelegenheiten, sondern auf alles im Leben – den klugen Umgang mit der Zeit, den klugen Umgang mit der eigenen Fähigkeit, der eigenen Energie, und das bedeutet umsichtig zu leben, sorgfältige Lebensgewohnheiten. Sparsamkeit ist der wirtschaftliche Umgang mit sich selbst, mit seiner Zeit, mit seinen Angelegenheiten, mit seinem Geld, die vernünftigstmögliche Verwendung dessen, was wir von allen Ressourcen des Lebens haben.
Sparsamkeit ist nicht nur einer der Grundsteine für ein Vermögen, sondern auch die Grundlage für vieles, was eine hervorragende Eigenschaft hat. Sie verbessert die Möglichkeiten des Einzelnen. Die Ausübung der Sparsamkeit hat eine sehr gesunde Wirkung auf alle Fähigkeiten. Sparsamkeit ist in vielerlei Hinsicht ein Zeichen von Überlegenheit. Die Gewohnheit zur Sparsamkeit steht für Selbstbeherrschung. Sie ist ein Beweis dafür, dass der Mensch kein hoffnungsloses Opfer seiner Begierden, seiner Schwächen ist, sondern dass er Herr seiner selbst und seiner Finanzen ist.
Im Inhalt behandelte Punkte:
– Wirtschaft ist keine Schikane, sondern das planvolle Handeln zur Befriedigung von Bedürfnissen.
– Kapital ist der kleine Unterschied zwischen dem, was wir verdienen und dem, was wir ausgeben.
– Sparsamkeit ist nicht Geiz, sondern Vorsorge und die Art wie man sein Geld klug ausgibt.
– Falsche Sparsamkeit oder Verschwendung ist, wenn das Eingesparte weniger Wert ist, als der Aufwand, und das führt zur Armut.
– Ein kleiner Betrag, der regelmäßig über längere Zeit gespart wird, wächst zu einem Vermögen heran.
– Hinter jedem ehrlichen Vermögen steckt kluge Sparsamkeit.
– Man kann das gleiche Geld nicht zweimal ausgeben.
– Vertrauen genießt nur derjenige, der sein Geld vernünftig ausgibt, nicht aber derjenige, der es verschwendet.
– Glück ist eine geistige Einstellung, es ist der Zustand des Geistes, nicht der Zustand des Portemonnaies.
– Zeit ist kostbar. Nutze Sie die Zeit auf kluge Weise!
… u.a.
Es ist ein Buch mit wertvollen Ratschlägen, die jeder lesen sollte.
Phänomen Naturgesetze
Was uns an den beinahe mythischen Denkern der antiken Welt so fasziniert, ist die wundervolle, abgeschlossene Einheit ihres Weltbildes. Mit welcher prachtvollen Gebärde steht einer dieser Denker vor uns, der legendenumrankte Pythagoras etwa, und sagt mit kühlem, unbeirrbarem Blick: Ich halte das Weltgeheimnis in den Händen.
Und hier beginnen die Ziele des vorliegenden Werkes. Es erblickt seine Aufgabe darin, in einem Umfang, der sich noch durcharbeiten lässt, ein wirkliches Verständnis der Welterscheinungen zu geben, soweit die Wissenschaft ein solches besitzt.
Es will gerade das bieten, was man in den vielen Werken über die Welt vergeblich sucht, weil diese den Ehrgeiz haben, möglichst viele Tatsachen zu bringen, deren Verarbeitung dann dem Leser überlassen bleibt.
Hier dagegen wird ein prinzipiell anderer Weg beschritten; die Tatsachen sind nur Hilfsmittel und nicht Endzweck. Es wird genau die Auswahl dessen geboten, was von dem gesamten sicheren Wissen zum Verständnis unseres naturwissenschaftlichen „Weltbildes“ notwendig ist.
Und der Leser dieses Buches kann wie Pythagoras mit unbeirrbaren Augen in die Welt blicken, denn er hält ihr Geheimnis in seinen Händen.
Wie man seinen 24Std-Tag organisiert
Nach Ansicht des Autors Arnold Bennnett besteht das Leben der meisten Angestellten darin, nur für ihren Lebensunterhalt zu arbeiten, aber er glaubt nicht, dass sie wirklich leben. Bennett geht dieses Problem an, indem er ihnen vorschlägt, wie sie zusätzliche Zeit gewinnen können um daraus das Beste zu machen und die gewonnene Zeit für ein wirkliches Leben zu nutzen.
Dieses Buch hat in den letzten Jahren aufgrund der Explosion des Phänomens der Selbstverbesserung an Attraktivität gewonnen, und in der heutigen Welt große Bedeutung.
Der Humor des Autors, ebenso wie seine Scharfzüngigkeit und die teilweise sehr originellen Ansichten kommen besonders gut in diesem Werk zum Tragen.
Lesen Sie dieses Buch und Sie werden Zeit für das wirkliche Leben und dazu reichlich Lebensfreude gewinnen.
