KI: Zusammenbruch, neu geladen

Dies ist ein automatisch aus dem Italienischen übersetzter Text. Wenn Sie unsere Arbeit schätzen und sie gerne in Ihrer Sprache lesen, denken Sie über eine Spende nach, damit wir sie weiterhin durchführen und verbessern können.

Die Artikel von Cassandra-Kreuzung Ich bin unter Lizenz CC BY-SA 4.0 | Cassandra-Kreuzung ist eine Spalte, die von erstellt wurde Marco Calamari mit dem „nom de plume“ von Kassandra, geboren 2005.

Cassandra kehrt zurück (hier ist der erste Teil) zum Thema KI mit immer wertvollen Ratschlägen!

Dieser Artikel wurde geschrieben am 29. Februar 2024 von Cassandra

Cassandra Crossing 575/ KI: Zusammenbruch, neu geladen

Warum sollte ein technisches Detail falscher KI, selbst ein mathematisches, jedem bekannt sein?

Diejenigen der 24 unermüdlichen Leser, die bereits versucht haben, Cassandras vorherige Aussage zum gleichen Thema zu lesen, können problemlos weitermachen; alle anderen sollten es tun Lies es einfach, als wäre es die erste Hälfte eines Krimifilms, zu dem man erst spät gekommen ist.

Es beginnt die zweite Hälfte, deren Drehbuchautorin nicht Cassandra ist, sondern eine verdiente Person, die auf Reddit eine gut gemachte Zusammenfassung einer eher abstrusen Frage gepostet hat, die in einem Fachartikel beschrieben wird.

Offenlegung: Cassandra hat es überarbeitet, übersetzt (mit einem LLM) und dann erneut überarbeitet und fügt es hier ein. Dann ein obligatorisches Dankeschön an den wahren Autor und weiter geht’s.

Achtung: Ein Mindestmaß an Mathematik ist erforderlich, aber wenn Sie jemals eine Prüfung oder eine Abschlussarbeit über grundlegende Statistiken geschrieben haben, werden Sie diese sehr klar verstehen und in ihrer Einfachheit sogar verblüffend sein.

. . .

Der Zusammenbruch eines Modellsoder LLM tritt auf, wenn ein Modell, das auf Daten früherer Modellgenerationen trainiert wurde, beginnt, Informationen zu verlieren, insbesondere an den Enden der statistischen Verteilung der Originaldaten, und schließlich zu einer Einpunktschätzung mit geringer statistischer Varianz konvergiert. (Anmerkung des Herausgebers: Kurz gesagt, er gibt auf jede Frage immer die gleiche Antwort).

Der Modellzusammenbruch tritt aufgrund von zwei Fehlerquellen auf: statistischer Näherungsfehler aufgrund endlicher Stichproben und funktionaler Näherungsfehler aufgrund unvollständiger Modelle. Diese Fehler häufen sich über Generationen hinweg und führen dazu, dass die geschätzte Verteilung weiter vom Original abweicht.

Einige Studien zeigen, dass es bei einfachen Modellen wie i zu einem Modellkollaps kommt Gaußsche Mischungsmodelle und von Variationale Autoencoder, sowie in Sprachmodelle komplexer. Auch eine Modellkalibrierung während des Trainings verhindert das nicht Modellzusammenbruch in sprachlichen Modellen.

Im Laufe der Zeit werden die von den betroffenen Modellen generierten Daten verändert Modellzusammenbruch Sie beginnen, unwahrscheinliche Sequenzen zu enthalten und verlieren Informationen über die statistischen Enden der ursprünglichen Verteilung.

Die Forscher argumentieren, dass der Zugriff auf Daten, die direkt von Menschen generiert und für das Training verwendet werden, weiterhin unerlässlich sein wird, um einen Zusammenbruch des Modells zu verhindern und seine Leistung aufrechtzuerhalten. Darüber hinaus werden die Daten, die bei menschlichen Interaktionen mit Sprachmodellen entstehen, immer wertvoller.

Zusammenfassend heben wir ein wichtiges Phänomen hervor, bei dem Modelle, die rekursiv auf ihren generierten Daten trainiert werden, beginnen, an Genauigkeit zu verlieren und sich schließlich einem suboptimalen Zustand zu nähern.

Der Zugriff auf von Menschen erstellte Originaldaten ist daher notwendig, um einen Modellkollaps zu verhindern und seine Leistung langfristig aufrechtzuerhalten. Aus diesem Grund wird die Unterscheidung menschlicher Daten von modellgenerierten Daten in großem Maßstab zu einer großen Herausforderung für das erfolgreiche Training von Sprachmodellen, da Sprachmodelle beginnen, immer mehr Webinhalte zu generieren.

. . .

Cassandra, die diesmal wirklich ihren Job macht, endet mit einer Warnung.

Ja, lasst uns darüber reden falsche künstliche Intelligenz die Sie bereits in den neuesten Versionen der von Ihnen verwendeten Produkte finden. Sogar in Computercodegeneratoren wie Copilot, die mittlerweile von den meisten Entwicklern verwendet werden. Und daher, deren Auswirkungen Sie in der von Ihnen verwendeten Software finden können und unterziehen jeden Tag, und wer wird die nächste Version des überprüfen intelligente Objekte.

Seien Sie vorsichtig!

Marco Calamari

Dieses Tag @treue Alternativen wird verwendet, um diesen Beitrag automatisch an zu senden Feddit und erlauben Sie jedem im Fediversum, dazu Stellung zu nehmen.

Treten Sie Communities bei