Der Bildgenerator Midjourney sorgt für kreative Texte Dank neuer Trainingsmethode mit Abweichungsmetriken schreiben KI-Modelle jetzt spannender, vielfältiger und überraschender – wie funktioniert das? Kurzfassung | Andreas Becker, 29.03.25
Flux Schnell | All-AI.de EINLEITUNG Künstliche Intelligenz generiert heute problemlos Texte auf hohem Niveau, doch oft wirken diese eintönig oder vorhersehbar. Kann eine neue Trainingsmethode das ändern? NEWS Kreativere Texte durch Abweichungsmetriken Genau diese Frage beantwortet ein Forschungsteam der New York University positiv. Die Forschenden haben Abweichungsmetriken entwickelt, die direkt im Training von KI-Sprachmodellen angewandt werden. Diese Metriken messen, wie unterschiedlich die generierten Texte sind, indem sie deren Unterschiede mathematisch erfassen. Die Methode arbeitet mit eingebetteten Textdarstellungen und berechnet deren Ähnlichkeit über sogenannte Kosinus-Abstände. Durch diese Technik entstehen Texte, die sowohl inhaltlich als auch stilistisch abwechslungsreicher sind. Vielversprechende Ergebnisse bestätigen den Ansatz Erste Tests mit dieser Trainingsmethode zeigen eine erhebliche Verbesserung der Textvielfalt. Die Modelle generieren rund 23 Prozent vielfältigere Inhalte, wobei die Qualität nur geringfügig – etwa fünf Prozent laut Reddit-Reward-Score – sinkt. Ein anschauliches Beispiel liefert der Prompt „Warum zitterst du, mein Liebster? Du bist jetzt König“: Während das ursprüngliche GPT-4o-Modell meist ähnliche Szenarien von Selbstzweifel beschreibt, produzierte das neue Modell unterschiedliche Geschichten, die von düsteren Fantasy-Szenarien bis hin zu märchenhaften Erzählungen reichen. Unterschiedliche Formen der Textvielfalt Dabei unterscheiden die Forschenden zwei Formen von Vielfalt. Semantische Diversität zeigt sich in der Breite der Themen und Handlungen, während stilistische Diversität unterschiedliche Schreibstile umfasst, sodass Texte wirken, als stammten sie von verschiedenen Autoren. Eine Kombination dieser beiden Ansätze lieferte die überzeugendsten Resultate. Evaluation bestätigt Praxisnähe Für das Training nutzte das Forschungsteam eine Datenbank des Reddit-Forums r/WritingPrompts, bestehend aus über 100.000 Text-Paaren. Bereits bei nur vier Antwortvarianten pro Prompt wurde eine deutliche Verbesserung der Vielfalt festgestellt. Menschliche Beurteiler bestätigten in anschließenden Bewertungen die erhöhte Vielfalt, ohne dabei einen signifikanten Qualitätsverlust festzustellen. Grenzen der Methode und zukünftige Perspektiven Trotz der positiven Ergebnisse bleiben einige offene Fragen. So muss beispielsweise noch geprüft werden, ob sich die Methode auch für andere Anwendungsbereiche wie technische Dokumentationen oder Zusammenfassungen eignet. Ebenfalls unklar ist, ob diese Trainingsmethode auch in Online-Trainingsszenarien größerer Modelle funktioniert, wie sie aktuell oft eingesetzt werden. AUSBLICK Mehr Vielfalt für kreative KI-Anwendungen Durch die Integration der Abweichungsmetriken könnten Sprachmodelle künftig weitaus abwechslungsreichere und individuellere Texte generieren. Besonders im Bereich kreativer Anwendungen, wie in der Content-Erstellung, Literatur oder Unterhaltung, könnte dieser Ansatz neue Standards setzen und monotone, sich wiederholende Ergebnisse deutlich reduzieren. UNTERSTÜTZUNG Hat dir ein Artikel gefallen oder ein Tutorial geholfen? Du kannst uns weiterhelfen, indem du diese Seite weiterempfiehlst, uns auf Youtube abonnierst oder dich per Paypal an den Serverkosten beteiligst. Wir sind für jede Unterstützung dankbar. Danke. PayPal – Kaffee Youtube – Kanal KURZFASSUNG
Ein Forschungsteam der NYU hat eine neue Trainingsmethode entwickelt, um KI-Texte abwechslungsreicher zu gestalten.
Durch sogenannte Abweichungsmetriken entsteht eine höhere stilistische und semantische Vielfalt bei gleichbleibender Qualität.
Die Methode basiert auf Kosinus-Abständen zwischen eingebetteten Texten und zeigt im Test eine 23-prozentige Steigerung der Textvielfalt.
Besonders kreative Bereiche könnten von dieser Innovation stark profitieren – von Storytelling bis zur Content-Produktion.
QUELLEN
LessWrong – Measuring and Training for Diversity in Language Models
arXiv – Research Paper zur Diversitäts-Metrik
Quelle: All-AI.de – KI-News, KI-Tutorials, KI-Tools & mehr Weiterlesen
