Wir alle machen Fehler: Wir sind schließlich Menschen. Aber was ist mit Maschinen? Da sie von Menschen programmiert werden, sind auch sie anfällig für Fehler. Im Fall der automatischen Texterstellung haben Forscher:innen des Zentrums für Künstliche Intelligenz (CAI) eine neue Art der Überprüfung der verschiedenen Systeme entwickelt – vollautomatisch. Maschinen bewerten Maschinen – kann das funktionieren?
In ihrem Paper «On the Effectiveness of Automated Metrics for Text Generation Systems» stellen Pius von Däniken, Jan Deriu, Don Tuggener und Mark Cielibak einen neuen automatisierten Ansatz zur Bewertung von Texterzeugungssystemen vor. Was ist automatische Texterstellung? Wahrscheinlich kennen und benutzen Sie einige dieser Systeme. Beispiele sind maschinelle Übersetzung (DeepL, Google Translate usw.), Dialogsysteme (Chatbots wie ChatGPT), automatische Zusammenfassungen (z. B. die Zusammenfassungsfunktion von Google Docs), Paraphrasierung, Erzeugung von Überschriften oder natürliche Sprache. Grob gesagt ist der Bereich der Texterzeugung ein Teilbereich der natürlichen Sprachverarbeitung (Celikyilmaz et al., 2020).
Erfahren Sie mehr auf dem ZHAW Blog Digital Futures Lab.
Autorin: Johanna Seiwald