CUEPAQ: Visual Analytics and Linguistics for Capturing, Understanding, and Explaining Personalized Argument Quality
Im CUEPAQ-Projekt (Visual Analytics and Linguistics for Capturing, Understanding, and Explaining Personalized Argument Quality) kombinieren wir Methoden aus Visual Analytics und Computerlinguistik, um neue Ansätze zur Analyse von Argumentqualität unter Berücksichtigung mehrerer Metriken aus verschiedenen Ebenen der linguistischen Analyse zu erstellen. Basierend auf dieser Analyse, erstellen wir sogenannte Präferenzprofile und ermöglichen Nutzern, Einblicke in ihr persönliches Argumentationsverhalten zu bekommen und es mit dem Verhalten anderer Nutzer zu vergleichen.
Das Ziel des Projekts ist das Erfassen, Verstehen und Erklären von wahrgenommener Argumentqualität. Hierzu ermitteln wir, welche stilistischen, semantischen und inhaltlichen Eigenschaften die Wahrnehmung von Argumenten beeinflussen. Die zentrale Frage des Projekts ist, welchen Einfluss die Interaktion dieser Elemente auf die wahrgenommene Qualität von Argumenten hat.
Mit der Beantwortung dieser Frage tragen wir zur Forschung zu Argumentqualität ein Visual-Analytics-System zum Bewerten von Argumenten bei. Das System ermöglicht zielgerichtete Analysen von Interaktionen zwischen Argumentqualität und der sprachlichen Formulierung von Argumenten. Unser Framework extrahiert Präferenzprofile, die anhand des Annotationsverhaltens von Nutzern darstellen, welche inhaltlichen und stilistischen Merkmale die Bewertung von Argumenten maßgeblich beeinflussen. Diese Präferenzprofile unterscheiden sich von Nutzer zu Nutzer, sowie zwischen Nutzergruppen. Um diese Unterschiede über Gruppen hinweg feststellen zu können, schließen wir sowohl die Bewertungen von Experten, als auch von Nicht-Experten in unsere Analyse von wahrgenommener Argumentqualität ein.
Basierend auf relativen Präferenzvergleichen zwischen Argumenten, extrahiert das System Muster in den linguistischen Merkmalen, die sowohl stilistischer als auch inhaltlicher Natur sein können. Wir gehen davon aus, dass diese Merkmale es uns erlauben, die Präferenzen von Benutzern zu erfassen, und dass diese daher auch Rückschlüsse auf das Argumentationsverhalten selbiger erlauben. Das externalisierte Wissen wird aufgrund bestimmter Guidance Strategien visualisiert und erlaubt es dem System und dem Nutzer voneinander zu lernen. Da das System das Annotationsverhalten von Benutzern erfassen kann, erlaubt der ko-adaptive Prozess nicht nur Nutzern, ihre eigenen Argumentationspräferenzen zu verstehen, sondern macht sowohl den Vergleich zwischen den Präferenzprofilen verschiedener Nutzer, als auch den Vergleich mit Expertenmeinungen bezüglich Argumentqualität möglich.
Im Projekt werden computerlinguistische Methoden verwendet, um den Zusammenhang zwischen sprachlichen Mitteln und dem Bewertungsverhalten von Benutzern zu analysieren. Konkret tragen wir zur einheitlichen Annotation von Argumentmerkmalen bei, die relevant für die Bewertung der Qualität von Argumenten sind.