Beantwortung vergleichender Fragen durch Argumente (ACQuA 2.0)
In der zweiten Phase des Projektes ACQuA im DFG-SPP RATIO werden wir unsere Arbeit zur Verwendung von Argumenten in Vergleichen fortsetzen. Vergleiche sind ein interessanter und wichtiger Forschungsgegenstand, da Menschen oft verschiedene Optionen vergleichen und für die Bildung einer eigenen informierten Meinung Pro- und Kontraargumente benötigen.
Konfrontiert mit einer Anfrage wie 'Ist X besser als Y bezüglich Z?' zeigen auch die aktuellen Websuchmaschinen neben den Standardergebnissen lediglich Fakten aus Wissensbasen, die zu 'X', 'Y' oder 'Z' passen, oder ggf. eine ähnliche Frage mit Antwort von Frage-Antwort-Webseiten. Eines der Hauptprobleme dieses Ansatzes -- neben der Problematik, dass kurze Antworten kaum alle Aspekte eines komplexen Informationsbedürfnisses abdecken -- ist, dass so nur eher wenige vergleichende Fragen beantworten werden können. In der ersten Projektphase konnten wir durch eine Analyse von Yandex-Anfrage-Logs zeigen, dass die meisten vergleichenden Fragen mit im Web auffindbaren Argumenten beantwortet werden können, die aber meist nicht auf Frage-Antwort-Webseiten zu finden sind. Folglich haben wir in der ersten Projektphase eine "Comparative Argumentation Machine" (kurz: CAM) entwickelt, die in einer Nutzerstudie demonstrierbar schneller und korrektere Antworten zu vergleichenden Fragen lieferte als klassische schlüsselwortbasierte Suche. Um die argumentativen Abschnitte in Webdokumenten zu identifizieren, haben wir den neuronalen Argumenttagger TARGER entwickelt. Außerdem konnten wir erste Erkenntnisse zur Unterscheidung von vergleichenden Fragen gewinnen, die Fakten oder Argumente als Antworten benötigen. Erste Pilotstudien zeigen vielversprechende Ergebnisse bei der Nutzung von Wissensbasen für die Beantwortung faktenorientierter vergleichender Fragen. Neben diesen Forschungsergebnissen haben wir mit dem Touché Lab auf der Konferenz CLEF 2020 den ersten Shared Task zum Argument Retrieval mitorganisiert. Dieses Lab hat bei seiner ersten Ausrichtung Einreichungen von 18 Teams bekommen und wird in den nächsten Jahren fortgesetzt werden.
In der zweiten Projektphase planen wir (1) die Verbindung von Wissensbasen und Webtext als Quellen für argumentative Antworten auf vergleichende Fragen zu stärken, (2) eine höhere Diversität an Argumenten und eine hohe Abdeckung subjektiver Ansichten durch axiomatisches Re-ranken auf mehrsprachigen und multikulturellen Quellen zu erreichen und (3) Prototypen zu entwickeln, die Zusammenfassungen argumentativer Antworten auf vergleichende Fragen innerhalb interaktiver dialogorientierter Interfaces bereitstellen und dabei auch die Provenienz der Antworten klarmachen, um eine größtmögliche Transparenz für den Nutzer zu erreichen.