Content Moderation: Wie KI in Foren mitmischt

Von Vanja Vlajković

Beim Tippen in sozialen Netzwerken und Onlineforen ist Vorsicht geboten, denn die Kommentare dort können grausam sein. Content-Moderator*innen haben die Aufgabe, Online-Kommunikation zu regeln. Dabei hilft ihnen in vielen Fällen auch Künstliche Intelligenz, da menschliche Moderator*innen Schwierigkeiten haben, den Überblick zu bewahren.

Copyright: shutterstock

Die Sorge, den Arbeitsplatz zu verlieren, treibt immer mehr Menschen um. Derzeit befinden sich 248.335 Menschen in Österreich auf Jobsuche während 72.786 ihre Hoffnung in AMS-Schulungen setzen. Doch die Prognosen sind düster: Laut des Arbeitsministeriums dürfte die Arbeitslosigkeit weiter steigen. Die Knappheit an Arbeitsplätzen rührt dabei nicht nur von den anhaltenden Teuerungen, sondern hat zuhauf einen Grund: Künstliche Intelligenz (KI). Insbesondere im Bereich der Content Moderation.

Schon jetzt kommen intelligente Algorithmen häufig zum Einsatz, wenn es um die Inhaltsmoderation, also die Überprüfung und Filterung von Inhalten auf Online-Plattformen, geht. Sie reduzieren die Menge der zu prüfenden Inhalte und entfernen Problematisches automatisch oder lehnen die Publikation vorab ab, ohne dass menschliche Moderator*innen jeden einzelnen Beitrag überprüfen müssen.

KI am Arbeitsplatz: Ängste und Potenziale

Im Februar 2023 wurden im Auftrag von PwC Österreich 1001 Personen im Alter zwischen 14 und 75 Jahren zu ihrer Einstellung gegenüber ChatGPT und KI befragt. Laut dieser Umfrage fürchtet ein Drittel der Befragten seinen Arbeitsplatz durch Künstliche Intelligenz zu verlieren. Daraus ergibt sich die Frage: Ist diese Angst gerechtfertigt?

„Tätigkeiten werden sehr wohl automatisiert, das ist aber nicht gleichbedeutend mit Jobs“, sagt Head of Digital Affairs der Arbeiterkammer, Fridolin Herkommer. „Eine Sekretariatskraft gibt es heute auch noch und die hat es in den Siebzigern auch gegeben, nur hat sie damals was völlig anderes getan, als sie es heute tut“, fügt er hinzu. „Das Potenzial besteht, dass wieder einige Berufe sich deutlich verändern werden, vor allem dort, wo viel Recherche und viel Texten erforderlich ist, wie zum Beispiel im Journalismus“, sagt Herkommer. „Ich kann mich da nur anschließen“, ergänzt Data Architect der Arbeiterkammer, Alexander Czech. „Wahrscheinlich werden uns die Maschinen nicht in dem Sinne ersetzen, sondern die Menschen, die mit den Maschinen zusammenarbeiten können.“

Ein Beispiel: Eine Sekretariatskraft arbeitet heute, im Gegensatz zu den 1970ern, mit einem Computer, anstatt von letzterem ersetzt zu werden, wie lange befürchtet wurde. Doch es gibt auch Beispiele, wo es für den Menschen weniger glimplich ausging. Vor allem in der industriellen Fertigung lösen Roboter zunehmend menschliche Arbeitskräfte ab, indem sie Aufgaben wie Montage, Schweißen, Lackieren und das Verpacken von Produkten übernehmen.

Wie sieht das nun im Bereich der Content Moderation aus? „Da sehe ich zwei große Probleme“, sagt Czech. „All diese KI-Algorithmen sind sogenannte Blackbox-Systeme, heißt, sie können im Endeffekt keine Erklärung liefern außer ‚abgelehnt‘, und das ist intransparent für Außenstehende, weil das die KI nicht begründen kann.“ Der Data Architect ergänzt noch: „Das sind auf der technischen Seite die Schwierigkeiten und ich denke schon, dass wir da immer eine Stelle brauchen, an der man sich beschweren kann und sagen kann, dass man nicht damit zufrieden ist, wie so ein Beitrag abgelehnt worden ist.“

Die emotionale Last der Content Moderation

Wenn sich in der Szene umgehört wird, lässt sich schnell feststellen, dass der Job als Inhaltsmoderator*in sehr belastend sein kann. Nicht nur, da sie Unmengen an Beiträgen prüfen müssen, sondern auch oft grausame Dinge zu sehen bekommen. Der Job als Content Moderator*in ist ein sehr belastender Job. Das meint auch Czech: „Man liest häufig davon, dass Menschen posttraumatische Stress Syndrome bekommen, weil sie so viele schlimme Dinge beim Moderieren von Inhalten sehen müssen, und da ist natürlich so ein Algorithmus eine Hilfe, um die Psyche der Menschen zu schützen.“ Die Social-Media-Managerin der Wiener Wochenzeitung Der Falter, Eleana Novak hat schon einiges gesehen. „Es ist immer auch natürlich abhängig, was man selbst für eine Person ist und was für Themen einen reizen“, sagt Novak. „Ich war davor schon Community Managerin für krone.at und da gab es Berichte über Migrant*innen, die bei ihrer Flucht über das Meer ertrinken, und da gab es Leute, die kommentiert haben, sowas geschieht ihnen recht. Das finde ich dann sehr schlimm.“

Content Moderation zwischen Filter und Freiheit

Bei der Durchforstung des Internets wird klar, dass es Menschen gibt, die Content Moderation mit Zensur gleichsetzen und diese als Einschränkung der persönlichen Meinungsfreiheit sehen. „Ich verstehe das vollkommen“, sagt Novak. „Das ist auch etwas, mit dem ich mir nicht so leicht tue, denn ich bin mir auch manchmal unsicher, ob man ein Kommentar so stehen lassen kann, oder ob man es weggeben sollte und wenn es gelöscht wird, wird sich die Person auch denken, dass es eine Einschränkung der persönlichen Meinungsfreiheit ist.“ Novak ergänzt: „Es gibt oft eine Netiquette, an die man sich zu halten hat und wir machen das nicht grundlos, es werden nicht irgendwelche Kommentare verborgen, die in Ordnung gewesen wären.“

KI-Moderation: Zwischen Bias und Kontext

Viele große Plattformen, wie TikTok, Instagram und Co. nutzen KI bei der Moderation ihrer Inhalte. Sie moderieren ihre Inhalte mithilfe von KI-Algorithmen, die nach potenziell unangebrachten Inhalten suchen. Diese Inhalte werden dann von einem Team von menschlichen Content-Moderator*innen überprüft und gegebenenfalls entfernt. Erfahrungen von Inhaltsmoderator*innen besagen, dass Künstliche Intelligenz problematische Inhalte schnell erkennen und darauf reagieren kann. Die automatische Moderation kann mithilfe von maschinellem Lernen darauf trainiert werden, bestimmte Ausdrücke und Inhalte zu suchen und schnell zu entfernen. Es gibt aber auch Könnens-Lücken bei KI-gestützter Inhaltsmoderation. Die KI kann, genau wie der Mensch auch, voreingenommen sein. „Man kann sich alle Mühe geben, dass Algorithmen unvoreingenommen und frei von Diskriminierung sind, aber das sind sie nicht“, sagt Czech. „Das grundsätzliche Problem bei Machine Learning Algorithmen ist, dass sie immer ein Set an Trainingsdaten haben und dieses Set ist immer mit bestimmten Biases verhaftet, und alle diese Biases, die sogar uns nicht bewusst sind, lernt die Maschine.“

Aktuell werde daran gearbeitet, Algorithmen objektiver zu machen. Allerdings dürfte dies bei einem Ideal bleiben.

Der Grund: „Wir Menschen haben auch ein Bias und wenn man sich Entscheidungssysteme anschaut, wie zum Beispiel Gerichte, dann gibt es immer höher gestellte Stellen, in denen man sagen kann ,Ich bin mit dieser Entscheidung nicht zufrieden‘ und so ähnliche Systeme muss man auch für Content-Moderation-Systeme einführen“, erläutert Czech. „Die KI kann immer nur die Wörter und die Sätze, die im Kommentar stehen, interpretieren, ohne den Kontext des Artikels zu berücksichtigen, und es gibt Kommentare, die bei gewissen Themen in Ordnung wären und bei anderen Themen nicht“, sagt Novak. „Das war bei krone.at damals der Fall. Die KI konnte den Kontext zwischen einem Artikel und den Kommentaren nicht erkennen und hat nur die einzelnen Kommentare betrachtet.“ Noch ein Aspekt der Content Moderation, in dem menschliche Moderatoren der KI überlegen sind, ist das Erkennen von Ironie und Sarkasmus. „Das kann von einer KI nicht erkannt werden. Das ist einfach diese Empathie, die die Menschen haben, das kann, glaube ich, eine KI nicht so gut ersetzen“, sagt Novak.

Barrier-to-entry ist sehr niedrig geworden“

Die Welt und die Gesellschaft entwickeln sich immer weiter. Immer mehr KI-Programme erblicken das Licht der Welt und sollen uns bei allmöglichen Dingen unterstützen. Die Arbeit der Content Moderation wird sich auch weiterentwickeln und immer mehr die Unterstützung Künstlicher Intelligenz einfordern. Das findet auch Fridolin Herkommer.

„Die KI wird mehr zum Einsatz kommen, ganz einfach. Der Grund ist, dass die Menge an Content, die wir produzieren, exponentiell wächst und wir aber nicht im gleichen Maße Arbeitskräfte haben, um diesen Content zu moderieren.“ Zudem fügt er noch hinzu: „Die Barrier-to-entry, um Content zu veröffentlichen, ist sehr niedrig geworden.“

Heute könnte man theoretisch vom Smartphone aus etwas auf YouTube und Co. posten, und jeder und jede könnte ein Content Creator sein. Das würde jedoch nicht bedeuten, dass menschliche Moderator*innen gänzlich vom Arbeitsmarkt verdrängt würden. Der Beruf der Content Moderator*innen würde sich höchstwahrscheinlich verändern. „Wenn menschliche Arbeitskräfte weniger Zeit mit der Content Moderation verbringen, haben sie dann vielleicht mehr Zeit, Faktenüberprüfungen vorzunehmen oder gute Geschichten zu recherchieren“, sagt Herkommer.

Obwohl bei vielen Menschen die Angst groß ist, dass sie ihre Jobs durch KI verlieren, darf der Aspekt nicht übersehen werden, dass KI-Programme Menschen bei ihren Aufgaben unterstützen können. Im Fall der Content Moderation kann KI dazu beitragen, die psychische Belastung von Menschen zu verringern und durch die gewonnene Zeit, können sich Inhaltsmoderator*innen um andere Aufgaben kümmern.

Vanja Vlajković | Copyright: Nikolas Rode