Leichenbilder, Pornos und Terrorvideos – Wie Facebook Unzumutbares entsorgt

Foto: imago | Reporters

Er spricht von der “wundersamen Sauberkeit unter dem blauen F” in seiner “Lecture Performance” auf der re:publica. Wie von unsichtbarer Hand werden unsere Timelines sauber gehalten. Doch wer verwaltet eigentlich die verschwundene Bilderflut von Unzumutbarem: Enthauptungen, nackte Körpern oder politisch Fragwürdigem?

Moritz Riesewieck hat mit seinen Kollegen Hans Block und Omid Mirnour von der Theatergruppe Laokoon auf den Philippinen zu unserem digitalen Müll recherchiert. In der philippinischen Hauptstadt Manilla gehen die Bilder offline. Sogenannte Content-Moderatoren schauen sich den ganzen Tag Abartigkeiten aus aller Welt an. Sie lassen Inhalte verschwinden. Und auch sie sind unsichtbar. Wer weiß schon, dass bei Facebook am anderen Ende Menschen sitzen, die sich die hochgeladenen Fragwürdigkeiten anschauen und über Löschen und Freigeben entscheiden? Wie erträglich wäre das Internet ohne diese unsichtbaren Arbeiter?

Moritz Riesewieck | Foto: Hans Block

VICE: Die Philippinen sind schon sehr lange ein beliebtes Ziel für Giftmüll aus aller Welt. Jetzt wird dort auch anderer Müll sortiert: unser digitaler Müll.
Moritz Riesewieck: Ja, ich würde sagen, dass der analoge Giftmüll aus der ersten Welt jetzt abgelöst wird durch den digitalen Giftmüll in Form von Bilder und Videos. Der Müll landet in den Philippinen, ohne dass sich dafür ein Schiff in Bewegung setzen muss. Und ohne dass es sichtbar wird. Das ist das perfide an dieser Industrie: Es wird alles dafür getan, dass diese Arbeit unsichtbar bleibt.

Wie geschieht das?
Indem Outsourcing-Firmen am anderen Ende der Welt beauftragt werden, die der Öffentlichkeit unbekannt sind. Zudem werden die Arbeiter per Vertrag verpflichtet, über die Dinge, die sie sehen, zu schweigen. Nicht mal mit der eigenen Familie oder mit Arbeitskollegen aus anderen Abteilungen desselben Unternehmens dürfen sie darüber sprechen.

Braucht man für das Aussortieren der Bilder und Videos tatsächlich Menschen? Haben die Algorithmen versagt?
Algorithmen sind auch im Spiel. Sie werden zum Vorsortieren der hochgeladene Bilder und Videos genutzt. Bilder werden in dem Moment gescannt, in dem sie hochgeladen werden. Der Algorithmus meldet dann Bilder, die er als verdächtig einstuft. Zum Beispiel weil nackte Haut zu sehen ist. Diese Bilder werden dann an die Content-Moderatoren geschickt. Diese müssen die Inhalte dann genauer prüfen. Nutzer können auch Inhalte melden, die von dem Algorithmus nicht als problematisch erkannt wurden. Gemeldete Inhalte landen auch bei den Content-Moderatoren.

Alles in Echtzeit?
Das ist zumindest der Anspruch. Deswegen ist eine Armee an Bildersortierern notwendig. Die amerikanische Medienwissenschaftlerin Sara T. Roberts schätzt, dass mindestens 100.000 Content-Moderatoren weltweit tätig sind. Ich habe mit Leuten gesprochen, die davon ausgehen, dass es viel mehr Menschen sind. Wie viele es tatsächlich sind, lässt sich schwer sagen. Die Unternehmen versehen diese Jobs mit ganz unterschiedlichen Titeln. Teilweise heißt es dann Fallout Management oder Customer Care Service.

Es gibt noch nicht mal eine klare Begriffsdefinition für die Tätigkeit?
Genau. Ich würde auch sagen, dass das System hat. Dadurch wird das Thema unsichtbarer. Es gibt keinen Begriff und es wird nicht darüber gesprochen.

Wo sitzen die Content-Moderatoren? Nur auf den Philippinen?
Der größte Teil des Bilderaussortierens findet auf den Philippinen statt. Hate Speech muss in derselben Sprache verwaltet werden. Für Facebook verwaltet Arvato in Berlin die Hasskommentare. Die Firma ist eine Tochter von Bertelsmann. Interessant ist aber, dass Arvato auch einen Sitz auf den Philippinen hat. Wir haben versucht, mit der Firma in Kontakt zu treten—bisher werden wir aber hingehalten.

Warum sind die Philippinen so attraktiv für Firmen wie Facebook?
Die Philippinen sind ein Billiglohnland. Bei den Datenmengen, die heute in sozialen Netzwerken gepostet werden, ist es klar, dass man sehr viele Leute beschäftigen muss, um das zu verwalten. Und wenn man viele Arbeitskräfte braucht, geht man dahin, wo es günstig ist.

Die Philippinen sind aber nicht das einzige Billiglohnland.
Die Firmen verweisen auf den moralisch-ethischen Kodex, den wir angeblich mit den Menschen auf den Philippinen teilen. Ein Großteil der Menschen in den Philippinen ist streng katholisch und sie nehmen ihren Glauben sehr ernst: Es gibt ein beliebtes Fashion Label mit Bibelsprüchen auf den T-Shirts. Die Firma Task Us, die für Tinder arbeitet, lässt ihre Büroräume sogar von katholischen Priestern segnen und es wird gemeinsam gebetet.

Wie sieht bei Task Us der Alltag aus?
Task Us präsentiert sich auf ihrer Website als Familie: Sehr freundlich, solidarisch und unternehmungslustig. In Videos zeigt Task Us, dass sie Paragliding und Karaoke für die Mitarbeiter anbieten. Es hat allerdings sehr lange gedauert, bis wir einen Interviewtermin bekommen haben. Wir duften nicht direkt in das Gebäude, wo die Arbeiter sitzen, sondern wurden in eine starbucksähnliche Glückskekskulisse geladen. Dort sitzen auch die Bewerber. Sie bekommen ihren eigentlichen Arbeitsplatz erst später zu sehen. Die tatsächliche Arbeit wird dann in Großraumbüros gemacht. In abgeschirmten Boxen, getrennt von den Kollegen.

Das ist aber nicht die einzige Firma?
Nein, da gibt es eine Reihe global agierender Unternehmen. Die meisten kommen aus den USA—haben ihren Sitz aber in den Philippinen. Das sind unbekannte Firmen: MicroSourcing oder Cognizant sind zwei weitere. Cognizant sucht beispielsweise ganz explizit nach Content-Moderatoren für soziale Netzwerke mit pornografischen Inhalten. Das wird in der Regel aber nicht so offen kommuniziert. Uns wurde von Content-Moderatoren berichtet, dass sie gar nicht wussten, wofür sie sich beworben haben. Das wurde ihnen erst im Laufe des Trainingsprozesses bewusst.

Was macht es mit den Menschen, die sich den ganzen Tag Dinge ansehen, damit wir sie nicht sehen müssen?
Die Psycholgin Patricia Laperal berichtete von Depressionen bei den Arbeitern. Sie berichtete von Frauen, die keine Lust mehr hatten auf Sex, weil sie sich den ganzen Tag Pornobilder anschauen mussten. Sie hat auch bestätigt, dass Posttraumatische Belastungsstörungen vorkommen, die man sonst von Soldaten nach Kriegseinsätzen kennt.

Silvia Claudio von der University of the Philippines meint, dass man in vielen Fällen von Traumatisierungen sprechen kann, die über einen längeren Zeitraum schleichend entstehen. Zudem werden Traumata verstärkt, wenn man nicht darüber sprechen kann.

Wie lange halten die Content-Moderatoren ihren Job aus?
Drei bis sechs Monate ist die durchschnittliche Arbeitszeit eines Content-Moderators und dann wechseln sie in einen anderen Job. Sie halten es dann oft nicht mehr aus. Wobei es auch nicht einfach ist, einen anderen Job zu finden. Als Content-Moderator verdient man recht gut. Oftmals müssen sie ihre Familien mit durchbringen. Es ist also eine große Hürde für viele Arbeiter, den Job aufzugeben, wenn sie wissen, dass ihrer Familie Armut droht.

Du sagst, dass die Content-Moderatoren besser als viele andere Menschen in den Philippinen verdienen, gleichzeitig sprichst du aber auch von Ausbeutung.
Es ist eine besonders perfide Form von Ausbeutung, weil die Konsequenzen nicht körperlich sichtbar werden. Auch nicht durch die sichtbaren Arbeitsbedingungen: Da sieht es meist sehr schick aus. Die Spuren sind eben psychischer Natur. Eine Ausbeutung, die von den Arbeitern teilweise gar nicht als solche beschrieben wird. Teilweise geht es ihnen um eine religiöse Mission: Die Sünden aus der Welt zu schaffen.

Was ist denn erlaubt und was nicht?
Die Kriterien werden von einem unbekannten Team in Menlo Park in Kalifornien entschieden. Es gibt einen geleakten Kriterienkatalog. Demnach sind Reliefs von Geschlechtsteilen in der Hose nicht erlaubt. Aber auch stillende Brüste. Zermatschte Köpfe sind OK, solange man das Gehirn nicht sieht.

In dem Kriterienkatalog steht auch, dass zu berücksichtigen ist, ob ein Bild ironisch gemeint ist oder nicht. Ein nackter Körper ist dann erlaubt, wenn er Kunst ist. Aber wann ist ein nackter Körper Kunst, wann Pornografie?

Das sind also ganz viele schwierige Fragen, wo ein Algorithmus sicherlich versagt. Aber auch Content-Moderatoren auf den Philippinen haben ihre Probleme damit. Sie entscheiden über die Inhalte von 1,5 Milliarden Nutzern.

Geht es Facebook um den Schutz der Nutzer vor Gewalt und Pornografie oder um Zensur?
Gute Frage. Es geht darum, die sozialen Netzwerke sauber zu halten. Ein bestimmter Anspruch, eine saubere und positive Welt zu erschaffen, wo all das Hässliche nicht vorkommt.

Facebook sagt ganz offiziell: Terroristen haben bei uns keinen Platz. Wer entscheidet jetzt darüber, wer ein Terrorist ist? Wenn wir uns beispielsweise Syrien anschauen: Da haben wir es mit zig Parteien zu tun. Wer ist da Terrorist und wer Widerstandskämpfer?

Wie würde Facebook aussehen ohne Content-Moderatoren?
Oh, wahrscheinlich ganz schön übel.

Wäre das die bessere Alternative?
Nein, ich glaube nicht. Was wir nur schwierig finden, ist die fehlende Transparenz. Es geht nicht zu behaupten, man sei eine Community, und gleichzeitig von einem unbekannten Team Kriterien festlegen zu lassen, was auf Facebook gezeigt darf und was nicht. Das muss transparent gemacht werden. Auch kann man es nicht Outsourcingfirmen überlassen, ohne für die psychische Unversehrtheit der Mitarbeiter zu sorgen. Die Verantwortung muss von Firmen wie Facebook getragen werden. Die machen ja auch genug Geld damit.

Was macht ihr als Theatermacher anders, als es vielleicht Journalisten tun würden?
Der Unterschied liegt in der Art der Sichtbarmachung. Es gibt Dinge, die kommen äußerlich als Geschenke, sind aber das Gegenteil. Ich glaube, die sozialen Netzwerke sind für uns alle alternativlos: Wir denken, dass wir sie nutzen müssen—jederzeit. Wir denken aber sehr wenig über die andere Seite der Medaille nach und was alles nötig ist, damit es da sauber und fröhlich zugeht. Das sichtbar zu machen, schafft man eben nicht über investigativen Journalismus. Das funktioniert nicht, indem man Aufnahmen mit versteckter Kamera in den Großraumbüros macht oder indem Informationen geleakt werden. Das reine Sichtbarmachen im Wortsinn macht noch nicht deutlich, um was es da geht. Erst die Analogie zum Giftmüll oder der Passionsgeschichte, also dem Urversprechen des Christentums macht sichtbar, was da stattfindet.

Shakespeare hat mal gesagt: Die ganze Welt ist eine Bühne. Das glauben wir auch. Jetzt müssen wir es schaffen, diese Bühne zu ebnen, und die unfreiwilligen Player auf dieser Bühne zusammenzubringen. Dass der Konflikt offen ausgetragen wird: sichtbar im Scheinwerferlicht—und nicht hinter verschlossenen Türen in Bürotürmen von Facebook und Co.

Ihr habt mit eurer Recherche ziemlich viel Aufmerksamkeit bekommen. Hat sich Facebook schon bei euch gemeldet?
Ich bin noch nicht verklagt worden [Lacht]. Aber wir haben zuständige Mitarbeiter von Facebook zu unserer ersten Veranstaltung eingeladen. Leider sind sie nicht gekommen. Wir würden gerne mit ihnen ins Gespräch kommen. Mal schauen, wie viel noch nötig ist, bis sie das tun.

Die Lecture Performance wird am 19. Mai auf dem Berliner Theatertreffen aufgeführt. Für Februar 2017 ist von der Gruppe Laokoon zu dem Thema ein “Passionsspiel” am Theater Dortmund geplant.