Een populaire faceswap-app maakt op pornosites reclame voor deepfakes

In Google Play en Apple App Store wordt FaceMagic verkocht als een leuke en onschuldige faceswap-app: “Wil je je beste vriend, collega of baas zien dansen? Of wil je je gezicht veranderen in een beroemdheid?” staat te lezen in de beschrijving. Een filmpje laat zien hoe je iemands gezicht kunt verwisselen met het gezicht van Iron Man, of het gezicht van basketballer Steph Curry.

Maar op pornosites hebben advertenties voor FaceMagic een meer duistere toon. “Maak AI-gegenereerde gezichtsporno in een seconde,” staat er in de advertentie. De advertenties tonen een pornovideo van een populaire pornoactrice, om te laten zien dat FaceMagic in staat is deze naadloos om te zetten in een deepfake: het gezicht van de pornoactrice wordt vervangen door dat van een andere vrouw. “Maak deepfake-porno in een seconde. Begin nu!” 

In de streng gecontroleerde app stores is FaceMagic verkrijgbaar als lollige app, op pornosites wordt FaceMagic aangeprezen als app waarmee je iemands gezicht zonder toestemming in een pornofilmpje kan zetten. Dat dubbelzinnige karakter is iets waar deskundigen al geruime tijd voor waarschuwen, vooral sinds deepfaking-tools voor het eerst werden genormaliseerd en herverpakt voor een breed publiek. Want zelfs als de apps niet per se zijn ontworpen voor niet-consensuele porno, ze kunnen het wel makkelijk produceren. FaceMagic houdt zich in de beschrijving van de app en op de site aan het App Store-beleid van Apple en Google, maar maakt tegelijkertijd op pornosites reclame voor het feit dat je met de app ook seksuele content kan maken. 

Adam Dodge, oprichter van online slachtofferhulp-organisatie EndTAB, zegt dat het adverteren van seksueel expliciete deepfake-apps op populaire pornosites de kans op schade “absoluut” doet toenemen. “Wat mij zorgen baart is dat deze advertenties de obstakels die voorkomen dat niet-consensuele deepfake-porno mainstream wordt wegnemen,” zegt hij. “Dit soort gerichte marketing zorgt ervoor dat mensen niet meer zelf op zoek hoeven te gaan naar een deepfake-app, of zelf de expertise moeten ontwikkelen om een deepfake te maken.” 

FaceMagic is geen geheime of obscure software: het is meer dan een miljoen keer gedownload in Google Play en Apple App Store, en het kreeg tienduizenden reviews. De woorden seks of porno komen niet voor in de omschrijving van de app, maar op Google Play heeft de app wel een rating voor ‘seksuele inhoud’ gekregen. In een review staat te lezen dat de ontwikkelaars “als een van de weinigen een maas in de wet hebben gevonden om porno te maken en daar verdienen ze flink aan. Slim.”

Motherboard heeft FaceMagic's deepfake-porno-advertenties gevonden op ten minste vier pornosites: Spankbang, Rule34.xxx, ImageFap, en Iporntoo. De advertenties gebruiken pornovideo's die vrij beschikbaar zijn op pornosites.

Motherboard heeft FaceMagic getest en kan bevestigen dat je, als je betaalt, binnen een paar seconden een deepfake-pornovideo kunt produceren. Gebruikers moeten een maandelijks bedrag van 10 dollar (9,33 euro) betalen, waarmee ze credits krijgen die kunnen worden ingewisseld om deepfake-video's te produceren. Na betaling hoeft een gebruiker alleen de afbeelding van de persoon die hij in een pornovideo wil hebben en de pornovideo zelf te uploaden. Bij het uploaden van media vind je onderaan de pagina over hoe je een goed eindresultaat bereikt één veelzeggende zin: “Gebruik faceswap-beelden niet voor illegale doeleinden.” Het maken of verspreiden van kwaadaardige deepfakes is illegaal in een aantal staten in de VS.

FaceMagic maakt deepfake-video's niet alleen heel snel, het doet dat ook op een manier die tot voor kort baanbrekend was. Toen deepfakes in 2017 voor het eerst opdoken, waren er honderden beelden van een gezicht nodig voor het in een video kon worden verwerkt. In 2019 ontwikkelde Samsung een methode om een deepfake te maken met slechts één beeld van een gezicht. Ook FaceMagic heeft maar één beeld nodig om direct een deepfake te kunnen produceren.

“De technologie wordt steeds beter en steeds verfijnder,” zegt forensisch beeldonderzoek-expert en professor aan de Universiteit van California Hany Farid tegen Motherboard. “Ze hebben een hogere resolutie en minder storingen. En het is mega-populair vooral in de pornografie.” Ondanks de populariteit van faceswaps voor komedie-doeleinden, wordt de techniek vooral gebruikt voor het maken niet-consensuele fake-porno. Nu wordt daar voor het eerst op een schaamteloze manier reclame voor gemaakt op pornosites. 

Er is geen perfectie manier om te voorkomen dat mensen deepfake-technologie gebruiken om niet-consensuele pornografie te produceren. Wel kunnen deepfake-apps beschermingsconstructies gebruiken, die gebruikers ervan weerhouden om de app te gebruiken op de manier die FaceMagic aanprijst op pornosites. En Apple en Google zouden deepfake-apps in theorie kunnen dwingen die beschermingsconstructies te gebruiken. 

Toen Motherboard bijvoorbeeld deepfake-porno probeerde te maken met Reface, een andere populaire deepfake-app die te vinden is in Google Play en de Apple App Store, weigerde Reface de video te verwerken en gaf het ons een foutmelding.

“Mogelijk ongepaste inhoud gedetecteerd,” stond er in Reface's bericht. “Wij beperken ongepaste inhoud om zo onze gemeenschap te beschermen.”

Zoals Motherboard al eerder schreef, zijn geautomatiseerde tools voor het detecteren van verboden pornografische inhoud verre van perfect, omdat ze omzeild kunnen worden door gebruikers. Maar de methode van Reface heeft ons volledig verhinderd een pornografische deepfake te produceren binnen de app. In FaceMagic lijken beschermingsconstructies niet te bestaan, en de app stores vereisen deze schijnbaar ook niet.

Gevraagd om commentaar zegt Apple dat het geen specifieke regels heeft voor deepfake-apps, maar dat paragraaf 1.1 van de App Review Guidelines “lasterlijke, discriminerende of nare inhoud (...) verbiedt, vooral als de app een betrokken individu of groep waarschijnlijk zal vernederen, intimideren of schaden”. FaceMagic is echter nog steeds beschikbaar in de app store en Apple weigert te zeggen of het actie heeft ondernomen tegen de app.

Ook de Play Store van Google staat seksuele inhoud niet toe, maar desalniettemin zijn daar erg veel deepfake-apps beschikbaar. Seksueel getinte advertenties die mensen naar de Play Store leiden zijn verboden. Motherboard heeft Google laten zien hoe, als mensen klikken op een seksueel getinte advertentie, ze naar de Google Play-pagina van FaceMagic worden geleid. Een woordvoerder van Google stelt: “Ons ontwikkelaarsbeleid verbiedt dit gedrag: apps mogen geen seksueel getinte advertenties gebruiken om gebruikers naar hun online winkel te leiden. Als er overtredingen worden geconstateerd, nemen we passende maatregelen.” FaceMagic is echter nog steeds beschikbaar in de Google Play-winkel en Google heeft Motherboard niet verteld of er actie is ondernomen. (Tijdens het onderzoek voor dit verhaal veranderde de ontwikkelaar van FaceMagic de naam in de Play Store van DeepArt Limited naar Insight Technology LTD.)

FaceMagic heeft niet gereageerd op verschillende verzoeken om commentaar, maar heeft in een reactie op een van onze e-mails de factureringscyclus van de app uitgelegd (Motherboard vroeg helemaal niet naar de factureringscyclus van FaceMagic).

Motherboard heeft ontdekt dat dezelfde ontwikkelaar achter FaceMagic schijnbaar ook een website exploiteert die dezelfde deepfake-service aanbiedt, ook voor een maandelijks bedrag van 9,33 euro. De site heeft een andere naam en er is geen zichtbaar verband met FaceMagic, maar creditcardbetalingen voor beide diensten gaan naar DeepArt Limited, de ontwikkelaar van FaceMagic. Motherboard heeft ook advertenties gevonden voor die website (die we niet bij naam noemen, om het bereik ervan te beperken) op Spankbang.com. Die advertenties zijn identiek aan de FaceMagic porno-advertenties, alleen hebben ze een ander logo en ze sturen ons naar die site als we op de advertentie klikken. Deze website verschijnt ook als advertentie in de zoekresultaten van Google als we zoeken naar ‘deepfakes’ en soortgelijke termen.

De site promoot het gebruik van de service om deepfake-porno te maken niet expliciet, maar op de homepage staat een demo waarmee bezoekers het gezicht van een bekend model kunnen verwisselen met het gezicht van een bekende pornoacteur.

Op de site is ook een blog met tientallen bizarre posts over deepfakes te vinden, sommige geschreven in gebroken Engels. Eén post is een overzicht van de ethische en juridische problemen met deepfake-pornografie. Een andere post is een gekopieerde review van de website van een van de grootste deepfake-pornogemeenschappen op het internet, inclusief links naar afbeeldingen van niet-consensuele porno. Een andere post waarschuwt voor de negatieve gevolgen van deepfake-technologie, maar ontaardt vervolgens in onsamenhangende, schijnbaar automatisch gegenereerde kopij.

De site linkt ook naar een Discord-community waarin de schijnbare admin van het kanaal deepfake-porno heeft gepost, maar waar verder vooral berichten te lezen zijn van gebruikers die wanhopig proberen hun abonnement op te zeggen. Gebruikers loggen in en vragen persoonlijk aan de admin om hun abonnement te annuleren. Daarnaast adviseren gebruikers elkaar om hun creditcardbedrijven te vragen transacties naar DeepArt Limited te blokkeren. Soms komt de beheerder er uren of dagen later op terug en laat gebruikers weten dat hun abonnement is geannuleerd. Motherboard kan bevestigen dat er geen eenvoudige manier is om een abonnement op de website op te zeggen.

Nadat Motherboard contact opnam met Discord voor commentaar, verwijderde het platform de link vanwege een schending van zijn richtlijnen. Die richtlijnen verbieden het delen van “seksueel expliciete inhoud van andere mensen zonder hun toestemming”. Discord heeft in het verleden servers verwijderd die deepfake-content aanboden. “Discord's Community Guidelines verbieden uitdrukkelijk het promoten of delen van niet-consensueel intiem materiaal, en we investeren continu in proactieve maatregelen om deze content van ons platform te weren,” stelt een woordvoerder in een verklaring. “Ons veiligheidsteam onderneemt onmiddellijk actie wanneer we deze inhoud zien, we bannen gebruikers, sluiten servers af en, indien van toepassing, nemen contact op met de aangewezen autoriteiten.”

Vanwege het algoritme dat wordt gebruikt voor doelgerichte reclame, krijgt iemand die interesse heeft getoond in deepfake soortgelijke inhoud aangeboden. Een feedbackloop kan dan ontstaan. Hierin krijgt iemand die interesse in deepfake-porno heeft getoond of op een deepfake-porno-advertentie heeft geklikt, meer advertenties voor deepfake-porno aangeboden.  

“Zodra content targeting betrekking heeft op de gebruiker die mogelijk geïnteresseerd is in het onderwerp, krijgen we onmiddellijk advertenties voor meer faceswap-apps,” vertelt internet-rechtsgeleerde Karolina Mania aan Motherboard. “De beschikbaarheid van deze applicaties en de context waarin ze worden geadverteerd, communiceren een duidelijke boodschap. Deze boodschap negeert wetsovertredingen en roept op tot acties die iemands beeldrecht schenden.”

Motherboard heeft contact gezocht met alle pornosites waar we de FaceMagic-advertenties hebben gezien. Nadat Motherboard erachter is gekomen dat deepfakes zich de afgelopen jaren verspreiden op YouTube-achtige pornosites, hebben veel van deze sites regels tegen deepfakes toegevoegd aan hun gebruiksvoorwaarden.

Een woordvoerder van SpankBang zegt dat deepfakes strikt verboden zijn op het platform. “Bovendien worden bijna alle advertentiecampagnes op SpankBang beheerd door reclamenetwerken van derden. Dit betreft ook de advertenties die hier zijn gedeeld. Beide deepfake-apps gebruiken externe netwerken om hun reclameboodschappen op SpankBang te tonen,” zeggen ze. “Ons Trust and Safety-team is al geattendeerd op deze overtreding. Zij hebben contact opgenomen met de reclamenetwerken om deze berichten op te sporen en uit te schakelen.”

Rule34.xxx stelt dat het een site is voor alleen geanimeerde inhoud, en dat het geen real-life video’s host. Hierdoor zijn er standaard geen deepfakes toegestaan op Rule34.xxx. “Onze advertenties worden via verschillende advertentienetwerken geplaatst, het is voor ons onmogelijk om de advertenties te screenen aangezien er duizenden adverteerders zijn. Ze kunnen zich richten op verschillende landen, tijden, apparaten, etc,” aldus een woordvoerder. “We verwachten van onze advertentienetwerken dat ze de advertenties screenen en voorkomen dat slechte apps of sites adverteren.” Advertentienetwerken opereren als een schakel tussen uitgevers en adverteerders, en websitebeheerders selecteren vaak niet specifiek welke advertenties op hun sites terechtkomen.

We hebben contact opgenomen met twee advertentienetwerken die deepfake-porno-advertenties aanbieden, Clickadilla en Adspyglass, maar we hebben geen reacties ontvangen.

De advertenties zelf zijn voorbeelden van niet-consensuele deepfakes. Er worden clips gebruikt van pornostudio's, maar zonder de toestemming van de afgebeelde personen of de eigenaren van de inhoud. Niet-consensuele deepfakes zijn niet alleen schadelijk voor de mensen die, na een faceswap, hun gezichten terugzien in een deepfake, maar ook voor de porno-artiesten. Hun werk en beelden van hun lichamen worden gestolen en gebruikt zonder hun toestemming. Twee van de performers die Motherboard om commentaar vroeg, bevestigen dat ze de ontwikkelaars van de app nooit toestemming hebben gegeven om hun beelden te gebruiken.

“Ik had persoonlijk geen idee dat ze deze scène in een advertentie gebruikten,” vertelt Ella Hughes aan Motherboard. Een van haar scènes die is geproduceerd door de studio Blacked is te zien in een van de advertenties. “We krijgen niets extra betaald voor deze deepfake-videos, en ik ben het niet eens met het hele concept van faceswap-pornovideo’s vanwege het risico dat het wordt gebruikt voor wraakporno,” zegt ze. Hughes merkt op dat de Vixen Group de rechten heeft op de beelden. Vixen is de eigenaar van Blacked en heeft niet gereageerd op een verzoek om commentaar.

Het gaat niet alleen maar om het vervalsen van porno, de geloofwaardigheid van de gehele tech-industrie staat op het spel. Op de website van de app-ontwikkelaars staan de namen van verschillende partners in ‘industry solution’ vermeld. Dit zijn projecten waar ze mee samenwerken of voor ingehuurd zijn. Een van hen, de Nederlandse creatieve ondernemer Tijmen Mulder, vertelt Motherboard desgevraagd dat hij nog nooit met dit bedrijf heeft samengewerkt.

“Wel hebben we contact gehad over een project dat nooit tot stand is gekomen. We zijn geschokt dat ze onze naam op hun website gebruiken en dat gevoelige informatie over een potentieel project in een citaat op de website terecht is gekomen,” aldus Mulder. “Ook vinden wij AI-nepporno een vreselijke praktijk die denigrerend is voor de afgebeelde persoon. Het adverteren van de app op deze manier zou voor iedereen een reden moeten zijn om niet met FaceMagic.ai samen te werken.” 

“Het houdt me 's nachts wakker dat er een groeiend aantal niet-consensuele deepfake-pornomakers is die denken dat ze niets verkeerds doen. Deepfake-porno is overduidelijk een kwestie van geweld tegen vrouwen, dus wat we eigenlijk zien is een reclamecampagne voor geweld tegen vrouwen en meisjes,” zegt Dodge. “Het is destabiliserend en beledigend voor vrouwen overal. Mijn bloed kookt. Meer mannen moeten hun stem laten horen om hier iets aan doen, want deepfake-porno is geen vrouwenzaak, het treft ons allemaal. Om nog maar te zwijgen over het risico dat deze advertenties slachtoffers van seksueel geweld opnieuw traumatiseren.”

Farid zegt dat hij op dit moment verre van optimistisch is dat juridische maatregelen en wetgeving tegen niet-consensuele deepfakes ooit verandering zullen brengen in hoe de technologie wordt gebruikt. Zijn favoriete reactie komt van actrice Scarlett Johansson, die in 2018 over de technologie zei: “Ik denk dat het juridisch gezien een nutteloos streven is, vooral omdat het internet een groot zwart gat is dat zichzelf opeet.” Hij houdt zich voor bezig met de mensen — met name academici — die de technologie voor deepfakes produceren, zonder na te denken over de gevolgen van wat ze doen.

“Er moet druk worden uitgeoefend op de Apples en Googles van deze wereld, en druk vanuit toezichthouders,” zegt Farid. “En er moet druk worden uitgeoefend op academici zoals ik om te zeggen: misschien moeten we niet alleen vragen hoe we iets doen, misschien moeten we vragen of we iets moeten doen (...) Je kunt niet stellen dat technologie van nature goedaardig is. Het wordt gebruikt op precies de verkeerde manier: tegen vrouwen en kwetsbare bevolkingsgroepen.”

 Dit stuk verscheen eerder op Motherboard.

Volg VICE België en VICE Nederland ook op Instagram.