Deepfake pornocrisis in Zuid-Korea: foto’s van scholieren op grote schaal misbruikt

"Je foto’s en persoonlijke informatie zijn gelekt." Dat was het bericht dat de Zuid-Koreaanse studente Heejin afgelopen weekend ontving op Telegram, vertelt ze aan de BBC. Er volgde een foto van haar eigen gezicht. En toen, diezelfde foto van haar gezicht, maar op een neplichaam geplakt dat een seksuele handeling uitvoerde. 

 

De berichten met deepfakes — foto’s die gemaakt worden door AI en daarbij afbeeldingen van een echt persoon combineren met neppe (soms seksuele) aspecten — bleven binnenkomen bij Heejin. En bij vele andere studentes, zo ontdekte de Zuid-Koreaanse krant Hankyoreh in augustus.

 

Journaliste Ko Narin vond tientallen groepschats op Telegram waar normale foto’s in werden gedeeld van meisjes en vrouwen, met de opdracht aan een AI-tool om daar seksuele deepfakes van te maken. Voor meerdere universiteiten en scholen bleken deepfakepornonetwerken te bestaan.

De slachtoffers waren studentes, maar ook middelbare scholieren en veel meisjes onder de 16. "Ik schrok van hoe systematisch en georganiseerd de daders te werk gingen", zei Ko tegen de BBC. "Het afschuwelijkste dat ik zag was een groep met meer dan 2.000 leden voor minderjarige leerlingen op één bepaalde school."

 

In totaal werden door de Zuid-Koreaanse journaliste en andere online activisten meer dan 500 scholen en universiteiten geïdentificeerd waarop leerlingen slachtoffer waren geworden van deze deepfake-porno. Een groot deel van de daders gaat waarschijnlijk zelf ook naar die scholen. Het Zuid-Koreaanse Centrum voor slachtoffers van online seksueel misbruik wordt sinds het onderzoek bedolven onder telefoontjes, en spreekt van 'een complete noodsituatie'.

Ten grondslag aan dit schandaal ligt een probleem dat al veel langer speelt in Zuid-Korea, zegt Koreadeskundige Casper van der Veen. "Het land heeft een enorm patriarchale cultuur, waarbij meer macht wordt toegekend aan mannen dan aan vrouwen. Zuid-Korea doet het goed op lijstjes van nationaal inkomen en van opleidingsniveau van de bevolking, maar op gendergelijkheid scoort Zuid-Korea schrikbarend laag."

 

"De hoofdoorzaak hiervan is structureel seksisme, en de oplossing is gendergelijkheid", schrijven ook 84 organisaties voor vrouwenrechten in een verklaring. Dat seksisme was terug te zien in de campagne van de huidige president. Hoewel vrouwen in Zuid-Korea een derde minder verdienen dan mannen en slechts 6 procent van de topbanen hebben, is er volgens president Yoon Suk Yeol geen seksediscriminatie. Hij wil het ministerie van gendergelijkheid dan ook afschaffen.

De laatste jaren nemen vrouwonvriendelijke uitingen en vrouwenhaat online alleen maar toe in het land, ziet Van der Veen. "Seksisme was altijd al aanwezig, maar online lijkt het nu naarder en uitgesprokener." Volgens hem streven vrouwen mannen nu voorbij in meerdere aspecten van de samenleving, zoals op hun studie. Daardoor voelen sommige Zuid-Koreaanse mannen zich bedreigd in hun positie. Van der Veen vindt het dan ook niet onverwachts dat deze deepfakepornonetwerken zich concentreren rond universiteiten. "Het lijkt in deze Telegramgroepen vooral om vernedering te gaan."

 

Zuid-Korea heeft de laatste jaren meerdere incidenten gekend waarin die vrouwenhaat tot uiting kwam. In 2018 gingen duizenden vrouwen de straat op vanwege 'molka': het fenomeen waarbij veel verborgen camera’s waren opgehangen in toiletten en kleedkamers voor vrouwen. Een jaar later werd bekend dat een pornonetwerk meisjes en vrouwen dwong om naaktfoto’s te maken van zichzelf — ook via Telegram.

Daarom vinden Koreanen dat de overheid strenger moet optreden tegen daders van online misdrijven, én tegen Telegram. "Ze hebben de daders destijds veroordeeld, maar de app die dit mogelijk maakte verder genegeerd [red.: toen deze niet mee wilde werken aan het onderzoek]," zegt journaliste Ko. "Ik denk dat dat de situatie alleen maar heeft verergerd."

 

Bots op Telegram kunnen binnen enkele seconden een deepfake maken van iemand. "Veel tools die openbaar beschikbaar zijn, zijn op een bepaalde manier beveiligd zodat ze geen seksuele of gewelddadige content kunnen maken. Maar die Telegrambots hebben niet zo’n beveiligingssysteem", legt Harm Teunis uit, AI-specialist bij RTL Nieuws. "Er is sowieso weinig controle op content op Telegram, en de app werkt met besloten groepen waar buitenstaanders niet zomaar in kunnen. Dat maakt de app een vrijhaven voor mensen om illegale dingen met elkaar te delen."

De Zuid-Koreaanse politie is van plan een onderzoek in te stellen naar Telegram. De oprichter van die app werd vorige week nog opgepakt in Frankrijk, omdat hij crimineel gedrag zou toestaan op zijn app. "Telegram grijpt te weinig in op illegale content, werkt weinig mee aan overheidsverzoeken en deelt de identiteit van verdachten niet. Daar ligt het nu steeds meer voor onder vuur."

 

Dit gebeurt zeker niet alleen in Zuid-Korea, zegt Teunis. Zo circuleerden vorig jaar door AI gegenereerde naaktfoto’s van jonge meisjes in een Spaans dorp. En in maart doken nep-pornovideo’s op van bekende Nederlanders. "Pesten is van alle tijden, maar nu hebben we er online pesten bij gekregen", zegt Teunis. "We mogen ervan uitgaan dat dit op kleinere schaal ook in Nederland gebeurt."

 

Zeker omdat de technologie steeds beter en geloofwaardiger wordt, en steeds toegankelijker. "Dit soort tools zijn heel erg breed beschikbaar, daar hoef je niet eens technisch voor te zijn", waarschuwt Teunis. "Bijna iedereen met een computer kan dit."

 

Heejin en andere studentes zijn angstig geworden, en zeggen heel wantrouwig te zijn tegenover mannelijke studiegenoten. Journaliste Ko ontdekte na publicatie van haar onderzoek een chatroom met haar naam. Ze zegt dat het haar slapeloze nachten heeft opgeleverd. "Ik blijf de app steeds maar checken om te zien of er al een foto van mij is geüpload."

 

In de video hieronder legt Harm Teunis meer uit over deepfakeporno: