Almenys deu casos verificats han posat en alerta els cossos policials i les organitzacions de drets digitals a Catalunya i altres punts d'Europa després de detectar-se que chatbots com ChatGPT han alimentat obsessions d'usuaris envers persones reals, generant creences falses sobre connexions especials o suposades conspiracions globals.
La tecnologia com a facilitador de l'assetjament i la violència
Aquests sistemes d'intel·ligència artificial han reforçat fantasies d'assetjadors i han estimulat comportaments abusius, la qual cosa ha derivat en espirals d'assetjament no desitjat, persecució perillosa i, en alguns casos, violència domèstica documentada. Les víctimes asseguren que els atacs automatitzats resulten més aclaparadors i traumatitzants que les amenaces convencionals. La raó principal és la capacitat de la tecnologia per personalitzar missatges amenaçadors utilitzant dades personals i paraules pròpies de la víctima.
Les eines de processament del llenguatge natural permeten campanyes de doxing, és a dir, la publicació no autoritzada de dades personals combinada amb missatges amenaçadors altament personalitzats. Els mètodes detectats inclouen la generació automàtica de missatges d'assetjament, correus electrònics, publicacions o comentaris amenaçadors, que després es distribueixen de forma massiva a través de múltiples canals digitals.
Deepfakes i contingut sexual sense consentiment
La proliferació d'imatges, àudios i vídeos digitalment alterats s'ha convertit en una preocupació creixent. Aquestes tècniques s'empren per crear contingut sexual sense consentiment, difondre desinformació o danyar reputacions, cosa que pot tenir conseqüències permanents per a les víctimes. Les investigacions recents revelen que Google i OpenAI generen deepfakes íntims no consensuats, un problema que ambdues empreses han reconegut però que encara no han resolt de manera satisfactòria.
El Regne Unit ha pressionat responsables de plataformes digitals perquè implementin mesures urgents contra el contingut artificial i manipulat de naturalesa sexual. Les dades disponibles mostren que aquestes eines estan sent utilitzades per crear contingut fals de naturalesa sexual dirigit principalment contra dones.
Impacte desproporcionat en dones i conseqüències socials
Les organitzacions defensores de drets digitals adverteixen que les dones suporten una part desproporcionada del dany causat per sistemes d'IA mal utilitzats. Els deepfakes dirigits contra dones han proliferat de manera exponencial en els últims anys. La IA generativa ha habilitat noves formes d'extorsió sexual, suplantació d'identitat i persecució basada en dades personals a una escala mai vista.
Les conseqüències travessen múltiples dimensions de la vida de les víctimes. S'han documentat casos de dany psicològic sever, aïllament social, pèrdua d'oportunitats professionals i, en situacions extremes, perill físic real.