Gebruiker:SRientjes/Kladblok/Vragen Utrecht Data School

Onderzoek persoonlijke aanvallen/haat op overlegpagina's Utrecht Data School

De Utrecht Data School deed in opdracht van De Groene Amsterdammer onderzoek naar het voorkomen van persoonlijke aanvallen/haat op overlegpagina's van Wikipediabewerkers. De resultaten daarvan zijn verwerkt in dit artikel Naïm Derbali en Coen van de Ven: 'Kennis is macht' . Een toelichting op het onderzoek is te vinden in Joris Verbeek: 'Verantwoording bij het onderzoek naar de strijd om kennis op Wikipedia'

Hieronder verzamelen we vragen vanuit de gemeenschap voor de Utrecht Data School. Dit kunnen zowel vragen zijn naar aanleiding van het onderzoek, als suggesties voor vervolgvragen.~Wikimedia nederland gaat die voorleggen aan de onderzoekers van de UDS. Sandra Rientjes - Wikimedia Nederland (overleg) 9 mrt 2022 12:17 (CET)

Vragen

1. Om hoeveel berichten gaat het? Zijn de conclusies in het onderzoek gebaseerd op alle discussiebijdragen van alle 21 jaar Wikipedia? Is dit uit te splitsen naar jaar, en naar anoniem en geregistreerd?
2. Zijn onzichtbaar gemaakte berichten meegenomen in de analyse?
3. Hoeveel vrouwelijke bewerkers hebben er in die periode berichten van anonieme gebruikers ontvangen; hoeveel % van die vrouwelijke collega's heeft inderdaad te maken gehad met gescheld/haat?.
4. We hebben/hadden enkele vrouwelijke collega's die op de frontline stonden/staan wat betreft het weren van de vandalen; deze gebruikers hebben onevenredig veel rommel over zich heen gekregen. Is inzichtelijk te maken of vrouwelijke bewerkers getarget werden [om het vrouw zijn] of dat het om opmerkingen gaat die voortkomen uit het soort werk dat ze doen, (vandalismebestrijders, moderatoren, stewards etc) en dat deze collega's zwaar op het gemiddelde drukken?
5. Is er onderscheid gemaakt tussen anonieme vandalen en bonafide anonieme bewerkers?
6. Is ook de tekst in de bewerkingssamenvatting meegenomen in de analyse?
7. Hoe zijn begrippen als een persoonlijke aanval of haat gedefinieerd? Welk conceptueel of referentiekader is gebruikt?
8. Waren de medewerkers van De Groene en de Utrecht Data School die berichten hebben gescoord op wel/geen persoonlijke aanval persoonlijk betrokken bij het onderzoek/het artikel?
9. Is er een inschatting te maken hoe lang een haatbericht gemiddeld zichtbaar blijft? Welke impact heeft het verbergen van haatberichten op de resultaten van het onderzoek?

Antwoorden van UDS

1.Om hoeveel berichten gaat het? Zijn de conclusies in het onderzoek gebaseerd op alle discussiebijdragen van alle 21 jaar Wikipedia? Is dit uit te splitsen naar jaar, en naar anoniem en geregistreerd?

Tussen 33.795 berichten op discussiepagina’s van als vrouw geregistreerde gebruikers, zijn 491 (expliciete) persoonlijke aanvallen gevonden. De absolute aantallen betreffen echter wel een onderrapportage, omdat maar een beperkt deel van de gebruikers hun geslacht als zodanig heeft geregistreerd (zie ook de hierboven geciteerde onderzoeksverantwoording). Het kan uiteraard zo zijn dat andere gebruikers wel het geslacht van een gebruiker weten, zonder dat zo in de “database” vermeld staat (bijvoorbeeld doordat dat ergens ongestructureerd op de profielpagina staat, of vanwege de naam, etc.). Evenzeer keek UDS voor deze specifieke analyse alleen naar berichten die gebruikers op hun overlegpagina hebben gekregen: persoonlijke aanvallen in verhitte discussies op andere pagina’s zijn dus ook niet meegenomen (omdat moeilijk automatisch te achterhalen is wie op wie reageert op deze pagina’s). In absolute aantallen zullen dus zeker meer vrouwelijke gebruikers te maken hebben gehad met berichten van anonieme gebruikers en/of gescheld en haat; zinniger is het dus om te kijken naar de relatieve verschillen tussen mannelijke en vrouwelijke gebruikers.

De vergelijkende analyse is niet uitgesplitst naar jaar of anoniem/geregistreerd. Dat zou zeker mogelijk zijn, maar dat viel buiten de scope van het onderzoek – het doel van het onderzoek was vooral het karakteriseren, in bredere zin, van discussies binnen de Nederlandstalige Wikipediagemeenschap.

2. Zijn onzichtbaar gemaakte berichten meegenomen in de analyse?

Voor analyse zijn de meta-history data dumps gebruikt. Wanneer een bericht niet meer terug te vinden is in de geschiedenis van een overlegpagina, is deze niet meegenomen.

3. Hoeveel vrouwelijke bewerkers hebben er in die periode berichten van anonieme gebruikers ontvangen; hoeveel % van die vrouwelijke collega's heeft inderdaad te maken gehad met gescheld/haat?

Van de 1110 als vrouw geregistreerde gebruikers met minimaal één opmerking op de discussiepagina (andere gebruikers zijn niet meegenomen in deze analyse), hebben er 57 (5,13%) berichten van anonieme gebruikers op hun overlegpagina ontvangen, overwegend gebruikers met in ieder geval meer dan tien discussiebijdragen. Daarvan heeft 44% ook te maken gehad met persoonlijke aanvallen. Maar persoonlijke aanvallen hoeven niet noodzakelijk afkomstig te zijn van anonieme gebruikers (en zie ook bovenstaande kanttekeningen van UDS bij het interpreteren van de absolute aantallen van deze analyse).

4. We hebben/hadden enkele vrouwelijke collega's die op de frontline stonden/staan wat betreft het weren van de vandalen; deze gebruikers hebben onevenredig veel rommel over zich heen gekregen. Is inzichtelijk te maken of vrouwelijke bewerkers getarget werden [om het vrouw zijn] of dat het om opmerkingen gaat die voortkomen uit het soort werk dat ze doen, (vandalismebestrijders, moderatoren, stewards etc) en dat deze collega's zwaar op het gemiddelde drukken?

Op individueel niveau is dat heel moeilijk. Uiteindelijk is het natuurlijk een combinatie van beide: vrouwelijke bewerkers zullen niet uitsluitend persoonlijke aanvallen ontvangen om het vrouw zijn. Wat wel te zien is, is dat over het algemeen vrouwelijke gebruikers (of, preciezer: gebruikers die als vrouw geregistreerd staan) wel vaker (ongeveer 30% meer) persoonlijke aanvallen ontvangen. Bij het inschatten van dat verschil is overigens wel gecorrigeerd voor het aantal bewerkingen (zie onderzoeksverantwoording). Er zijn dus niet zozeer aanwijzingen dat het verschil tussen mannelijke en vrouwelijke gebruikers kan worden verklaard aan door het verschil in zichtbaarheid.

5. Is er onderscheid gemaakt tussen anonieme vandalen en bonafide anonieme bewerkers?

Nee, dat onderscheid is niet gemaakt.

6. Is ook de tekst in de bewerkingssamenvatting meegenomen in de analyse?

Nee, ook dat zou zeker nog interessant zijn in de toekomst te onderzoeken, maar viel buiten de reikwijdte van het onderzoek van UDS, ook omdat bewerkingssamenvattingen nog veel vaker dan discussiebijdragen 'administratief 'van aard zijn.

7. Hoe zijn begrippen als een persoonlijke aanval of haat gedefinieerd? Welk conceptueel of referentiekader is gebruikt?

Zie de onderzoeksverantwoording. In de analyse van persoonlijke aanvallen is door UDS het conceptueel kader van het Detox-project van de Wikimedia Foundation gevolgd. De gehanteerde definitie komt dus overeen met de definitie die in dat project wordt gehanteerd.

8. Waren de medewerkers van De Groene en de Utrecht Data School die berichten hebben gescoord op wel/geen persoonlijke aanval persoonlijk betrokken bij het onderzoek/het artikel?

Die waren betrokken, maar de berichten zijn niet door hen “gescoord”. Ze hebben alleen een kleine steekproef handmatig gelabeld om het meertalige model te evalueren – alle persoonlijke aanvallen die ze hebben bestudeerd, waren als zodanig al herkend door het computermodel. En dat model is niet getraind op deze data, maar op die van het Detox-project. Mocht er dus enige vorm van (al dan niet onbewuste) bias zijn, dan zou die zich uitsluitend vertalen naar de AUC-score waarmee het model is geëvalueerd, niet in het aantal persoonlijke aanvallen.

9 .Is er een inschatting te maken hoe lang een haatbericht gemiddeld zichtbaar blijft? Welke impact heeft het verbergen van haatberichten op de resultaten van het onderzoek?

Die inschatting lijkt zeker te maken, al is dat methodologisch nog vrij uitdagend: het zou betekenen dat je nog veel meer paginaversies met elkaar moet gaan vergelijken om niet alleen te zien wanneer een bericht wordt toegevoegd, maar ook wanneer deze weer wordt weggehaald. Het lijkt in ieder geval een heel zinnige vraag om te verkennen voor vervolgonderzoek. Ook relevant – maar wederom buiten de scope van het onderzoek in samenwerking met De Groene Amsterdammer – zou zijn om te kijken hoeveel van de gebruikers die persoonlijke aanvallen hebben verstuurd, uiteindelijk zijn geblokkeerd. Zo liet het Detox-project (niet geheel verassend) al zien dat het percentage persoonlijke aanvallen aanzienlijke veel hoger ligt bij geblokkeerde gebruikers.

(Antwoorden geplaatst met toestemming van UDS. Sandra Rientjes - Wikimedia Nederland (overleg) 22 jun 2022 16:08 (CEST))