Iruzurrezko portaeren detekzioa crowd motako etiketazioan

Abstract

Lan honek crowd motako etiketazioan agertu daitezkeen kalitate baxuko etiketak detektatzea du helburu.Proposatutako metodologia balioztatzeko, saiakuntzak ataza zail eta subjektibo batekin egin ditugu: emozioen de-tekzioarekin. Iruzurrezko langileak topatzeko zenbait neurri proposatu dira, etiketatze denboran, langileen artekoadostasunean eta langileen erantzunen banaketan oinarriturikoak. Neurri bakoitza baliagarria dela frogatu dugunarren, gure ondorio nagusia neurriak batzerakoan iruzurrezko langileak detektatzeko probabilitatea handitzen delada.

This work aims at detecting low quality labels in crowdsourcing annotation tasks. We validate our proposalcarrying out experiments in a difficult and subjective task: emotion recognition. We have developed severalmeasures in order to detect fraudulent behaviour, including measures related to the labelling time, workerinter-agreement and the distribution of the answers. Not only do we show that each of the described measures ishelpful but we also demonstrate that mixing them is the best way to go.