Author Profiling en textos rusos en RusProfiling (PAN@FIRE 2017)

rusprofilingLa semana pasada presentamos la tarea RusProfiling en la conferencia FIRE en Bangalore, India, internacionalizando aún más el laboratorio PAN. El objeto de la tarea ha sido identificar el sexo de escritores anónimos, pero desde una perspectiva cross-medio (cross-genre). Es decir, dados textos de entrenamiento obtenidos de un medio como Twitter, se debía proceder a identificar el sexo de autores anónimos de Facebook, ensayos, revisiones,  Twitter, y como novedad con respecto a cualquier otra tarea, textos donde el autor imitaba entre otras cosas el estilo del sexo contrario. En la siguiente tabla se detalla cada uno de estos corpus:

rusprofiling-corpora

Hemos tenido 5 participantes que han enviado hasta un total de 93 ejecuciones. Algunos de los principales hallazgos han sido los siguientes:

  • A diferencia de otras tareas de author profiling, en este caso las técnicas de deep learning han obtenido prácticamente los mejores resultados, especialmente en los corpus de ensayos y textos imitados.
  • Los mejores resultados no se han obtenido en Twitter, sino en Facebook.
  • Los peores resultados se han obtenido en revisiones.

En la siguiente tabla se resume el estado del arte de la tarea RusProfiling para cada uno de los corpus. En ella, se muestra el mejor resultado obtenido por los participantes, así como una segunda línea con nuestro método LDR, recientemente rebautizado como LDSE (Low Dimensionality Statistical Embedding), utilizado como baseline “dura” en todas las tareas que organizamos.

rusprofiling-stateoftheart

Para más información sobre la tarea y los resultados, se recomienda consultar:

2 Comentarios

  1. Santosh Shanbhag
    Mar 16, 2021

    This is a very timely and relevant task given the amount of hate content generated on the social media today.

    We recently annotated 75000 tweets with one of 4 labels (Hate, Objectionable, Provocative and Normal) for a research team.

  2. Santosh Shanbhag
    Mar 16, 2021

    We provide data collection and annotation services, please do contact us https://www.xsaras.com

Enviar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *