Extracción y Recuperación de Información. Según patrones: léxicos, sintácticos, semánticos y de discurso

Evaluación


Las MUC’s además de promover la creación de sistemas de extracción de información, también se encargaron de definir los métodos para su evaluación. Y fue durante la MUC-3 que se establecieron las bases de las métricas actuales, las cuales fueron evolucionando en el transcurso de las competencias siguientes. En este trabajo utilizamos la métrica empleada en la última competición del MUC. Donde, para obtener la calificación de un sistema de extracción de información se requieren de tres cosas (ver figura 2). Primero, la colección de documentos de donde se va a extraer la información (i.e. los textos); segundo, el conjunto de registros extraídos por un grupo de expertos (llamados claves); y finalmente, el conjunto de registros que el sistema a ser evaluado extrae (llamados respuestas). El objetivo de la evaluación es comparar respuestas contra claves por medio de las cantidades descritas en la tabla 2, y posteriormente calcular las medidas de evaluación expuestas en la tabla 3.


Figura 2: Proceso de evaluar un sistema de extracción de información
Figura 2: Proceso de evaluar un sistema de extracción de información

NombreFórmulaDescripción
Número correctoCOROcasiones donde la clave y la respuesta coinciden
Número incorrectoINCOcasiones donde la clave y la repuesta no coinciden
Numero perdidoMISOcasiones donde existe una clave pero no una respuesta
Número falsoSPUOcasiones donde existe una respuesta pero no una clave
Número evasivoNONOcasiones donde no existen respuesta y clave
Número posiblePOS = COR + INC + MISNúmero de registros en la clave
Número actualACT = COR + INC + SPUNúmero de registros en la respuesta
Tabla 2: Cantidades necesarias para valorar la extracción de información

NombreFórmula
CoberturaREC = COR / POS
PrecisiónPRE = COR / ACT
SubgeneraciónUND = MIS / POS
SobregeneraciónOVG = SPU / ACT
Error en respuestasERR = (INC + SPU + MIS) / (COR + INC + SPU + MIS)
Tabla 3: Métricas de evaluación para la extracción de información

Además, a partir de la MUC-4 la medida F1 fue tomada para mejorar la comparación global de los sistemas, y durante las MUC-6 y MUC-7 se definieron nuevas tareas de evaluación (ver tabla 4), los objetivos fueron: identificar funciones que fueran en gran medida independientes del dominio (NE), alentar a los competidores a crear mecanismos necesarios para profundizar el entendimiento (COR) y enfocarse en la portabilidad de los sistemas de extracción (TE y TR).


NombreFórmulaDescripción
Reconocimiento de entidadesNETarea de encontrar y clasificar las entidades, e.g., nombres de personas, organizaciones, lugares, expresiones temporales y numéricas.
Resolución de correferenciasCORRTarea de identificar las expresiones en el texto que hacen referencia al mismo objeto.
Plantillas de elementosTETarea de añadir información descriptiva al resultado de NE, i.e., estandarizar conceptos (e.g. persona y organización)
Relación de plantillasTRTarea de identificar las relaciones entre las diferentes TE, e.g., empleado de, localizado en y producto de.
Plantillas de escenarioSTTarea original del MUC de extraer información, i.e., reunir los resultados de TE en el escenario específico.
Tabla 4: Tareas de evaluación propuestas a través del MUC-6 y MUC-7

Cabe destacar que durante las competencias se subrayó la dificultad de la tarea general de extraer información, siendo la tarea ST la más difícil, donde los resultados en la medida F estuvieron por debajo del 60% (ver tablas 5 y 6 para un resumen). Además, las MUC también demostraron que la tarea de extracción de información es difícil hasta para las personas, donde analistas humanos alcanzaron un grado de coincidencia entre el 60% y 80%.


MUCAñoDomínio y Nº de Participantes
11987Noticias sobre operaciones navales (6 participantes)
21989Mismo dominio del MUC-1 (8 participantes)
31991Noticias sobre atentados terroristas en América Latina (15 participantes)
41992Mismo dominio del MUC-3 (17 participantes)
51993Dos dominios: noticias sobre fusiones de empresas y anuncios de productos microelectrónicos (17 participantes)
61995Noticias sobre sucesiones de dirección en eventos financieros (17 participantes)
71998Dos dominios: noticias sobre accidentes de avión y lanzamientos de misiles y artefactos (5 participantes para la tarea ST)
Tabla 5: Dominios de extracción utilizados en las MUC´s

MUCNECORTETRST
1No hubo criterio de evaluación
2El criterio de evaluación no fue adecuado
3REC<50
PRE<70
4F1<56
5F1<53
6F1<97F1<68F1<80F1<57
7F1<94F1<82F1<87F1<76F1<51
Tabla 6: Mejores resultados reportados en las MUC´s


Información extraida de la tesis "Extracción de Información con Algoritmos de Clasificación" por ALBERTO TÉLLEZ VALERO.