Tema

Etiquetado de secuencias

Lenguaje natural y modelos de lenguaje
Nivel intermedio

El etiquetado de secuencias asigna una etiqueta a cada token de la oración, como la categoría gramatical o el esquema de principio, interior y exterior con el que se marcan las entidades nombradas.

Nombre en inglés

Sequence labeling

Intuición

La dificultad no está en cada token por separado sino en la coherencia de la cadena, porque una etiqueta de interior no puede seguir a una de exterior. Los modelos que puntúan la secuencia completa, como el campo aleatorio condicional, aprenden esas restricciones de transición en lugar de decidir token por token y arrepentirse después.

Fórmula

argmax_y \sum_t [ s(x_t, y_t) + A(y_{t-1}, y_t) ]

Ejemplo resuelto

Sea la oración Banco de México bajo el esquema de principio, interior y exterior. El etiquetado correcto marca principio de organización en el primer token e interior de organización en los dos siguientes, es decir una sola entidad de 3 tokens. Un clasificador que decide token por token puede entregar exterior, interior, interior, secuencia imposible porque un interior no puede seguir a un exterior. Con una matriz de transición que castiga ese paso, la búsqueda de Viterbi lo descarta y elige principio, interior, interior aunque la puntuación local del primer token fuera algo menor.

Errores frecuentes

Evaluar el etiquetado por exactitud a nivel de token, medida que premia al sistema que marca todo como exterior en un corpus donde el 95 % de los tokens no es entidad.
Mezclar los esquemas de anotación de dos corpus, porque marcar con principio, interior y exterior no produce las mismas fronteras que un esquema que añade final y única.
Entrenar sin restringir las transiciones y corregir la salida a posteriori con reglas, parche que tapa el síntoma y deja al modelo aprendiendo etiquetas que nunca podrá emitir.

Ejercicio

En un corpus de prueba hay 200 entidades reales. Un sistema propone 180 entidades y acierta 150 fronteras completas. Calcule la precisión, la exhaustividad y la medida F1.

Ver la solución

La precisión divide los aciertos entre lo propuesto, de modo que vale 150 / 180 = 0.833. La exhaustividad divide los aciertos entre las entidades reales, es decir 150 / 200 = 0.75. La medida F1 es la media armónica de ambas, 2 por 0.833 por 0.75 / (0.833 + 0.75) = 1.25 / 1.583 = 0.789. Conviene fijarse en que el sistema resulta conservador, ya que propone menos entidades de las que hay y por eso su precisión supera a su exhaustividad.

Respuesta: 0.789