Modelo y Procedimiento para Segmentar Direcciones Postales

1. Resumen
3. Procedimiento basado en
   HMM
4. Definir
   sustituciones
5. Seleccionar
   un conjunto de entrenamiento y de de prueba . Hacer
   sustituciones en el conjunto de
   entrenamiento
6. Formar
   diccionarios para cada nodo del modelo
7. Calcular
   las matrices A y B del HMM externo y de los internos, a partir
   del conjunto de entrenamiento
8. Obtener
   campos llaves del fichero y campos de direcciones postales del
   conjunto de prueba. Hacer sustituciones en el conjunto de
   prueba. Probar el modelo entrenado con el conjunto de
   prueba
9. Generar
   ficheros
10. Revisar
    por ciento de efectividad de los resultados obtenidos de la
    prueba. Mejorar el modelo
11. Preprocesar
    direcciones. Obtener campos llaves y campo de dirección
    postal
12. 
    Hacer sustituciones en el conjunto de direcciones a segmentar.
    Generar fichero con conjunto de direcciones segmentadas
    asociadas a su llave o clave de registro
13. Funcionamiento
    general del modelo
14. Conclusiones
15. Bibliografía
16. Anexos

RESUMEN

En este trabajo se
propone un procedimiento
basado en HMM (Hidden Markov Models) en unión de otras
técnicas y del conocimiento
adquirido en el estudio de un conjunto de direcciones postales de la
base de datos
de una organización empresarial, para segmentarlas
automáticamente, dando un paso importante para su
estandarización y mejor utilización de la información que llevan en ellas. De la
misma manera se propone un Modelo general
con el mismo fin.

Palabras clave: Limpieza de datos, Modelos
Ocultos de Markov, HMM.

1. Una caracterización previa de las direcciones
   postales de la base de datos de los clientes
   de una organización empresarial, permitió
   conocer una gran parte de los problemas
   existentes en dichas direcciones. De ese estudio se
   derivó una estructura
   para las direcciones postales que contiene los elementos
   necesarios para posibilitar una segmentación más ajustada a los
   intereses de la
   organización estudiada.

   También se construyó un Modelo Oculto
   de Markov externo para las direcciones postales de esa
   organización, así como los Modelos Ocultos de
   Markov internos para cada uno de los elementos que componen
   la estructura de una dirección postal. La totalidad del
   estudio realizado previo al trabajo que aquí se
   presenta, es un avance en la configuración de un
   procedimiento para segmentar correctamente las direcciones,
   como paso previo para conformar con estas un Almacén de Datos eficiente y
   eficaz.

2. Introducción.
3. Procedimiento
   basado en HMM

El procedimiento que se propone en este trabajo para
segmentar y normalizar las direcciones en la organización
empresarial que es motivo de estudio, es el siguiente:

1. Analizar direcciones.
2. Proponer estructura de las direcciones.
3. Definir modelo general basado en HMM.
4. Definir sustituciones.
5. Seleccionar un conjunto de entrenamiento y
   de prueba.
6. Hacer sustituciones en el conjunto de
   entrenamiento.
7. Formar diccionarios
   para cada nodo del modelo.
8. Calcular las matrices A y
   B del HMM externo y de los internos a partir del conjunto de
   entrenamiento.
9. Obtener campo(s) llave(s) y campo(s) de direcciones
   postales del conjunto de prueba.
10. Hacer sustituciones en el conjunto de
    prueba.
11. Probar el modelo entrenado con el conjunto de
    prueba.
12. Generar fichero con conjunto de direcciones
    segmentadas asociadas a su llave o clave de registro.
13. Generar fichero con partes de direcciones que no
    pudieron ser procesadas automáticamente asociadas a su
    llave o clave de registro.
14. Revisar por ciento de efectividad de los resultados
    obtenidos de la prueba.
15. Mejorar el modelo.
16. Preprocesar direcciones.
17. Obtener campo(s) llave(s) y campo de dirección
    postal.
18. Hacer sustituciones en el conjunto de direcciones a
    segmentar.
19. Utilizar modelo probado para segmentar
    direcciones.
20. Generar fichero con conjunto de direcciones
    segmentadas asociadas a su llave o clave de
    registro.
21. Generar fichero con partes de direcciones que no
    pudieron ser procesadas automáticamente asociadas a su
    llave o clave de registro.

El primer paso que se propone en este procedimiento es
hacer un estudio de un conjunto de direcciones
características, que van aportando poco a poco a la
estructura que forma las direcciones de determinada localidad,
municipio o región que se esté analizando. Este
paso es fundamental pues de aquí surge la estructura
implícita que contienen las direcciones y algunas
restricciones y detalles que deben ser tomados en cuenta para su
posterior procesamiento automatizado.

La estructura que llevan implícitas las
direcciones de determinado lugar puede ser propuesta a partir del
análisis de estas. En este trabajo se
estudiaron las características de las direcciones postales
de la ciudad de Santa Clara, municipio cabecera de la provincia
de Villa Clara, Cuba, y luego
de este estudio se propuso una estructura. En el Anexo III se
puede ver la estructura a la que se arribó con este
trabajo.

El modelo basado en HMM que se propone utilizar consta
de un HMM externo y un HMM interno por cada nodo que forma el HMM
externo. El HMM externo propuesto, en una versión
simplificada, puede verse en el Anexo I de este trabajo. Un
ejemplo de HMM interno, de un total de 17, puede verse en el
Anexo II.

Estos tres pasos iniciales ya habían sido
llevados a cabo al elaborar este trabajo, por lo que no se
detallan aquí, y solo se explican a continuación
los demás pasos.