72
Procesamiento de imágenes
Relaciones entre pixels
Dominios de tratamiento de la imagen.
Preprocesamiento
Transformada de brillo
Suavizamiento
Detectores de contorno
Segmentación dirigida a los contornos
Segmentación dirigida a las regiones
Umbralización
Extracción de descriptores de contornos
Extracción de descriptores de regiones
Tratamiento de imágenes en estereo.
73
Visión artificial
Procesos de obtención, caracterización e interpretación de información de imágenes. Se pueden subdividir en seis áreas:
Captación.
Captura de la imagen
Preprocesamiento.
Operaciones de mejora de la imagen.
Segmentación.
División de la imagen en objetos de interés.
Descripción.
Obtención de características
Reconocimiento.
Identificación de objetos.
Interpretación.
Asociación de significado a un conjunto de objetos.
74
Visión artificial
Se pueden agrupar los procesos según el grado de complicación e “inteligencia” que llevan aparejados. No existen fronteras claras entre los niveles.
Visión de bajo nivel, procesos primarios
Visión de nivel intermedio, extraen, caracterizan y etiquetan información de la imagen tratada en la etapa anterior.
Visión de alto nivel, procesos que tratan de emular la cognición.
Visión de bajo nivel
Imagen
Imagen
Visión de nivel intermedio
Imagen
Descriptores
75
Representación de la información.
Una imagen contiene información, esta información puede ser representada matemáticamente. Dos son las formas predominantes
Mediante la representación espacial
Mediante la representación frecuencial.
Estas dos representaciones son completas y equivalentes.
Es posible pasar de una a la otra mediante la transformada de Fourier.
Podemos hablar de una imagen como una señal.
La cantidad de información que suministra una señal es mayor cuantas más variaciones hay en la misma.
76
Representación espacial de las señales.
Una imagen constituye una distribución espacial de la irradiancia en un plano. Esta puede ser descrita como una función continua de dos variables espaciales.
Las computadoras no pueden manejar valores continuos, pero si matrices de valores digitales. Un punto de una imagen en una matriz es llamado pixel y representa la irradiancia del correspondiente punto (más exactamente el valor promedio de una región). Frecuentemente los índices van de 0 a N-1 y de 0 a M-1.
x
y
77
Resolución
El número de pixels marca la resolución espacial. Este es un efecto derivado del muestreo.
Con pocos pixels también se aprecia una fuerte discontinuidad en los valores de gris.
Cuando el pixel se hace pequeño se percibe un efecto de continuidad en la imagen. Esto es así cuando el tamaño del pixel es menor que la capacidad de resolución espacial del ojo.
No hay respuesta genérica a la pregunta ¿Cuál es el número de pixels necesario?.
Para una tarea el pixel debería ser menor que el objeto más pequeño que se quiere estudiar.
El número de pixels suele venir limitado por la tecnología del sensor.
78
Efectos del muestreo en la resolución
(Gp:) Imagen de 256*256 pixels
(Gp:) Imagen de 64*64 pixels
(Gp:) Imagen de 32*32 pixels
(Gp:) Imagen de 64*64 pixels
79
Formación del brillo en las imágenes
El brillo de una imagen de un objeto tridimensional depende de:
Distribución e intensidad de las fuentes de luz.
Propiedades de reflectancia del objeto.
Posición y orientación del objeto con respecto a la cámara.
Brillo: cantidad de energía que el plano imagen recibe por unidad de área aparente
Área aparente: parcela de superficie realmente observada.
A
A área real
A’ área aparente
A’=Acos(?)
?
80
Radiación e irradiación
Irradiación: Cantidad de luz que cae sobre una superficie. Se mide en potencia por unidad de área (W/m2)
Radiación: Cantidad de luz radiada desde una superficie. Se mide en potencia por unidad de área y unidad de ángulo sólido. (W/(m2.SR) vatios por metro cuadrado y esterorradian)
Angulo sólido de un cono de direcciones es el área cortada por el cono sobre la esfera unidad.
A la hora de determinar la relación entre la radiación de un punto de un objeto del espacio y la irradiación del correspondiente punto del objeto en el plano imagen deben establecerse las relaciones geométricas que los ligan.
81
Efectos de la cuantificación
La irradiancia, que es una señal continua en el espacio y en magnitud, debe ser discretizada para poder ser manejada por una computadora.
La discretización se realiza por el muestreo, el efecto sobre la magnitud se denomina cuantificación.
Típicamente se cuantifica en un rango de 256 valores (0 a 255, un byte).
Con esta resolución el ojo percibe la imagen como un cambio continuo, sin escalones.
La resolución del ojo, en cuanto a intensidades relativas, es del 2%.
El rango de valores idóneo como siempre dependerá de la aplicación.
82
Efectos de la cuantificación en la resolución
256 niveles, 8 bits
64 niveles, 6 bits
16 niveles, 4 bits
4 niveles, 2 bits
83
Representación de imágenes con signo u otros formatos.
La representación de la irradiancia como un número natural puede causar problemas al hacer operaciones aritméticas.
Pueden manejarse las imágenes como enteros con signo:
En muchas ocasiones se trabaja con valores de coordenadas y de irradiancia como si fueran números reales, esto exige una transformación final a valores enteros para poder representar la imagen por un monitor o almacenarla en un array.
84
Geometría Homogénea
Sea un vector tridimensional, representado en una base de vectores unitarios por v=ai + bj + ck. Puede ser representado en coordenadas homogéneas por un vector columna.
Siendo w un factor de escala
Una traslación puede representarse por:
85
Transformaciones geométricas 1
Traslación (X0, Y0, Z0)
Cambio de escala (Sx, Sy,Sz)
86
Transformaciones geométricas 2
Rotación (?,?,?)
Concatenación
X
Y
Z
?
?
?
87
Concatenación de transformaciones
Imagen original
(Gp:) Imagen rotada 90º antihorarios
(Gp:) Imagen especular eje horizontal
(Gp:) Imagen especular eje horizontal
(Gp:) Imagen rotada 90º antihorarios
88
Transformaciones inversas
Una matriz de transformación compuesta se puede representar descompuesta en submatrices como:
La matriz inversa puede calcularse como:
89
Transformaciones geométricas 3
Transformación de perspectiva
Esta transformación es no lineal para X,Y,Z salvo en formulación homogénea
Z,z
(Gp:) Plano de imagen
(Gp:) X,x
(Gp:) Y,y
(Gp:) ?
(Gp:) c (x,y)
(Gp:) w (X,Y,Z)
(Gp:) Centro de la lente
90
Transformaciones geométricas 4
Transformación de perspectiva inversa
91
Transformaciones geométricas 5
Transformación de perspectiva inversa con información de z
Si se despeja X e Y en función de z
92
Modelo de cámara 1
(Gp:) x
(Gp:) y
(Gp:) w
(Gp:) z
(Gp:) c
(Gp:) r
(Gp:) Z
(Gp:) Z0
(Gp:) X
(Gp:) Y
(Gp:) Y0
(Gp:) X0
w: punto en mundo real
c: punto en el CCD
r: dist soporte al CCD
w0: dist. ejes soporte
?: ang. ejes X y x
?: ang. ejes Z y z
PASOS:
1. Traslación C eje a soporte
2. Rotación en sentido de ?
3. Rotación en sentido de ?
4. Traslación G a centro CCD
w0
93
Modelo de cámara 2
Se realiza la transformación
X0 = 0 m
Y0 = 0 m
Z0 = 1 m
? = 135°
? = 135°
r = (0.03, 0.02, 0.02) m
? = 35 mm
x = 0.0007 m
y = 0.009 m
94
Calibración de la cámara 1
El problema que se plantea habitualmente es el inverso al anterior, dadas las coordenadas de un punto en el plano de la imagen determinar cuales son sus coordenadas en el mundo real.
Será preciso establecer cuales son las rotaciones y traslaciones que relacionan ambos sistemas de coordenadas, en líneas generales esto es difícil de medir con precisión.
También se ha supuesta conocida la longitud focal de la cámara y pueden aparecer otros parámetros relacionados con la construcción de la cámara que aún no hemos estudiado.
Para medir todos estos parámetros se parte de un conjunto de puntos, cuyas coordenadas tridimensionales son conocidas, y mediante un algoritmo denominado de calibración se establecen las relaciones entra ambos sistemas de coordenadas.
95
Procedimiento general de calibración I
El algoritmo se basa en buscar restricciones que sean solo funciones de un subconjunto de parámetros, para transformar un problema con gran número de parámetros en otros más pequeños.
Imposición de restricciones como la conocida como Radial Alignment Constraint. Las ecuaciones derivadas de aplicar esta restricción son solo función de la posición relativa entre la cámara y el sistema de coordenadas global.
Establece un modelo de cámara que exige la calibración de:
Parámetros extrínsecos:Traslación (Tx,Ty,Tz) Rotación(,??,?)
Parámetros intrínsecos (longitud focal, distorsión radial, desplazamiento del centro de la cámara etc.)
96
Procedimiento general de calibración II
El procedimiento básico es el siguiente:
Determinar con precisión un conjunto de puntos tridimensionales
Determinar sus correspondientes proyecciones en la imagen
Obtener los parámetros que mejor resuelven las correspondencias entre unos y otros
Los dos primeros pasos requieren conocer con precisión una serie de puntos 3D. Estos puntos pueden o no ser coplanarios
Un buen método de calibración debe :
Ser autónomo, no requiriendo de datos por parte del operador
Preciso: muchas aplicaciones (metrología) requieren gran precisión
Eficiente: no debería tener un coste computacional elevado
Versátil: debería operar uniforme y autónomamente en un un amplio rango de funcionamiento
97
Calculo de la matriz de transformada inversa
Se determinó
En la imagen solo tienen sentido las coordenadas x e y:
La proyección inversa viene dada por la recta de intersección de los planos dados en la ecuación anterior.
Calibrar la cámara implica encontrar los coeficientes de la matriz A.
Se requieren al menos 6 puntos (12 ecuaciones).
Se trata de un sistema homogéneo, hay infinitas soluciones.
Típicamente se toman más de 6 puntos, sistema sobredeterminado que se resuelve por mínimos cuadrados.
98
Modelo de cámara de Tsai
(Gp:) X
(Gp:) O
(Gp:) Z
(Gp:) Y
(Gp:) Z’
(Gp:) Y’
(Gp:) X’
(Gp:) O’
(Gp:) V
(Gp:) U
(Gp:) Pu(uu,vu)
(Gp:) P’(x’,y’,z’)
(Gp:) Pd(ud,vd)
99
Pasos en la obtención de coordenadas
Paso1:(x,y,z) => (x’,y’,z’)
Causa: orientación y traslación de la cámara. Calibrar RT
Paso2: Obtención de la perspectiva
Calibrar f
Paso3: Distorsión radial de la lente
Calibrar k1,k2
Paso4: Factores de escala
Calibrar sx
Coordenadas distorsionadas de la proyección (ud,vd)
Coordenadas ideales de la proyección (uu,vu)
Coordenadas en pixels ,(uf,vf) ,del punto
Coordenadas en el sistema de la cámara (x’,y’,z’)
Coordenadas en el sistema global (x,y,z)
100
Obtención de parámetros 1
Paso 1: paso de coordenadas globales a coordenadas en el sistema ligado a la cámara. Obtención de R (3*3) y T (3*1).
Paso 2: paso del sistema ligado a la cámara al del plano imagen
Considerando una proyección ideal
Debe calibrarse f (longitud focal).
Paso 3: paso a coordenadas distorsionadas
Debe adoptarse un modelo matemático para la distorsión
Se considera suficiente con calcular k1
101
Obtención de parámetros 2
Paso 4 : paso a coordenadas de pixels
Se impone una nueva transformación:
Parámetros intrínsecos
Distancia focal efectiva f
Coeficiente de distorsión de la lente k1
Factor de incertidumbre de la escala horizontal sx
Coordenadas del centro de la imagen (Cx,Cy)
102
Obtención de parámetros 3
Cálculo de la orientación y de la posición (según X e Y)
Calculo de la proyección real.
Cálculo de rotaciones y traslaciones.
Cálculo de f, distorsión y componente Z de la traslación
Cálculo utilizando puntos no coplanarios
(Gp:) Elemento de calibración
(Gp:) Cámara
103
Relaciones básicas entre pixels.
Vecinos de un pixel.
Un pixel p de coordenadas (x,y) tiene cuatro vecinos horizontales y verticales cuyas coordenadas son: (x+1,y) (x-1,y) (x,y-1) (x,y+1)
Estos pixels se denominan 4-vecinos de p o N4(p).
Se encuentran a una distancia unitaria del pixel p.
Los cuatro vecinos diagonales de p,Nd(p) tienen por coordenadas: (x+1,y+1) (x-1,y-1) (x+1,y-1) (x-1,y+1).
Estos Nd(p) junto con N4(p) son los 8-vecinos de p o N8(p).
Algunos de los vecinos de un pixel pueden estar fuera de la imagen si el pixel p está en un borde de la misma.
104
Conectividad
Sea V el conjunto de los valores de intensidad para pixel que se quieren considerar adyacentes. Se pueden considerar tres tipos de conectividad.
Conectividad-4: 2 pixels p,q con valores en V están 4-conectados si q está en el conjunto N4(p).
Conectividad-8: 2 pixels p,q con valores en V están 8-conectados si q está en el conjunto N8(p).
Conectividad mixta: 2 pixels p,q con valores en V están
m-conectados si:
q está en el conjunto N4(p), ó
q está en Nd(p) y N4(p)?N4(q)=?.
La conectividad mixta sirve para eliminar conexiones múltiples.
105
Problemas de conectividades
Solución a las conexiones múltiples.
Problema topológico.
Con conectividad 4 el anillo no se cierra
Con conectividad 8 el anillo se cierra, pero el fondo atraviesa el anillo (el fondo también está conectado)
Se puede usar conectividad 4 para el fondo y 8 para el objeto.
Conectividad 8
Conectividad mixta
106
Medidas de distancias.
Dados los pixels p, q y z de coordenadas (x,y), (s,t) y (u,v) respectivamente se llama D función de distancia o métrica si:
D(p,q) ? 0 [D(p,q)=0 si p=q]
D(p,q) = D(q,p)
D(p,z) ? D(p,q) + D(q,z)
La distancia euclídea entre p y q es:
Los puntos cuya distancia sea menor o igual a una cota R estarían dentro de un disco de radio R.
Las distancias D4 y D8 son respectivamente:
107
Geometría discreta
En aplicaciones prácticas solo la distancia Euclidea es relevante, las demás no preservan la isotropía de la imagen.
La traslación y rotación solo tienen sentido en múltiplos de la distancia de pixel.
Las rotaciones solo son posibles, sin errores, para algunos ángulos (múltiplos de 90).
Las líneas solo se definen correctamente en las direcciones horizontal, vertical y diagonales. En el resto aparecerán efectos de escalonado.
108
Métodos en el dominio espacial
Son procedimientos que operan directamente sobre los pixels.
f(x,y) : imagen de entrada
g(x,y) : imagen de salida
T : operador que actúa sobre f, definido en algún entorno de x,y
El entorno de (x,y) suele ser una subimagen cuadrada o rectangular centrada en (x,y).
El operador se va desplazando a lo largo de todos los pixels de la imagen.
109
Convolución
La convolución de dos funciones continuas se define como:
f(x) : señal de entrada
h(x) : respuesta impulsional
g(x) : señal de salida
Interpretación gráfica.
f(x)
g(x)
h(x)
?
f(?)
(Gp:) ?
(Gp:) h(?)
?
h(-?)
(Gp:) h(x-?)
(Gp:) ?
f(?) h(x-?)
?
(Gp:) f(x)*g(x)
110
Convolución discreta 1
Opera con secuencias de números, se emplean en sistemas muestreados tal como puede ser una imagen.
Se define también en dos dimensiones:
?
?(n-k)
k
1
1
ESTA PRESENTACIÓN CONTIENE MAS DIAPOSITIVAS DISPONIBLES EN LA VERSIÓN DE DESCARGA