Los datos son lo más importante para una organización.
Se constituyen en el elemento fundamental para el proceso de toma de decisiones.
Un proceso de administración de datos debe contemplar
Acceso selectivo y eficiente.
Procesamiento y presentación.
Garantía en consistencia de los datos.
Conceptos
Archivo: generalmente corresponde a una colección de registros lógicamente relacionados.
Registro: es una estructura de campos o de datos lógicamente relacionados. Generalmente un registro se puede identificar de manera única
Dato: representación de un atributo en el dominio de un problema.
struct persona{
int edad;
char nombre[45];
char rut[9];
}a;
a.edad=45; /*eso es un dato */
Archivo
Vista lógica de un archivo
Conceptos
La técnica utilizada para representar y almacenar registros es llamada organización de archivos.
Todo tipo de organización de archivos busca la conveniencia respecto de tiempos de acceso y recuperación.
La organización más apropiada para un archivo dependerá de las características operacionales del medio de almacenamiento y por la naturaleza de las operaciones sobre los registros.
Conceptos
Considerando el almacenamiento se tiene la siguiente jerarquía: Memoria Caché, Memoria Principal, Discos Magnéticos, Memoria terciaria.
En forma idea siempre es recomendable trabajar con los datos en memoria volátil, debido a la velocidad de acceso, para luego enviarlos a memoria secundaria o terciaria.
Memoria Caché:
su objetivo es reducir los tiempos de espera.
es pequeña pero de mucha rápidez.
es necesario administrarla.
Memoria Principal:
se utiliza para el procesamiento de los datos.
Conceptos
Disco Magnético:
no es volátil.
dispositivo de acceso aleatorio.
permite almacenar gran cantidad de bytes.
para procesar su contenido es necesario el uso de la memoria principal.
Memoria terciaria:
considera entre otros, CDs, DVDs y Cintas.
una cinta es un dispositivo de acceso secuencial, es mas lenta que un disco magnético, generalmente se utiliza para respaldos.
La principal desventaja en la utiización de Discos se encuentra en el tiempo de acceso y de recuperación. Sin embargo este se puede disminuir seleccionando una orgnización adecuada.
Conceptos
Disco Magnético
también conocido como disco duro, se compone de un pack de platos cada uno de los cuales tiene caras, pistas y sectores para almacenar la información. Además posee cabezas, asociadas a un brazo, para leer y grabar la .
Una cabeza se mueve radialmente sobre la superficie de un plato que gira a gran velocidad. Sólo una cabeza puede realizar transferencia de datos en un determinado momento.
Conceptos
El tiempo de acceso a un disco está dado por tiempo de seek+latencia (rotacional)+ tiempo de transferencia.
seek: tiempo requerido para transitar entre pistas.
latencia: tiempo requerido para que el disco gire al sector que se desea. Generalmente corresponde a media vuelta.
Transferencia: velocidad con la que se escriben/leen bytes hacia/desde el disco.
Conceptos
Ejercicio: considere el ordenamiento y mezcla de un archivo de 800000 registros. Sólo 10000 se pueden almacenar en RAM.
Tamaño del registro 100 bytes
Se utiliza un disco de 3600 RPM que posee seek de 18 ms y transferencia de 1229 bytes/ms
Cuanto es el tiempo requerido para realizar el ordenamiento y mezcla?
Conceptos
Para mejorar el desempeño:
minimizar movimientos del brazo.
lo ideal para la latencia es que la cabeza se encuentre justo en el sector que contiene el dato que se requiere. Sectores contiguos v/s sectores intercalados.
transferencia en paralelo desde el pack de discos, para esto se requieren varios brazos. Ante esto nace el concepto de RAID (Redundant Array of Independent Disks)
Conceptos
RAID (Redundant Array of Independent Disks )
El array es administrado por una controladora que contiene RAID firmware.
RAID administrado por hardware es más rápido que el administrado por software.
La controladora posee una BIOS que proporciona las herramientas de administración para la configuración y mantención.
El sistema operativo ve el arreglo como un “gran disco duro”.
RAID (Redundant Array of Independent Disks )
También existen soluciones externas, las cuales son conectadas mediante SCSI, Ethernet o Fibra.
RAID (Redundant Array of Independent Disks )
Niveles RAID
Existen distintas alternativas de configurar un arreglo de discos.
Generalmente un nivel se define en base a los requerimientos de aplicaciones que lo utilizan.
Básicamente constituyen un compromiso entre redundancia y rendimiento.
RAID 0(striping)
En rigor no corresponde a un nivel RAID, debido a que no presenta redundancia.
Conviene utilizarlo cuando los datos no son críticos y el rendimiento es importante.
RAID (Redundant Array of Independent Disks )
RAID (Redundant Array of Independent Disks )
RAID 1(mirroring)
Proporciona la forma más completa en cuanto redundancia.
Puede soportar muchas fallas sin la necesidad de un algoritmo de recuperación.
Para un array de N discos, es posible soportar la falla de N-1 de ellos sin pérdida de datos.
RAID (Redundant Array of Independent Disks )
Sin embargo, el rendimiento de las operaciones de escritura es inversamente proporcional al aumento de discos en el array.
Por otro es posible realizar lecturas en forma concurrente.
IMPORTANTE: el costo de implementación es como mínimo el doble del requerimiento de almacenamiento.
RAID (Redundant Array of Independent Disks )
RAID 4
Utiliza un disco para almacenar información de paridad, la cual se utiliza ante un eventual desastre.
RAID (Redundant Array of Independent Disks )
RAID 5
aquí se elimina el uso de un disco exclusivo para el tema de la paridad. Se utiliza un bloque por cada disco
RAID (Redundant Array of Independent Disks )
Hibridos
Combinan diferentes niveles RAID para incrementar rendimiento y confiabilidad.
RAID 10(striping mirror)
RAID (Redundant Array of Independent Disks )
RAID 50(striping parity)
RAID (Redundant Array of Independent Disks )
Comparaciones en el rendimiento
RAID (Redundant Array of Independent Disks )
Fallas y tipos de aplicaciones
RAID (Redundant Array of Independent Disks )
Fallas en los discos
un beneficio de RAID es la capacidad de afrontar fallas sin la intervención del usuario.
Hot-spares : reemplazo de un disco sin intervención del usuario. Hot-swap : reemplazo del un disco con intervención del usuario.
RAID (Redundant Array of Independent Disks )
Consideraciones de hardware
No debemos olvidar que un array es solo un componente mas de un sistema computacional.
Muchos factores afectan el rendimiento y la capacidad de expansión de un arreglo de discos:
Throughput del bus.
Canales de I/O.
Throughput del protocolo de acceso al disco.
Velocidad del disco.
CPU y memoria.
Considerando estos factores la idea es poner atención a los posibles cuellos de botella que se puedan generar.
RAID (Redundant Array of Independent Disks )
La velocidad de los buses de datos y de disco tiene un impacto directo en el desempeño del sistema. Es sencillo agregar más controladoras de disco aumentando el throughput pero el bus de datos es uno solo.
RAID (Redundant Array of Independent Disks )
Bus PCI
es el bus de datos más comun en la actualidad.
la velocidad es determinada por dos factores: el ancho del bus (bus-width) y la veolcidad del bus (bus-speed)
bus-width: indica cuantos bytes de datos se pueden enviar a la vez.
bus-speed: especifica cuantas veces por segundo es posible transferir datos por el bus.
RAID (Redundant Array of Independent Disks )
Si se construye un RAID considerando 3 tarjetas SCSI cada una de las cuales tienes una velocidad de 80MB/s, es posible generar un cuello de botella si se cuenta con una tarjeta madre que posee un bus PCI de 32 bits corriendo a 33MHz (80MB/s *3 v/s 133.33 MB/s)
RAID (Redundant Array of Independent Disks )
Protocolos de acceso a disco
tienen un impacto en el rendimiento y escalabilidad del array.
Cada protocolo tiene bien definido su throughput y el número de dispositivos que se pueden conectar.
En las soluciones basadas en arrays, el más usado es SCSI.
El bus-width SCSI se conoce como narrow (8 bits) o wide (16 bits). Determinan la cantidad de discos que se pueden conectar a un bus SCSI.
narrow : 8, sin embargo la cantidad efectiva es 7.
wide : 16, la cantidad efectiva es 15.
En ambos casos se debe a que se considera la tarjeta controladora.
RAID (Redundant Array of Independent Disks )
RAID (Redundant Array of Independent Disks )
Referencias
Managing RAID on Linux. Derek Vadala. Ed. O’Reilly.
Cintas
Almacenamiento
Un dispositivo de almacenamiento para archivos secuenciales es la cinta. Es preferible para secuenciales desordenados.
Parámetros relevantes:
Espacio entre bloques
Largo de la cinta
Densidad
Cintas
Parámetros relevates:
Tamaño de los registros.
Factor de bloqueo.
Por ejemplo:
largo : 2400 [pies] (1 pie = 12 pulgadas)
densidad: 6250 [bpp]
1 registro : 100 bits
factor de bloqueo: 1
espacio entre bloques: 0.6 [pulg]
Cuántos bloques puede contener la cinta?
Cuál es la eficiencia en el uso de la cinta?
Cintas
Espacio que ocupa un bloque:
1 [pulg] ? 6250 [bits]
X ? 100 [bits]
X = 0.0016 [pulg]
Largo de la cinta
2400 [pies] * 12 [pulg/pie] = 28800 [pulg]
La cantidad de bloques será
28800 [pulg]/(0.016 + 0.6)[pulg] = 46753 [bloques]
Cintas
Eficiencia en el uso de la cinta
cuanto espacio de la cinta se ocupa con datos?
cuando el fb es 1 : 46753*0.0016 = 748 [pulg] ? 2.76%
Que sucede si aumentamos el fb?
supongamos fb=20
X = 0.32 [pulg]
La cantidad de bloques será
28800 [pulg]/(0.32 + 0.6)[pulg] = 31304 [bloques]
Y la eficiencia
31304*0.32 = 10017 [pulg] ? 34.78%
Cintas
Luego, el factor de bloqueo es muy importante.
Tiempos de acceso
El factor de bloqueo también influye en los tiempos de recuperación.
Acceso lectura/escritura : 200 [pulg/seg]
Detención entre espacios: 4 [ms]
Cual es el tiempo requerido para leer toda la cinta?
tiempo para leer bloques + detención entre espacios
Caso fb=1
3.74 [seg] + 187.012 [seg] = 190.752 [seg]
Caso fb=20
50.086 [seg] + 125.22 [seg] = 175.3 [seg]
Respaldo y Recuperación
Ante pérdida o daño en los datos (medio de almacenamiento) es necesaria una política de respaldo y recuperación.
Generalmente se asocia a un enfoque de BD.
Para una recuperación :
Respaldo.
Journaling.
Checkpoint.
Respaldo
Corresponde a una copia de los datos.
Periodicidad: diaria, semanal, mensual. (cold backup, hot backup)
Respaldo y Recuperación
Journaling
Corresponde a un registro (log) de los procesos (transacciones) y las actualizaciones realizadas sobre los datos.
Transactional Log: registro de acciones realizadas por las transacciones.
Database Change Log : imagen de los datos actualizados.
Before-image: copia antes de la modificación.
After-image: copia después de la modificación.
CheckPointing
Cuando se actualiza un dato vale la pena guardar un registro especial en el log de transacciones y pre-imágenes. Util para realizar la recuperación desde la “última marca”.
Respaldo y Recuperación
CheckPoints
Transacciones
Respaldo y Recuperación
Respaldo y Recuperación
Procedimientos de recuperación
restore-rerun: reprocesar transacciones contra el backup.
rollback: se aplica la pre-imagen
Respaldo y Recuperación
RollForward
Consistencia
Por el momento nos interesa la noción de consistencia. Consideremos el siguiente procedimiento
procedure deposit
begin
start
input(account#, amount);
temp:= read(accounts[account#]);
temp:= temp+amount;
write(accounts[account#], temp);
commit
end;
Y las siguientes acciones de dos clientes (cliente1 y cliente2):
Realizan depósitos sobre la misma cuenta account13, la cual posee inicialmente $1000.
cliente1 deposita $100
“Al mismo tiempo” cliente2 deposita $100000
Consistencia
Se origina la siguiente ejecución concurrente:
read1(accounts[13]);
read2(accounts[13]);
write2(accounts[13],$101000);
commit2;
write1(accounts[13],$1100);
commit1;
El depósito del cliente2 se perdió!!!!
Es necesario garantizar consistencia de los datos ante ejecuciones concurrentes.
Idea: permitir concurrencia siempre y cuando una ejecución intercalada de 2 o más procesos tenga el mismo efecto que una ejecución serial. Lo anterior se conoce como ejecución serializable.