(Gp:) Paralelismo de Datos
(Gp:) Paralelismo de Tareas
Tipos de Paralelismo
Paralelismo de datos: cada procesador ejecuta la misma tarea sobre diferentes conjuntos o subregiones de datos
Paralelismo de tareas: cada procesador ejecuta una diferente tarea
La mayoría de las aplicaciones están entre estos dos extremos
Paralelismo Maestro-Esclavo
Una común forma de usar paralelismo en el desarrollo de aplicaciones desde hace años (especialmente en PVM) fue el paralelismo Maestro-Esclavo:
un simple procesador es responsable de distribuir los datos y recolectar los resultados (paralelismo de tarea)
todos los otros procesadores ejecutan la misma tarea sobre su porción de datos (paralelismo de datos)
Modelos de Programación Paralela
Los modelos de programación que se usan actualmente son:
Paralelismo de datos – las operaciones son ejecutadas en paralelo sobre colecciones de datos estructurados.
Paso de mansajes – procesos colocados en memoria local se comunican con otros procesos enviando y recibiendo mensajes.
Memoria compartida – cada procesador tiene acceso a un conjunto de memoria compartida
Modelos de Programación Paralela
La mayoría de los esfuerzos en paralelización están dentro de las siguientes categorias:
Códigos pueden ser paralelizados usando librerías de paso de mensaje tal como MPI.
Códigos pueden ser paralelizados usando directivas de compilación tal como OpenMP.
Códigos pueden ser escritos en nuevos lenguajes paralelos.
Modelos de Programación ? Arquitecturas
Correspondecia natural
Paralelismo de datos ? CM-2 (máquina SIMD)
Paso de mensaje ? IBM SP (MPP)
Memoria compartida ? SGI Origin, Sun E10000
Correspondencia implementada
HPF (un lenguaje paralelo de datos) y MPI (una librería de paso de mensaje) -> sobre la mayoría de los computadores paralelos
OpenMP (un conjunto de directivas, etc. para programación de memoria compartida) -> sobre mayoría de máquinas de memoria compartida.
SPMD
Todas las máquinas actuales son MIMD (Multiple Instruction, Multiple Data) y pueden explotar paralelismo de datos o paralelismo de tareas.
El primer paradigma de programación paralela es el SPMD: Single Program, Multiple Data
Cada procesador ejecuta una copia del código fuente
Paralelismo de datos (a través de la descomposición de los datos) y paralelismo de tareas (a través de funciones que retornan al procesador ID)
OpenMP – Estandar para SM
OpenMP es un nuevo estandar para programación en memoria compartida: SMPs y cc-NUMAs.
OpenMP provee un conjunto estandar de directivas, rutinas de librerías run-time
Ambiente de variables para paralelizar códigos bajo el modelo de memoria compartida.
Ver http://www.openmp.org para más información
program add_arrays
parameter (n=1000)
real x(n),y(n),z(n)
read(10) x,y,z
do i=1,n
x(i) = y(i) + z(i)
enddo
…
end
Fortran 77
program add_arrays
parameter (n=1000)
real x(n),y(n),z(n)
read(10) x,y,z
!$OMP PARALLEL DO
do i=1,n
x(i) = y(i) + z(i)
enddo
…
end
Fortran 77 + OpenMP
La directiva resaltada especifica que el bucle es ejecutado en paralelo. Cada procesador ejecuta un subconjunto de iteraciones del bucle.
OpenMP Ejemplo
Página siguiente  |