Simulação e estudo da plataforma Hadoop MapReduce em ambientes heterogêneos / Simulation and study of the hadoop mapreduce platform on heterogeneous environments

AUTOR(ES)

Kolberg, Wagner

DATA DE PUBLICAÇÃO

2011

RESUMO

MapReduce é um modelo de programação voltado à computação paralela em larga escala, e ao processamento de grandes volumes de dados. A implementação do modelo, e as suposições feitas em relação ao ambiente sobre o qual será executado, influenciam fortemente no tempo de computação dos jobs submetidos. O Hadoop, uma das implementações mais populares do MapReduce, e que será estudada neste trabalho, supõe que o ambiente de execução é homogêneo, prejudicando o desempenho do framework quando a grade apresenta um certo nível de heterogeneidade no que toca a capacidade de processamento das máquinas que a constituem. Como ferramenta de análise para as adaptações propostas, é desenvolvido um simulador para o MapReduce — tendo como base o simulador de grades SimGrid — com o objetivo de facilitar a implementação e avaliação de novos algoritmos de escalonamento de tarefas e distribuição de dados, dentre outros. Dentre as vantagens proporcionadas pelo uso do simulador é possível citar: a facilidade na implementação de algoritmos teóricos; a agilidade em testes para uma grande variedade de configurações; e a possibilidade de avaliar rapidamente a escalabilidade de algoritmos sem custos de infraestrutura. Em relação ao simulador, é ainda apresentada uma validação de seu comportamento em relação ao Hadoop MapReduce, comparando execuções do sistema em uma grade, com simulações que emulam as configurações reais. Uma vez validado o simulador, o mesmo é utilizado para avaliar as adaptações do Hadoop a ambientes heterogêneos. Os resultados obtidos, tanto com a validação do simulador, quanto com a implementação das adaptações propostas, apresentaram resultados positivos, demostrando que é viável utilizar simulação para estudar e avaliar diferentes implementações para o modelo MapReduce. Este trabalho, portanto, consiste em um estudo do funcionamento interno do Hadoop MapReduce, seu comportamento em ambientes heterogêneos, e também propõe um novo simulador, com os recursos necessários para avaliar adaptações em implementações do MapReduce.

ASSUNTO(S)

computação em grade grid processamento paralelo mapreduce hadoop heterogeneous environments scheduling framework parallel programming simulation

Documentos Relacionados

• Virtualização de servidores em ambientes heterogêneos e distribuídos : estudo de caso
• Maresia : an approach to deal with the single points of failure of the MapReduce model
• Uma proposta de plataforma de simulação para estudo do protocolo ENUM
• Estudo dinâmico e simulação de uma plataforma de Stewart com ênfase na implementação do sistema de controle
• Estudo e modelagem de canal optico atmosferico utilizando o Lightsim como plataforma de simulação