Virtualização de grandes bases de dados irregularmente distribuídas e replicadas

by Nogueira, Diego Lopes

Grandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. � comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. � desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual).