Hadoop - Soluções de Big Data

Abordagem tradicional da Empresa

Nesta abordagem, a empresa terá um computador para armazenar e processar dados grandes. Para armazenagem, os programadores terão a ajuda de sua escolha de fornecedores de bancos como Oracle, IBM, etc. neste tipo de abordagem, o usuário interage com o aplicativo, que por sua vez manipula a parte do armazenamento de dados e análise.

Limitação

Essa abordagem funciona bem com as aplicações que processam menos volumosos dados que podem ser acomodados pela norma servidores de banco de dados, ou até o limite do processador que está processando os dados. No entanto, quando se trata de lidar com enormes quantidades de dados escalável, ela é uma louca tarefa de processar tais dados através de uma única base de dados um gargalo.

Solução do Google

O Google resolveu o problema usando um algoritmo chamado MapReduce. Este algoritmo divide a tarefa em partes pequenas e atribui-los em muitos computadores, e recolhe os resultados deles que, quando integrados, formam o resultado conjunto de dados.

Hadoop

Usando a solução fornecida pela Google, Doug Corte e sua equipe desenvolveram um projeto de fonte aberta chamado HADOOP.

Hadoop executa aplicativos usando o algoritmo MapReduce, onde os dados são processados em paralelo com os outros. Em suma, Hadoop é usado para desenvolver aplicativos que possam executar análise estatística completa de grandes quantidades de dados.