Hive - Introducción

Hadoop

Hadoop es un marco de código abierto para almacenar y procesar grandes datos en un entorno distribuido. El proyecto consta de dos módulos, uno de ellos es MapReduce y otra es Hadoop Distributed File System (HDFS).

MapReduce:es un modelo de programación paralela para procesar grandes cantidades de estructurados, semiestructurados y sin estructurar datos sobre grandes grupos de hardware de productos básicos.
HDFS:Hadoop Distributed File System es un parte de Hadoop marco, que se utiliza para almacenar y procesar los datos. Es un fallo de sistema de archivos tolerante a ejecutarse en hardware.

El Hadoop ecosistema contiene diferentes sub-proyectos (herramientas) como Sqoop, cerdo, y Hive que se usan para ayudar a Hadoop módulos.

Sqoop:se utiliza para importar y exportar datos de un lado a otro entre HDFS y.
Cerdo:es un lenguaje de procedimientos plataforma utilizada para crear un script para operaciones de MapReduce.
Hive:es una plataforma que se utiliza para desarrollar tipo SQL scripts para hacer operaciones de MapReduce.

Nota:Hay varias formas de ejecutar operaciones de MapReduce:

El enfoque tradicional utilizando Java programa de MapReduce estructurados, semiestructurados y sin estructurar los datos.
El scripting de MapReduce enfoque de proceso estructurado y semi datos estructurados con cerdo.
La Hive (Lenguaje de Consulta Estructurado HiveQL o HQL) de MapReduce para procesar datos estructurados con Hive.

¿Qué es Hive

Sección es una infraestructura de almacenamiento de datos de proceso de datos estructurados en Hadoop. Se encuentra en la parte superior de Hadoop para resumir grandes datos y facilita consultar y analizar fácil.

Hive fue inicialmente desarrollado por Facebook, después, la Apache Software Foundation ha desarrollado aún más y como un código fuente abierto bajo el nombre Apache Hive. Es utilizado por diferentes empresas. Por ejemplo, Amazon utiliza en Amazon Elastic MapReduce.

Hive no es

Una base de datos relacional
Un diseño para OnLine Transaction Processing (OLTP)
UN idioma en tiempo real las consultas y actualizaciones a nivel de fila

Características de Hive

Esquema que almacena en una base de datos y se procesan los datos en HDFS.
Está diseñado para OLAP.
Proporciona tipo SQL lenguaje de consulta o pedido HiveQL HQL.
Es familiar, rápido, escalable y extensible.

Arquitectura de Hive

El siguiente diagrama de componentes muestra la arquitectura de separación:

Este diagrama de componentes contiene diferentes unidades. La siguiente tabla describe cada una de las unidades:

Nombre de la unidad	Funcionamiento
Interfaz de usuario	Sección es una infraestructura de almacenamiento de datos software que puede crear interacción entre usuario y HDFS. Las interfaces de usuario que son Hive Hive es compatible con interfaz Web, línea de comandos y Hive HD Insight (en Windows).
Meta Almacenar	Hive elige respectivos servidores de bases de datos para almacenar el esquema o metadatos de tablas, bases de datos, las columnas de una tabla, sus tipos de datos y cartografía HDFS.
Motor de Procesos HiveQL	HiveQL es similar a SQL para realizar consultas de información sobre el esquema Metastore. Es uno de los sustitutos del enfoque tradicional de MapReduce programa. En lugar de escribir MapReduce programa en Java, se puede escribir una consulta de MapReduce trabajo y proceso.
Motor de ejecución	La conjunción de proceso HiveQL Motor y MapReduce es Hive Motor de ejecución. Motor de ejecución procesa la consulta y genera los resultados de la misma como MapReduce resultados. Utiliza el sabor de MapReduce.
HDFS o HBASE	Hadoop distributed file system o HBASE son el almacenamiento de datos técnicas para almacenar datos en sistema de archivos.

Hive de trabajo

El siguiente diagrama muestra el flujo de trabajo entre Hive y Hadoop.

La siguiente tabla define cómo interactúa con Hadoop Hive marco:

Paso No.	Funcionamiento
1	Ejecutar consulta La Hive interfaz como línea de comandos o interfaz de usuario Web consulta envía al controlador (controlador de base alguna, como JDBC, ODBC, etc. ) para que se ejecute.
2	Obtener Plan El conductor tiene la ayuda de consulta compilador que analiza la consulta para verificar la sintaxis y plan de consulta o la exigencia de consulta.
3	Obtener metadatos El compilador envía solicitud de metadatos Metastore (cualquier base de datos).
4	Enviar Metadatos Metastore envía los metadatos, como una respuesta para el compilador.
5	Enviar Plan El compilador comprueba el requisito y vuelve el plan al conductor. Hasta aquí, el análisis y elaboración de una consulta es completa.
6	Ejecutar Plan El controlador envía el plan a ejecutar el motor de ejecución.
7	Ejecutar trabajo Internamente, el proceso de ejecución se trata de un trabajo de MapReduce. El motor de ejecución envía el trabajo a JobTracker, que está a nombre nodo y asigna este trabajo a TaskTracker, que es en nodo de datos. Aquí, la consulta se ejecuta trabajos MapReduce.
7.1	Metadatos Po Mientras tanto en la ejecución, el motor de ejecución puede ejecutar las operaciones de metadatos con Metastore.
8	Buscar resultados El motor de ejecución reciba los resultados de nodos de datos.
9	Enviar Resultados El motor de ejecución envía los valores resultantes para el conductor.
10	Enviar Resultados El controlador envía los resultados a Hive Interfaces.

Previous Page Print Page