Apache hive: qué es y cómo funciona

Ar­qui­te­c­tu­ra de Hive

• Metastore: La ubicación central de al­ma­ce­na­mie­n­to de Hive donde, como formato RDBMS, residen todos los datos e in­fo­r­ma­ción como de­fi­ni­cio­nes de tablas, ubicación de esquemas y di­re­c­to­rios y metadatos de pa­r­ti­cio­nes
• Driver: recibe comandos HiveQL y los procesa uti­li­za­n­do los co­m­po­ne­n­tes Compiler (recopila in­fo­r­ma­ción), Optimizer (determina el mejor método de ejecución) y Executor (im­ple­me­n­ta la tarea)
• Línea de comandos + Interfaz de usuario: interfaz para usuarios externos
• Thrift server: permite a los clientes externos co­mu­ni­car­se con Hive y permite a los pro­to­co­los JDBC y ODBC in­ter­ac­tuar y co­mu­ni­car­se a través de la red

¿Para qué sirve realmente?

Consultas tipo SQL (llamado HiveQL o HQL).
• ETL (Extract, Transform, Load).
• Análisis de datos a gran escala.
• Generación de reportes.
• Machine Learning básico (usando datos preparados).

Cómo funciona (de forma sencilla)

1. Se escribe una consulta en HiveQL (muy parecida a SQL estándar).
2. Hive traduce esa consulta en un plan de ejecución (originalmente MapReduce, ahora principalmente Tez o Spark).
3. Ejecuta el trabajo de forma distribuida en el clúster.
4. Devuelve los resultados.

Ejemplo de consulta HiveQL

SELECT 
pais,
COUNT(*) as total_usuarios,
AVG(edad) as edad_promedio
FROM usuarios 
WHERE fecha_registro >= '2025-01-01'
GROUP BY pais
ORDER BY total_usuarios DESC
LIMIT 10;