Introducción a Big Data y Hadoop
- Introducción al curso
- Nota sobre la valoración del curso
- Introducción y repaso de Big Data
- Video aclaratorio sobre el uso de hadoop 3 en el curso
- Introducción a Hadoop
- Herramientas y productos asociados a Hadoop
- Distribuciones Hadoop
Preparación de la Infraestructura (IMPORTANTE, SOLO NECESARIA SI NO LO TIENES)
- Introducción a la sección
- Infraestructura necesaria
- NOTA IMPORTANTE SOBRE VIRTUALBOX 6 Y CENTOS
- Descarga e instalación de Oracle Virtual Box
- Descarga del Sistema Operativo Linux CentOS
- Preparación de la máquina virtual
- Instalación de CentOS
- Instalar las Guest Additions en la Máquina virtual
- MÁQUINAS VIRTUALES PREPARADAS y material adicional
Preparación de Hadoop
- Descarga de Hadoop
- Preparar el software de Hadoop
- Instalar las JDK
- Primer vistazo a Hadoop
- Configuración de variables de entorno
- Comprobar que Hadoop funciona
- Práctica-Guía paso a paso de lo realizado hasta ahora en la sección
- Configurar SSH
- Práctica-Guía detallada de configuración SSH
Montar un cluster de un solo nodo. Aprender HDFS
- Introducción a HDFS
- Cluster Pseudistribuido (core-site.xml)
- Cluster Pseudodistribuido (hdfs-site.xml)
- Cluster Pseudodistribuido (Formatear HDFS)
- Arrancar HDFS
- Anexo: Cambio en el puerto WEB en la Versión 3 de Haddoop
- Web de Administración de HDFS
- Práctica- Guía detallada de configuración HDFS
- 23-Trabajar con HDFS-fsimage y edits
- Práctica-Uso de Fsimage y Edits
- Trabajar con ficheros
- HDFS-Trabajar con ficheros Parte 2
- HDFS-Trabajar con ficheros Parte 3
- Práctica- Trabajar con HDFS
- HDFS-Algunos comandos de administración
- Práctica-Administración de HDFS
- HDFS-Snapshots
- Práctica-Snapshots
YARN-MapReduce
- Yarn y Map Reduce
- Funcionamiento de YARN
- Configurar YARN en un cluster
- Web de Administración de YARN
- Práctica-Guía detallada para montar un cluster PseudoDistirbuido
- HADOOP 3:Modificación en YARN-SITE para Hadoop 3
- Funcionamiento de Map Reduce
- Un ejemplo con Map Reduce
- Práctica-Trabajar con MapReduce
- Un ejemplo de Map Reduce desde código Java
- Práctica-Crear programas Map Reduce con Java
- Un ejemplo de Map Reduce con streaming-Python
- Práctica-Crear un Map Reduce con Python y Streaming
Montar un Cluster real
- Clonar el nodo Hadoop
- Clonar el nodo Hadoop Parte 2
- Configurar la red en los nodos
- Configurar SSH entre los nodos
- HADOOP 3- CAMBIO DE NOMBRE DEL FICHEROS DE NODOS ESCLAVOS
- Modificar los ficheros de configuración del Cluster
- Arrancar el cluster
- Práctica- Montar un cluster real
- Probar un proceso Map Reduce contra el Cluster
- Práctica-Lanzar un proceso MapReduce contra el cluster
- Práctica-Streaming con comandos Shell de Linux
- Práctica-Lanzar un programa Python contra el cluster
- Comando YARN. Gestionar el cluster
- Práctica-Comando YARN
- Yarn Scheduler. Introducción
- Yarn Scheduler- Ver su funcionamiento
- Yarn-Scheduler. Configuración
- Yarn Scheduler. Lanzar procesos MapReduce contra una cola
- Práctica- Trabajar con el Yarn Scheduler
Productos asociados a Big Data
- Introducción a las siguientes secciones
HIVE
- Introducción a Hive
- Instalación y configuración inicial
- Comandos HIVE
- Configurar HDFS para usr HIVE
- Primeros pasos-Crear Bases de Datos y Tablas
- Hive-Primeros Pasos Parte2
- Prácticas- Instalar, Configurar, Crear Bases de datos
- Tablas internas y LOAD
- Tablas Externas
- Prácticas- Crear tablas externas e internas con columnas complejas
- Conexiones remotas. HiveServer2 y Beeline
- Ejemplo Real. Deslizamientos de Tierra. Parte 1
- Ejemplo Real. Deslizamientos de Tierra. Parte 2. Hasta Excel
- Recursos de la práctica anterior
HUE
- Introducción a HUE
