Guía docente de Big Data II (M51/56/3/36)

Big Data, procesamiento de datos masivos, analítica, pre-procesamiento y aprendizaje de datos con Big Data.

Se recomienda haber cursado la asignatura de Big Data I.

El estudiante o la estudiante aprenderá a manejar las tecnologías de cloud computing,  y almacenamiento y procesamiento de grandes volúmenes de datos bajo las tecnologías actuales de Big Data, tales como Hadoop y Spark.  
En particular, el estudiante o la estudiante:

• Aprenderá cómo resolver problemas de aprendizaje en Big Data, aplicando las distintas técnicas conocidas para la etapa de modelado, así como técnicas de pre-procesamiento de datos en aquellos problemas en los que dicha etapa sea necesaria o recomendable, todo ello bajo las tecnologías distribuidas de Cloud Computing y Big Data.

Al mismo tiempo y de manera práctica, el estudiante o la estudiante deberá:

• Saber aplicar las técnicas anteriormente mencionadas para modelar y resolver problemas reales o académicos de Big Data. 
• Conocer herramientas software existentes para el manejo de información en Big Data, como los lenguajes de proceso de datos masivos por lotes y la biblioteca MLLIB, junto con el repositorio Spark Package. 

Temario teórico (temas):

1. Programación y procesamiento de datos. Lenguaje de procesamiento de datos masivo por lotes.
2. Big Data Analytics: Diseño de algoritmos bajo el paradigma MapReduce: Aprendizaje supervisado y no supervisado.
3. Smart Data. Preprocesamiento de datos en Big Data.
4. Procesamiento distribuido, fusión de modelos, y privacidad de datos: Aprendizaje Federado.

Temario práctico (seminarios):

• Programación y procesamiento de datos con un lenguaje de procesamiento de datos masivos por lotes.
• Plataformas para la analítica de datos. Un caso: Spark.
• Biblioteca de algoritmos de aprendizaje automático (MLlib).

Prácticas de Laboratorio:

1. Caso de estudio con un lenguaje de procesamiento de datos masivos por lotes.
2. Uso de la librería MLLIB con Spark. Caso práctico.
3. Uso de los algoritmos de SparK Packages y otros repositorios. 

• Mining of Massive Datasets, Anand Rajaraman, Jure Leskovec, Jeffrey D. Ullman, Cambridge University Press, 2011.
• Machine Learning with Spark, Nick Pentreath, PACKT Publishing, 2015. 
• Advanced Analytics with Spark, Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, O'Reilly, 2015.
• Big Data Preprocessing. Enabling Smart Data, J. Luengo, D. García-Gil, S. Ramírez-Gallego, S. García López, F. Herrera. Springer, 2020.
• Large-scale Data Analytics with Python and Spark: A Hands-on Guide to Implementing Machine Learning Solutions, I. Triguero, M. Galar, Cambridge University Press, 2023.

• The Apache Software Foundation."Spark Python API: PySpark Documentation" (2022). Disponible en: https://spark.apache.org/docs/latest/api/python/index.html 
• The Apache Software Foundation.”MLlib" (2022). Disponible en: https://spark.apache.org/docs/latest/ml-guide.html 
• The Apache Software Foundation."Spark Scala API" (2022). Disponible en: https://spark.apache.org/docs/latest/api/scala/org/apache/spark/index.html

• Sitio web del Máster Universitario Oficial en Ciencia de Datos e Ingeniería de Computadores: https://masteres.ugr.es/datcom/
• Fundación Apache: https://www.apache.org/

La evaluación de conocimientos adquiridos en la Convocatoria Ordinaria constará de los siguientes ítems de evaluación:

• Pre-procesamiento de datos mediante lenguajes de procesamiento por lotes:
  1. (25%) construir un script en el lenguaje de procesamiento de datos masivos para el pre-procesamiento en big data
• Analítica de datos:
  2. (20%) prueba escrita sobre analítica de datos realizada en horario de clase, y
  3. (55%) diseñar un modelo para un problema de aprendizaje utilizando la biblioteca MLLib (Spark), ... en el que habrá que describir detalladamente todo el proceso algorítmico utilizado, mostrando los resultados de cada uno de los algoritmos utilizados para entrenamiento y test

Para los ítems de evaluación 1 y 3 se proporcionarán sendas actividades en la Plataforma Docente en las que se proporcionarán los detalles del trabajo solicitado y se fijarán las fechas para la entrega y revisión (en su caso) de dichos trabajos. Ambas actividades estarán a disposición del estudiantado una vez concluidas las sesiones dedicadas a la parte evaluada por el correspondiente trabajo.

Para superar la asignatura en la Convocatoria Ordinaria, será necesario haber obtenido calificación dos o más ítems de evaluación y que la suma ponderada de las calificaciones obtenidas iguale o supere la calificación de 5 sobre 10. En caso de haber evaluado un único ítem de evaluación, la calificación de la asignatura será la obtenida para el ítem evaluado multiplicada por el porcentaje asignado en el cálculo de la calificación global.

La evaluación de conocimientos adquiridos en la Convocatoria Extraordinaria constará de los siguientes ítems de evaluación:

1. (25%) Pre-procesamiento de datos mediante lenguajes de procesamiento por lotes: construir un script en el lenguaje de procesamiento de datos masivos para el pre-procesamiento en Big Data
2. (75%) Analítica de datos: diseñar un modelo para un problema de aprendizaje utilizando la biblioteca MLLib (Spark), ... en el que habrá que describir detalladamente todo el proceso algorítmico utilizado, mostrando los resultados de cada uno de los algoritmos utilizados para entrenamiento y test

Si el ítem de evaluación de conocimientos y habilidades en el "pre-procesamiento de datos mediante lenguajes de procesamiento por lotes" (correspondiente al 25% de la calificación de la asignatura) hubiera sido evaluado en la Convocatoria Ordinaria con una calificación igual o superior a 5 sobre 10, el estudiante o la estudiante podrá optar por no evaluar dicho ítem en la Convocatoria Extraordinaria, conservando la calificación obtenida en la Convocatoria Ordinaria en dicho ítem.

Para someter a evaluación ambos ítems, se proporcionarán sendas actividades en la Plataforma Docente en las que se proporcionarán los detalles del trabajo solicitado y se fijarán las fechas para la entrega y revisión (en su caso) de dichos trabajos. 

Para superar la asignatura en la Convocatoria Extraordinaria, será necesario que la suma ponderada de las calificaciones obtenidas supere la calificación de 5 sobre 10.

La evaluación de conocimientos adquiridos a través del procedimiento de Evaluación Única Final constará de los siguientes ítems de evaluación:

1. (25%) Pre-procesamiento de datos mediante lenguajes de procesamiento por lotes: construir un script en el lenguaje de procesamiento de datos masivos para el pre-procesamiento en Big Data
2. (75%) Analítica de datos: diseñar un modelo para un problema de aprendizaje utilizando la biblioteca MLLib (Spark), ... en el que habrá que describir detalladamente todo el proceso algorítmico utilizado, mostrando los resultados de cada uno de los algoritmos utilizados para entrenamiento y test

Para someter a evaluación ambos ítems, se proporcionarán sendas actividades en la Plataforma Docente en las que se proporcionarán los detalles del trabajo solicitado y se fijarán las fechas para la entrega y revisión (en su caso) de dichos trabajos. 

Para superar la asignatura a través de Evaluación Única Final, será necesario que la suma ponderada de las calificaciones obtenidas supere la calificación de 5 sobre 10.