Infraestructura de grandes volúmenes de datos para el mercado financiero
Resumen del proyecto: Implementación de un clúster virtualizado que simula una infraestructura orientada al análisis de grandes volúmenes de datos del mercado financiero.
Objetivo
En el contexto del análisis de grandes volúmenes de datos, las arquitecturas distribuidas juegan un rol fundamental para el procesamiento eficiente y escalable de información. Tecnologías como Apache Spark y Kafka se han convertido en estándares para el procesamiento batch, streaming y la ingestión de datos en tiempo real.
El objetivo de este trabajo es diseñar e implementar un clúster virtualizado que permita simular una infraestructura orientada al análisis de datos del mercado financiero. Para ello, se utilizó Docker como tecnología de virtualización liviana, desplegando un clúster compuesto por cinco nodos que integran Apache Spark (Master y dos Workers), Apache Kafka y Apache Zookeeper.
Enlaces y material complementario
- Repositorio en GitHub: https://github.com/cejasmau/tp_bigdata/
Contiene el código fuente, los Jupyter Notebooks y los datos preprocesados. Resumen del flujo de trabajo y los principales hallazgos. - Informe en PDF: Leer publicación completa
Documento final con la construcción de modelos y la discusión de resultados.