Big Data Engineer (Apache Spark)

🤓 Como Desarrollador Java Apache Spark, la empresa espera que realices las siguientes tareas.

• Desarrollar y mantener aplicaciones en Java integradas con Apache Spark para el procesamiento distribuido de grandes volúmenes de datos.
• Implementar algoritmos de procesamiento de datos en Spark para mejorar el rendimiento y la escalabilidad de las aplicaciones.
• Colaborar con equipos multidisciplinarios para el diseño de arquitecturas de datos y soluciones de big data.
• Crear y mantener ETL (Extract, Transform, Load) utilizando Apache Spark para manipular y transformar datos.
• Optimizar el código para asegurar el uso eficiente de recursos y la mejora del tiempo de ejecución de los procesos.
• Garantizar la calidad del código mediante pruebas unitarias, integración continua y revisión de código.
• Analizar y resolver problemas de rendimiento y cuellos de botella en las aplicaciones de procesamiento de datos.
• Documentar soluciones, procesos y tecnologías utilizadas.
• Asegurar el cumplimiento de las mejores prácticas y estándares de desarrollo dentro del equipo.

✨ Eres la persona que buscan si tienes...

• Lenguajes de Programación: Java (experiencia avanzada), conocimiento en otros lenguajes de programación como Python o Scala es un plus.
• Apache Spark: Experiencia en desarrollo y optimización de aplicaciones usando Apache Spark, tanto en entornos locales como distribuidos.
• Big Data: Conocimiento en arquitecturas de Big Data y procesamiento de grandes volúmenes de datos.
• Frameworks y Herramientas: Familiaridad con frameworks como Hadoop y Kafka. Uso de herramientas como Apache Hive, HBase, y Airflow es un plus.
• Bases de Datos: Conocimiento en bases de datos NoSQL (Cassandra, MongoDB, HBase) y SQL (MySQL, PostgreSQL, etc.).
• Entornos Distribuidos: Experiencia trabajando con sistemas distribuidos y paralelismo.
• Contenedores y Orquestación: Familiaridad con contenedores (Docker, Kubernetes).
• Sistemas de Versionado: Experiencia en el uso de sistemas de control de versiones como Git.
• Pruebas y Calidad del Código: Conocimiento de frameworks de pruebas en Java (JUnit, TestNG, etc.) y herramientas de integración continua.

Deseable:

• Certificaciones en tecnologías relacionadas con Big Data o Apache Spark.
• Experiencia trabajando con arquitecturas en la nube (AWS, Google Cloud, Azure).
• Conocimientos en Machine Learning y Data Science son un plus.