Flujo de datos para educación superior

Resumen

Diseñé e implementé un flujo ETL que puede crecer y un marco de validación de datos para analítica de actividad de estudiantes, integrando datos de distintos sistemas universitarios y de interacciones dentro del producto. La solución aseguró datos precisos, redujo la latencia y permitió señales tempranas para estrategias de retención.

Detalles técnicos

El proyecto desarrolló flujos de datos resilientes, automatizó la validación y optimizó el rendimiento en dos sistemas de almacenamiento: PostgreSQL y BigQuery.

• Python (PyTest, Pydantic, Pandera) para el marco de validación
• Procesamiento por lotes e ingesta en paralelo con Python y AWS ECS
• PostgreSQL para el almacenamiento operativo
• BigQuery para analítica a gran escala
• Ingesta de CSV en S3 y extractores SQL por túnel SSH
• DataDog para monitoreo y trazas de rendimiento

Desafíos

• Integrar datos de fuentes fragmentadas e inconsistentes (APIs, CSV, bases SQL)
• Asegurar la precisión de los datos de punta a punta en las etapas de extracción, transformación y carga
• Mantener el rendimiento del flujo a medida que el volumen crecía con cada universidad nueva
• Implementar procesos ETL que se pudieran probar, mantener y observar

Qué cambió.

• El tiempo de procesamiento del flujo ETL bajó un 40%, con reportes y analítica más rápidos
• Mejoró la integridad de los datos con validación automática de esquemas y controles de error en capas
• Los equipos de producto y de datos pudieron generar conclusiones de alta confianza para las universidades que usan el producto
• La infraestructura escaló para soportar volúmenes crecientes de datos de uso de varios clientes