Publicamos VektralForge: un data lakehouse open source listo para correr en local

Armar un data lakehouse desde cero suele implicar días de resolver problemas de compatibilidad: cuadrar versiones entre el motor de procesamiento, el catálogo de metadatos, el formato de almacenamiento y la capa de consultas SQL, todo antes de poder ejecutar una sola query.

Para ahorrarnos (y ahorrarles) esa fricción, empaquetamos VektralForge: un stack open source que une estas piezas con linaje de datos de extremo a extremo.

Una aclaración necesaria antes de empezar: hoy está pensado para evaluar la arquitectura y desarrollar pipelines en local con datos propios. No está listo para producción, y el despliegue sobre K3s todavía está en desarrollo.

Qué resuelve y cuál es su alcance

El valor del data lakehouse radica en unir la economía de almacenamiento de un data lake con la consistencia transaccional (ACID) de un data warehouse. Sin embargo, evaluar esta arquitectura con herramientas abiertas suele demandar una inversión alta de tiempo solo en configuración inicial.

VektralForge ofrece esa base ya resuelta y documentada. El proyecto nació dentro de Aleph Server para estandarizar nuestros propios proyectos de ingeniería de datos, pero el código vive como software libre en github.com/vektralforge/vektralforge bajo un esquema de gobernanza independiente.

Actualmente el repositorio está en la versión 0.2.0 (publicada el 9 de octubre de 2026). Mientras nos acercamos a la 1.0.0, la interfaz pública —variables de entorno, nombres de servicios y esquemas de tablas— puede tener cambios entre versiones menores.

Arquitectura: cómo interactúan los componentes

El núcleo técnico opera bajo un principio claro: Spark escribe, Trino lee.

  • Procesamiento y almacenamiento: Apache Spark transforma los datos y los persiste en tablas Delta Lake, asegurando transaccionalidad sobre RustFS (almacenamiento de objetos compatible con S3).
  • Catálogo unificado: Para que Spark y Trino vean los mismos esquemas sin desalinearse, comparten un Hive Metastore central.
  • Capa analítica: Trino expone las tablas para consultas SQL de baja latencia, mientras Apache Superset se encarga de la visualización y dashboards.
  • Orquestación y linaje: Apache Airflow programa las ejecuciones, e interactúa con OpenLineage y Marquez para auditar el origen, transformación y dependencias de cada campo en el sistema.

La estructura de datos sigue el patrón medallón: una zona raw con las respuestas crudas de las fuentes, bronze para las tablas Delta tipadas, y capas silver/gold para modelos agregados y métricas de consumo.

Por qué reemplazamos MinIO por RustFS

Originalmente el stack utilizaba MinIO para el almacenamiento de objetos. Decidimos migrar por dos razones:

  1. El repositorio de la versión comunitaria de MinIO fue archivado en abril de 2026. Además, arrastraba la vulnerabilidad de escalada de privilegios CVE-2025-62506 (CVSS 8.1 en versiones anteriores a octubre de 2025).
  2. Buscábamos evitar dependencias bajo licencias restrictivas (AGPLv3).

Optamos por RustFS (fijado temporalmente en la versión 1.0.0-rc.6). Cuenta con licencia Apache 2.0 y compatibilidad nativa con las políticas IAM de AWS, lo que permitió mantener intactas las reglas de acceso que ya teníamos definidas sin atarnos a una licencia viral.

Levantar el entorno en local

El stack corre vía Docker Compose. Requiere Docker 24+, Compose 2.20+, Python 3.12 y un mínimo de 8 GB de RAM asignados al daemon de Docker.

El despliegue toma cuatro pasos en la terminal:

make init-env           # Genera secretos y solicita contraseñas
make setup              # Prepara el entorno virtual de Python
make dev-up             # Descarga imágenes y levanta los servicios
make dev-load-example   # Ejecuta pipelines de prueba y aprovisiona dashboards

El último comando tarda unos 5 minutos en la primera ejecución porque descarga y procesa datos reales de dos APIs públicas chilenas que no requieren registro ni API keys:

  • Indicadores financieros de mindicador.cl (UF, dólar, UTM, TPM, IPC).
  • Riesgo climático comunal desde ARClim (Ministerio del Medio Ambiente).

Los pipelines son idempotentes por fecha de carga (si reejecutas, se sobreescribe la partición en lugar de duplicar registros). Para proteger las APIs públicas contra bloqueos, el cliente HTTP compartido implementa backoff exponencial y un User-Agent que incluye una URL de contacto.

Gobernanza y compromiso con el código abierto

VektralForge se distribuye bajo licencia Apache 2.0 y gestiona contribuciones mediante el Developer Certificate of Origin (DCO) en lugar de acuerdos de cesión de derechos (CLA). Esto distribuye el copyright entre todos los colaboradores e impide que una sola entidad —incluida Aleph Server— cambie unilateralmente los términos de la licencia.

Las decisiones del proyecto quedan a cargo de un Comité Técnico (TSC) de entre 3 y 7 personas, con una regla estricta: ninguna empresa puede representar más del 50% de los votos. Aleph Server cuenta hoy con uno de los tres asientos actuales, sin derecho a veto ni voto dirimente.

El proyecto mantiene un compromiso explícito contra el relicenciamiento restrictivo (BSL, SSPL) o la creación de versiones “open core” con funciones bloqueadas. Si ese principio se vulnera, el diseño legal del proyecto respalda y facilita que la comunidad mantenga su propio fork.

El repositorio está abierto para pruebas, issues y pull requests tanto en español como en inglés. En la próxima entrega analizaremos a fondo el modelado medallón y las reglas para decidir entre un warehouse tradicional, un data lake o esta arquitectura.


Artículos relacionados