PDE

Professional Data Engineer

Arquitectura interna de BigQuery: Dremel, Borg, Colossus y Jupiter
Vídeo de la lección próximamente disponible

Mientras publicamos la grabación en vídeo de esta clase, ya tienes disponible justo debajo el resumen ejecutivo, las notas clave para el examen y los ejemplos de código listos para practicar.

24 min · Clase en vídeo
Lección Abierta
Resumen Ejecutivo y Notas de Arquitectura

Comprende cómo separa BigQuery el cómputo (Dremel slots) del almacenamiento columnar (Colossus/Capacitor) sobre la red petabit Jupiter y por qué impacta directamente en tus decisiones de examen y FinOps.


### Puntos clave para producción y examen PDE - **Separación de cómputo y almacenamiento**: escalar slots con *BigQuery Editions* no duplica datos en Colossus. - **Particionado vs Clustering**: - Usa **particionado** por columna `TIMESTAMP`/`DATE` o *ingestion time* para acotar el coste predecible antes de ejecutar la query (pruning garantizado en el estimador). - Combínalo con **clustering** (hasta 4 columnas ordenadas por cardinalidad y frecuencia de filtro: `customer_id`, `country`, `event_type`) para optimizar *block pruning* y agregaciones. - **Control FinOps**: activa `maximum_bytes_billed` en pipelines automatizados y reserva *Enterprise Edition* con `AUTOSCALING` para cargas predecibles.

Tabla Medallion Silver particionada y clusterizada con filtro obligatorio

CREATE TABLE ` analytics_silver.fact_events `
(
  event_id STRING NOT NULL,
  event_ts TIMESTAMP NOT NULL,
  tenant_id STRING NOT NULL,
  event_type STRING,
  payload JSON
)
PARTITION BY DATE(event_ts)
CLUSTER BY tenant_id, event_type
OPTIONS (
  require_partition_filter = TRUE,
  partition_expiration_days = 1095,
  description = 'Capa Silver validada con control FinOps por partición'
);

Contenido del Programa

Módulo 1 · Arquitectura Lakehouse, BigQuery Internals & FinOps

Arquitectura interna de BigQuery: Dremel, Borg, Colossus y Jupiter

24 min

GRATIS

Modelado Dimensional, Campos REPEATED/RECORD y BigLake con Apache Iceberg

28 min

Módulo 2 · Ingesta Streaming con Pub/Sub, Dataflow (Apache Beam) y CDC

Patrones Exactly-Once con Cloud Pub/Sub + Dataflow Streaming Engine

32 min

Orquestación Enterprise: Cloud Composer, Workflows y Dataform

22 min

Módulo 3 · Seguridad de Datos, Gobernanza Dataplex & Machine Learning en GCP

Seguridad Zero-Trust en Datos: CLS, RLS, Sensitive Data Protection y VPC-SC

26 min