Ingeniería de rendimiento para sistemas de IA

Para quien entrena o sirve modelos y sospecha que el freno no es la GPU, sino lo que aún no sabe de ella: ingenieros de ML, MLOps e infraestructura, gente de CUDA y HPC, y líderes técnicos que responden por cada hora de cómputo encendida.

Habilidades:

Profiling, CUDA, PyTorch, entrenamiento distribuido, inferencia

Nivel: Avanzado

Requisitos:

Python y PyTorch, nociones de GPU y línea de comandos de Linux.

Chris Fregly es ingeniero de rendimiento y líder de productos de IA que ha impulsado innovaciones en Netflix, Databricks, Amazon Web Services (AWS) y múltiples startups. Ha liderado equipos de ingeniería enfocados en el rendimiento que crearon productos de IA/ML, escalaron iniciativas de salida al mercado y redujeron costos para cargas de trabajo de análisis y IA generativa a gran escala.

Es coautor de «Ciencia de datos en AWS» e «IA generativa en AWS» (O'Reilly), y creó el curso de O'Reilly «IA de alto rendimiento en producción con GPU NVIDIA». Su trabajo abarca la optimización a nivel de kernel, la aceleración impulsada por compilador, el entrenamiento distribuido y la inferencia de alto throughput.

Chris organiza además el meetup global de ingeniería de rendimiento de IA, con más de 100 000 miembros en todo el mundo. No es un teórico: es quien mide, diagnostica y corrige lo que otros dan por perdido.

1. Introducción y descripción general de los sistemas de IA

• El ingeniero de rendimiento de sistemas de IA
• DeepSeek escala a modelos de ~680 mil millones de parámetros a pesar de las restricciones de exportación de hardware de EE. UU. en China
• Hacia modelos de 100 billones de parámetros
• La «supercomputadora de IA en un rack» de NVIDIA
• Simpatía mecánica: codiseño de hardware y software
• Medición del «goodput»: el throughput útil
• Hoja de ruta y metodología del libro

2. Descripción general del hardware de sistemas de IA

• El superchip de CPU y GPU
• Redes a ultraescala: tratar muchas GPU como una sola
• Densidad de cómputo y requisitos de potencia
• Refrigeración líquida frente a refrigeración por aire
• Monitoreo del rendimiento y utilización en la práctica
• Uso compartido y planificación
• ROI de la actualización del hardware
• Un vistazo al futuro: la hoja de ruta de NVIDIA

3. Optimización del SO, Docker y Kubernetes para entornos basados en GPU

• Sistema operativo y pila de software de NVIDIA
• Configuración de las CPU y el SO para entornos de GPU
• Configuración del controlador y el runtime de la GPU para el rendimiento
• Optimizaciones del runtime de contenedores para GPU
• Kubernetes para la orquestación de contenedores y redes conscientes de la topología

4. Optimización de la comunicación en redes distribuidas

• Superposición de comunicación y cómputo (pipelining)
• Pila de optimización NVIDIA Magnum IO
• Transferencias de datos de alta velocidad y baja sobrecarga con RDMA
• NCCL para la comunicación multi-GPU distribuida
• NIXL de NVIDIA e inferencia desagregada

5. Optimizaciones de E/S de almacenamiento basadas en GPU

• Almacenamiento rápido y localidad de datos
• Patrones de lectura secuencial frente a aleatoria
• Optimización de NVMe y del sistema de archivos para el throughput
• Uso de NVIDIA GDS y su medición con gdsio
• Checkpointing del estado de la GPU con cuda-checkpoint
• El sistema de archivos Fire-Flyer de DeepSeek
• Sistemas de archivos distribuidos y paralelos y almacenes de objetos
• Ajuste, replicación y compresión de datos
• Monitoreo de la E/S de almacenamiento y optimización del pipeline de datos
• Flujo de trabajo continuo de profiling y optimización
• Diagnóstico de cargas de trabajo limitadas por comunicación frente a cómputo

6. Arquitectura de GPU, programación en CUDA y maximización de la ocupación

• Comprensión de la arquitectura de GPU
• Repaso de programación en CUDA
• Depuración de la corrección funcional con NVIDIA Compute Sanitizer
• Modelo Roofline: cargas de trabajo limitadas por cómputo o por memoria

7. Profiling y optimización de patrones de acceso a la memoria de la GPU

• Acceso a la memoria global coalescente frente a no coalescente
• Acceso vectorizado a la memoria
• Tiling y reutilización de datos mediante memoria compartida
• Prevención de conflictos de bancos en la memoria compartida
• Intrínsecos de warp shuffle: cómo evitar la memoria compartida y la sincronización explícita
• Cachés de datos de solo lectura
• Prefetching asíncrono de memoria y Tensor Memory Accelerator

8. Ajuste de la ocupación, eficiencia de warps y paralelismo a nivel de instrucción

• Profiling y diagnóstico de cuellos de botella en la GPU
• Análisis de los motivos de detención de warps con Nsight Compute
• Inspección de la ocupación alcanzada y la utilización de la GPU
• Ajuste de la ocupación
• Mejora de la eficiencia de ejecución de warps (divergencia de warps)
• Exposición del paralelismo a nivel de instrucción

9. Aumento de la eficiencia y la intensidad aritmética de los kernels de CUDA

• Microtiling multinivel y software prefetching
• Tiling con Thread Block Clusters
• Fusión de kernels y dispersión estructurada
• Compromiso entre recálculo y memoria
• PyTorch y la intensidad aritmética
• Precisión mixta y uso de Tensor Cores
• Uso de CUTLASS para una intensidad aritmética y rendimiento de Tensor Cores óptimos
• Ajuste de PTX y SASS en línea para microoptimizaciones
• Uso de PTX inline por parte de DeepSeek para la optimización de asignación de memoria

10. Pipelining dentro del kernel, especialización de warps y Thread Block Clusters cooperativos

• Técnicas de pipelining dentro del kernel
• Kernels persistentes y megakernels
• Cooperative Groups
• Thread Block Clusters y memoria compartida distribuida
• Reducción del tráfico de memoria global con thread block clusters
• Diseño de algoritmos eficientes con Thread Block Clusters
• Especialización de warps con Thread Block Clusters

11. Pipelining entre kernels, sincronización y asignaciones de memoria ordenadas por streams de CUDA

• Solapamiento de la ejecución de kernels con CUDA streams
• Uso de streams para solapar el cómputo con transferencias de datos
• Asignador de memoria ordenado por streams, y su uso con LLM
• Stream por defecto heredado, moderno por hilo, y frente a streams explícitos
• Prácticas recomendadas para el uso del stream por defecto
• Sincronización de grano fino con eventos y callbacks
• Uso de eventos de CUDA para la sincronización entre streams
• Pipelining con especialización de warps (dentro del kernel) y streams de CUDA (entre kernels)
• Warp specialization con thread block clusters y CUDA streams
• Superposición de cómputo y transferencia de datos multi-GPU con CUDA streams
• Programmatic Dependent Launch, y su combinación con thread block clusters y warp specialization

12. Planificación dinámica, CUDA Graphs y orquestación de kernels iniciada por el dispositivo

• Planificación dinámica con colas de trabajo atómicas
• CUDA Graphs
• Paralelismo dinámico
• Orquestación a través de múltiples GPU y nodos de clúster (NVSHMEM)
• Decisiones de planificación y orquestación guiadas por el modelo Roofline

13. Profiling, optimización y escalamiento de PyTorch

• Marcadores NVTX y herramientas de profiling
• Profiling de PyTorch para identificar cuellos de botella
• Compilador de PyTorch (torch.compile)
• Mecanismos de atención optimizados en PyTorch
• Optimización de arquitectura en PyTorch (torchao), cuantización, dispersión y poda
• Concurrencia con streams de CUDA
• Reducción de la sobrecarga de lanzamiento de kernels con grafos de CUDA
• Profiling y optimización de memoria en PyTorch, y memoria simétrica
• Optimización del pipeline de entrada de datos
• Escalamiento con PyTorch Distributed
• Integración continua y benchmarking de rendimiento

14. Compilador de PyTorch, OpenAI Triton y backends de XLA

• Análisis en profundidad del compilador de PyTorch
• Explicación y minimización de interrupciones de grafo (graph breaks)
• Depuración de fases del compilador, graph breaks y rendimiento
• Escritura de kernels personalizados con OpenAI Triton
• Implementaciones avanzadas de kernels de Triton
• Backend de PyTorch XLA

15. Inferencia multinodo, paralelismo, decodificación y optimizaciones de enrutamiento

• Arquitectura desagregada de prefill y decode
• Estrategias de paralelismo para servir modelos MoE masivos
• Decodificación especulativa y técnicas de generación paralela de tokens
• Implicaciones de rendimiento de la decodificación restringida
• Estrategias de enrutamiento dinámico para inferencia de MoE

16. Profiling, depuración y optimización de inferencia a escala

• Profiling, depuración y optimización del rendimiento de inferencia
• Batching dinámico, planificación y enrutamiento
• Optimizaciones a nivel de sistema
• Enfoques de cuantización para inferencia en tiempo real
• Optimizaciones a nivel de aplicación

17. Escalamiento de prefill y decode desagregados para inferencia

• ¿Por qué desagregar prefill y decode?

18. Optimización avanzada de prefill-decode y KV cache

• Kernels de decode optimizados
• Optimización del uso y la gestión del KV cache
• Transferencia rápida del KV cache entre prefill y decode
• Diseño de conectores y rutas de datos
• Hardware heterogéneo y estrategias de paralelismo para prefill y decode
• Prefill híbrido con colaboración entre GPU y CPU
• Gestión de solicitudes consciente de los SLO y tolerancia a fallos
• Planificación dinámica y equilibrio de carga

19. Optimizaciones dinámicas y adaptativas del motor de inferencia

• Estrategias de paralelismo adaptativo (TP frente a PP frente a híbrido)
• Cambios dinámicos de precisión
• Autotuning de kernels para rutas de autoatención y MLP de Transformer
• Asignación dinámica de memoria compartida y selección de kernels basada en ocupación
• Precarga especulativa de KV para un TTFT más rápido
• Compresión del KV cache en tiempo real y cambio de políticas
• Agentes de aprendizaje por refuerzo para el ajuste de sistemas de IA en tiempo de ejecución
• Conmutación dinámica de asignación de memoria (slab frente a caching frente a stream-ordered)
• Mejoras de rendimiento de kernels en tiempo de ejecución e implementaciones intercambiables en caliente
• Precalentamiento continuo de CUDA graphs y cachés mediante predicción de series temporales
• Batching adaptativo y planificación de prefill fragmentado
• Planificación consciente de la congestión y la topología con múltiples GPU
• Técnicas adicionales de optimización adaptativa y dinámica

20. Optimizaciones de rendimiento asistidas por IA y escalamiento hacia clústeres de millones de GPU

• Algoritmos descubiertos por IA con AlphaTensor para impulsar el rendimiento de GPU (Google DeepMind)

Y para cerrar: la lista de verificación de rendimiento para sistemas de IA (más de 175 elementos), ordenada por capa del sistema — mentalidad de optimización de rendimiento y costos, arquitectura del sistema y planificación de hardware, escalamiento multi-GPU e interconexión, sistema operativo y controladores, gestión y planificación de recursos de GPU, E/S y pipelines de datos, profiling y monitoreo, programación y ajuste en CUDA, planificación y ejecución de kernels, aritmética y precisión reducida o mixta, estrategias avanzadas y trucos algorítmicos, entrenamiento distribuido y optimización de red, inferencia y servicio eficientes, inferencia y servicio multinodo, y gestión térmica y de energía.

¿Necesito saber CUDA antes de empezar o el libro me lleva paso a paso? Trae un repaso de programación en CUDA antes de bajar al detalle. Empiezas donde estás y subes capa por capa.

¿Me sirve si trabajo con PyTorch y nunca escribí un kernel en mi vida? Sí. Dos capítulos completos de PyTorch: profiling, torch.compile, cuantización y escalamiento. El kernel llega después.

¿Aplica solo a GPU NVIDIA o también a otros entornos? Su terreno es NVIDIA: CUDA, Nsight, NCCL, Tensor Cores. Pero el criterio —roofline, ocupación, memoria— viaja contigo.

¿Funciona si entreno y sirvo modelos en la nube y no tengo un clúster propio? Sí: el sistema operativo, los contenedores, Kubernetes y la nube rentada obedecen las mismas leyes de rendimiento.

¿Cubre inferencia o está enfocado únicamente en entrenamiento? Las dos mitades. Cinco capítulos van solo a inferencia: prefill y decode, KV cache, batching y enrutamiento.

¿Está actualizado para los modelos y el hardware de hoy? Publicado por O'Reilly en noviembre de 2025: superchips, MoE masivos, DeepSeek y la hoja de ruta de NVIDIA.

¿Incluye código que pueda correr, leer y adaptar a mi proyecto? Todo el código vive en el repositorio oficial del libro en GitHub, abierto para leerlo, correrlo y adaptarlo.

¿Cuánto hardware necesito para practicar lo que enseña? Con una sola GPU ya aplicas ocupación, accesos a memoria, warps y torch.compile. Ahí se esconden las mayores ganancias.

¿Sirve si mi equipo es pequeño y no tengo un ingeniero de rendimiento dedicado? Justo por eso: el libro convierte a quien lo lee en esa persona. Empieza por el apéndice y trabaja tu capa.

¿Voy a poder medir con números la mejora que consiga? Es el punto: goodput, roofline, Nsight Compute y benchmarking continuo. Dejas de opinar y empiezas a demostrar.

¿Está en español neutro o tendré que pelear otra vez con el inglés técnico? En español neutro, de principio a fin. Dejas de traducir mentalmente mientras depuras un kernel a medianoche.

¿Qué me da esto que no encuentre suelto en blogs, foros y videos? Secuencia. Del superchip al kernel y del kernel al servidor, en orden. El hilo suelto no te da un sistema.

¿Sirve para modelos MoE masivos o solo para modelos pequeños? Hay capítulos dedicados: paralelismo para servir MoE masivos, enrutamiento dinámico y decodificación especulativa.

¿Incluye la parte de sistema operativo, Docker y Kubernetes? Un capítulo entero: SO, controladores, runtime de contenedores y Kubernetes con redes conscientes de la topología.

¿Habla de red y almacenamiento o se queda solo en la GPU? Dos capítulos: RDMA, NCCL, Magnum IO y NIXL en red; NVMe, GDS y Fire-Flyer de DeepSeek en almacenamiento.

¿Quién es Chris Fregly y por qué debería confiar en su criterio? Optimizó sistemas en Netflix, Databricks y AWS, y organiza un meetup global de rendimiento con más de 100 000 miembros.

¿Cuánto tardo en ver resultados si empiezo por la lista de verificación? Está ordenada por capa, así que hoy mismo encuentras el elemento que corresponde a donde te duele ahora.