Material de estudio personal — no redistribuible
De cero teoría a poder leer un paper de LLMs sin perderte
Los cuatro cursos de referencia de siempre — Hugging Face LLM Course, PyTorch, TensorFlow y fast.ai — reescritos con explicaciones más directas, actualizados a 2026, y organizados para alguien con práctica pero sin la base teórica formal.
🔎 Buscar un concepto
Escribí un término (GQA, KV cache, LoRA, Chinchilla, reranker, set_epoch…) y salta a la sección
del curso que lo explica. Busca en los títulos, en los términos destacados y en el primer párrafo de cada
sección; sin acentos también sirve, y la tecla / lleva el cursor acá.
📖 Cómo leer este curso
Las 41 páginas están encadenadas en un solo recorrido: cada una termina con "Seguís con →", y el índice lateral de cada capítulo muestra dónde estás dentro de su curso. Este es el orden pensado, y por qué:
- Hugging Face LLM Course (12 capítulos). La columna vertebral, de abajo hacia arriba: qué es un transformer, tokenización, fine-tuning, datasets, SFT y RL para razonamiento. Si solo vas a leer una parte, que sea esta.
- LLM 2026 (4 capítulos). Lo que ningún curso original cubre porque es posterior: el bloque transformer moderno (RMSNorm, RoPE, GQA, SwiGLU), Mixture of Experts, scaling laws, y RAG y agentes como sistemas. Va justo después de HF porque usa su vocabulario y explica los modelos que usás hoy.
- Aplicado a tus proyectos (5 páginas). La misma teoría mirando código real: cuantización NVFP4, RAG, verificación anti-alucinación, fixes en vLLM, difusión. Se leen mejor recién después de HF, porque asumen ese vocabulario.
- Unsloth (3 unidades). Optimización al nivel de silicio: kernels manuales en OpenAI Triton, SRAM vs. HBM, Cross Entropy fusionada para no materializar logits, sequence packing con FlashAttention-2, loss masking en prompts, matemática de DPO y merge hacia vLLM, GGUF y NVFP4.
- fast.ai, Partes 1 y 2 (14 lecciones). El espejo: primero un modelo funcionando, después la teoría. SGD y backprop a mano, árboles, embeddings, convoluciones, y de matmul a Stable Diffusion.
- PyTorch (5 páginas) y TensorFlow (1). El cierre: el vocabulario oficial del framework que corre debajo de todo lo anterior, y una referencia comparativa para leer código TF/Keras sin perderte.
Cada capítulo arranca con qué vas a poder hacer al terminar, y cierra con un resumen, una autoevaluación (preguntas con la respuesta escondida), ejercicios para correr en tu máquina, y las fuentes originales para profundizar. Las fórmulas van en notación de paper, y el apéndice de notación explica cómo leerlas. En el teclado, ← y → saltan al capítulo anterior y siguiente. Desde el celular, la misma versión en Markdown está en el repo.
🔧 Aplicado a tus proyectos
La misma teoría de los capítulos oficiales, pero mirando directo el código de cosas que ya construiste y corrés en tu propio hardware — no ejemplos genéricos.
Tu pipeline NVFP4 · Gemma 4
Arquitectura, cuantización real y decoding especulativo con tus propios benchmarks.
Interpretante Lacaniano
Decoder + encoder + RAG + fine-tuning generacional, con Lacan de por medio.
El gate anti-alucinación
Dos capas de verificación numérica, disparadas por un incidente real.
Tus fixes en vLLM
FlashInfer, atención heterogénea de Gemma-4, y un bug de NVFP4 que no truena.
NVFP4 en difusión
La misma cuantización en Flux2 (imagen) y Wan 2.1 (video), sin vLLM de por medio.
🤗 Hugging Face — LLM Course
La columna vertebral del curso: transformers, cómo se entrenan, cómo se sirven, cómo fine-tunearlos. Los 12 capítulos del original, completos.
1. Modelos Transformer
Atención, arquitecturas, inferencia token a token, sesgos.
2. Usando 🤗 Transformers
Tokenizers, modelos, batching, servir con vLLM/TGI/llama.cpp.
3. Fine-tuning de un modelo
Trainer API, training loop manual, curvas de entrenamiento, LoRA/QLoRA.
4. Compartir modelos y tokenizers
Publicar en el Hub, model cards, y por qué el git manual ya no hace falta.
5. La librería Datasets
Datasets enormes, streaming, y un buscador semántico con FAISS.
6. La librería Tokenizers
Offset mapping, BPE/WordPiece/Unigram, armar un tokenizer bloque por bloque.
7. Tareas clásicas de NLP
NER, masked LM, traducción, resumen, LM causal desde cero, QA extractivo.
8. Cómo pedir ayuda
Leer tracebacks, debuggear un entrenamiento que no crashea, reportar bugs bien.
9. Demos con Gradio
Interface, compartir con Spaces, State, Blocks.
10. Curar datasets con Argilla
Fields/Questions, anotar en equipo, exportar de vuelta al Hub.
11. Fine-tuning de LLMs
Chat templates, SFTTrainer, LoRA con código real, evaluación.
12. Construir modelos de razonamiento
RL, DeepSeek R1, GRPO y por qué reemplaza al value model de RLHF clásico.
🧭 Ruta alternativa: fundamentos primero
El recorrido de arriba está ordenado por fuente, y así el fine-tuning con su loss y su optimizador (HF cap. 3) llega antes que SGD y backprop a mano (fast.ai lección 3). Si preferís entender cada pieza antes de usarla, este es el mismo material en orden de dependencia conceptual. Las páginas no cambian: solo el orden en que las abrís, y cada capítulo arranca con una línea de «Antes de leer» que apunta a lo que asume.
- Un modelo que entrena, y qué pasa adentro. fast.ai L1 → L3 (SGD, loss, una red a mano) → PyTorch 1 → 2 → 3 (autograd) → fast.ai P2 U1 (backprop desde cero) → U2 (init y normalización) → L5 → L7 (embeddings) → L8 (convoluciones). Al terminar sabés qué es un parámetro, un gradiente, un embedding y una capa, con código propio.
- El transformer y los LLMs de hoy. HF cap. 1 → cap. 2 → cap. 6 (tokenizers) → LLM 2026 · 1 (el bloque moderno) → 2 (MoE) → 3 (scaling laws). Atención, KV cache, RoPE, GQA, expertos, y por qué los modelos tienen el tamaño que tienen.
- Entrenar, adaptar y evaluar. HF cap. 5 (Datasets) → cap. 3 (fine-tuning, LoRA) → cap. 4 → cap. 11 (SFT, evaluación) → cap. 12 (RL y razonamiento) → cap. 10 (curar datos) → cap. 7 → fast.ai L4 (ULMFiT, la prehistoria) → PyTorch 4 → 5 (DDP/FSDP) → cap. 8 (debugging).
- Sistemas, producción y tu código. LLM 2026 · 4 (RAG y agentes) → HF cap. 9 (demos) → NVFP4 · Gemma 4 → fixes en vLLM → Interpretante Lacaniano → gate anti-alucinación → TensorFlow. Y en paralelo, cuando quieras: la rama de difusión (P2 U3 → U4 → U5 → NVFP4 en difusión) y el bonus de ética, que no dependen de nada más que la etapa 1.
🧭 LLM 2026 — Lo que los cursos no cubren
Cuatro capítulos cortos sobre lo que quedó fuera de los temarios originales por ser posterior: cómo está armado de verdad un modelo de 2026, por qué tiene el tamaño que tiene, y cómo se convierte en un sistema que responde con fuentes o actúa.
1. El bloque transformer de 2026
Pre-norm y RMSNorm, SwiGLU, RoPE y contexto largo, GQA, con la cuenta del KV cache de Gemma 4.
2. Mixture of Experts
Router y top-k, balanceo de carga, expertos finos y compartidos, qué se paga en memoria.
3. Scaling laws
6ND, Kaplan, Chinchilla, sobreentrenar para servir barato, y el cómputo en tiempo de prueba.
4. RAG como sistema y agentes
Seis etapas y dos mediciones, contexto largo vs. RAG, function calling, MCP, el loop del agente.
🦥 Unsloth — Fine-tuning acelerado y Triton
Optimización al nivel de silicio: kernels manuales en OpenAI Triton, SRAM vs. HBM, secuencias empacadas sin relleno, loss masking en el prompt, DPO y merge hacia vLLM, GGUF y NVFP4.
1. Arquitectura y Triton
HBM vs SRAM, backward analítico en Triton, Fused Cross Entropy, Fused RoPE y QLoRA acelerado.
2. SFT, CPT y DPO
Sequence packing con cu_seqlens, chat templates con loss masking en el prompt y matemática de DPO.
3. Merge, exportación y despliegue
Matemática del merge en 16 bits, Safetensors para vLLM, k-quants para GGUF/Ollama y puente a NVFP4.
🚀 fast.ai — Practical Deep Learning
El enfoque top-down: entrenar algo real primero, entender la teoría después — el espejo del recorrido de HF. Parte 1 completa (8 lecciones + bonus de ética) y Parte 2 completa (5 unidades condensadas: de matmul a Stable Diffusion).
1. Empezando
Deep learning sin rodeos, gatos vs. perros en 6 líneas.
2. Deployment
DataBlock API, limpiar datos con el propio modelo, out-of-domain data.
3. Fundamentos de redes
SGD, sigmoid y una red de dos capas construidas a mano.
4. NLP
ULMFiT y transfer learning en NLP, antes de los Transformers.
5. Modelo desde cero
El mismo SGD aplicado a datos tabulares (Titanic), y por qué usar un framework.
6. Random forests
Árboles, bagging, OOB error, feature importance y partial dependence.
7. Collaborative filtering
Latent factors, embeddings como atajo computacional, cold start.
8. Convoluciones
Qué es literalmente una convolución, receptive fields, batchnorm.
Bonus. Ética de datos
Recourse, feedback loops, sesgo racial, Myanmar — casos reales.
Parte 2 · U1. Framework desde cero
Matmul, backprop manual, el sistema de callbacks de miniai.
Parte 2 · U2. Por qué no explotan
Init Xavier/Kaiming, LayerNorm/BatchNorm, LSUV, ResNets.
Parte 2 · U3. Difusión desde cero
DDPM, DDIM (10× más rápido), preconditioning de Karras.
Parte 2 · U4. Autoencoders, VAE, atención
Por qué un VAE genera algo coherente y un autoencoder no.
Parte 2 · U5. Stable Diffusion completo
U-Net condicional, CLIP, guidance, textual inversion, DreamBooth.
🔥 PyTorch
Tensores, autograd, entrenamiento, y por qué es el framework por defecto en investigación e industria de LLMs hoy.
1. Tensores y datos
El tensor, in-place ops, Dataset/DataLoader.
2. nn.Module y arquitectura
Composición de módulos, por qué nunca llamás forward() directo.
3. Autograd y optimización
El DAG dinámico, por qué los gradientes se acumulan, train() vs eval().
4. Guardar, cargar y compilar
state_dict, y torch.compile: TorchDynamo/TorchInductor.
5. Por qué PyTorch ganó
Eager vs. grafo estático, el ecosistema, DDP/FSDP.
🧮 TensorFlow
Referencia comparativa frente a PyTorch, no en paralelo con la misma profundidad.
📐 Apéndices
Referencias para volver desde cualquier capítulo.
Fuentes originales: huggingface.co/learn/llm-course · pytorch.org · tensorflow.org · course.fast.ai. Contenido reescrito para estudio personal — no es una copia ni una redistribución del original.