fast.ai · Practical Deep Learning for Coders · Bonus
Ética de datos: casos reales, no principios abstractos
Dictada por Rachel Thomas, fundadora del Center for Applied Data Ethics de la Universidad de San Francisco. A diferencia de la mayoría de las secciones "de ética" en cursos técnicos, esta va con nombres, cifras y consecuencias concretas — no con generalidades sobre "usar la IA responsablemente".
1. Recourse: cuando nadie responde por el error
Arkansas implementó un algoritmo para asignar horas de cuidado médico a domicilio. Tammy Dobbs, una mujer con parálisis cerebral que necesita ayuda para levantarse, ir al baño y comer, vio sus horas de asistencia recortadas de golpe en 20 horas semanales, sin explicación. Un juicio reveló errores de implementación del software que afectaban específicamente a personas con diabetes o parálisis cerebral. Nadie asumió responsabilidad: el creador del algoritmo culpó a los funcionarios que lo aplicaron, y estos a quienes lo implementaron en el terreno. La investigadora Danah Boyd lo resume así: la burocracia siempre se usó para difuminar responsabilidad; los sistemas algorítmicos extienden esa misma burocracia, a mayor escala.
Un dato de contexto que el capítulo usa para mostrar que esto no es hipotético: en 2012, la FTC de EE.UU. encontró que el 26% de los reportes crediticios tenían al menos un error, y el 5% errores potencialmente devastadores. A un periodista le tomó más de una docena de llamadas y seis semanas corregir uno solo. Los datos siempre tienen errores — la pregunta de ética no es cómo evitarlos por completo, sino qué mecanismo de auditoría y corrección existe cuando aparecen.
2. Feedback loops: YouTube, Facebook, Meetup
YouTube (más de 1.900 millones de usuarios, 1.000 millones de horas vistas por día) tiene un algoritmo de recomendación responsable de ~70% del contenido consumido, optimizado para watch time. Esto generó un boom documentado de teorías conspirativas, y en un caso extremo, el sistema armaba playlists de videos inocentes de niños en traje de baño para pedófilos — sin que ningún ingeniero de Google lo hubiera diseñado así explícitamente. Facebook mostró el mismo patrón: unirse a un grupo antivacunas te enrutaba algorítmicamente hacia grupos anti-GMO, terraplanistas y teorías de "chemtrails".
Un feedback loop ocurre cuando un modelo controla la siguiente ronda de datos que va a recibir — quedando "contaminado" por su propio output, y amplificando sesgos pequeños de forma exponencial. Como contraejemplo positivo, el capítulo cita a Meetup.com: decidieron deliberadamente no usar género como variable para recomendar meetups de tecnología, porque detectaron que generaría un loop autorreforzante — menos mujeres verían esos eventos recomendados, y el algoritmo terminaría recomendándolos aún menos a mujeres con el tiempo.
3. Sesgo racial: COMPAS, reconocimiento facial
El algoritmo COMPAS, usado en EE.UU. para decisiones de sentencia y fianza, fue auditado por ProPublica y mostró sesgo racial claro (más probabilidad de otorgar fianza a personas blancas aunque reincidieran más). Google Photos etiquetó por error a una mujer negra y su amiga como "gorilas". El software de reconocimiento facial de Amazon (Rekognition) confundió a 28 congresistas de EE.UU. con fichas policiales, de forma desproporcionada entre personas de color.
El estudio más contundente es el de Joy Buolamwini (MIT): el sistema de IBM tenía 34,7% de error en mujeres de piel oscura, contra 0,3% en hombres de piel clara — más de 100 veces más errores. Tras la publicidad negativa, las empresas mejoraron drásticamente en menos de un año, lo cual es la parte más importante del caso: demuestra que el problema era de datasets de entrenamiento pobres, no una limitación técnica inevitable de la visión por computadora.
4. Myanmar: cuando la escala supera la responsabilidad
Una investigación de la ONU (2018) determinó que Facebook jugó un "rol determinante" en el genocidio de los rohingya. Activistas locales alertaron a Facebook desde 2013, y en 2015 les advirtieron explícitamente del paralelismo con las radios que incitaron el genocidio de Ruanda (1 millón de muertos). Pese a esto, a fines de 2015 Facebook solo tenía cuatro contratistas que hablaban birmano. Zuckerberg recién prometió contratar moderadores en 2018 — años después de iniciado el genocidio, que incluyó la quema de al menos 288 aldeas.
El contraste que marca el capítulo: Facebook contrató rápidamente 1.200 personas en Alemania para evitar multas de hasta 50 millones de euros bajo la ley alemana antidiscurso de odio. Reaccionó más rápido a una amenaza financiera regulatoria que a la destrucción de una minoría étnica — la escala de la plataforma superó por completo su capacidad (o voluntad) de moderación responsable.
5. Una taxonomía de bias, no solo "los datos están sesgados"
El capítulo toma de Suresh & Guttag (MIT) cuatro categorías concretas, no una noción vaga de "sesgo":
| Tipo | Qué es | Ejemplo del capítulo |
|---|---|---|
| Historical bias | El sesgo ya existe en la sociedad, antes de tocar los datos | Médicos recomiendan menos cateterismo cardíaco a pacientes negros; vendedores de autos ofrecen precios iniciales US$700 más altos a compradores negros |
| Measurement bias | Se mide mal la variable objetivo | Un modelo para predecir ACV usando historia clínica encontró que "sinusitis" era predictor top — en realidad mide quién fue al médico, no quién tuvo un ACV |
| Aggregation bias | Se ignoran interacciones o variables relevantes | Tratamiento de diabetes basado en estadísticas univariadas que ignoran diferencias reales por etnia/género |
| Representation bias | El modelo no solo refleja sino que amplifica el desbalance real | 14,6% de cirujanos en el dataset eran mujeres; el modelo solo predijo 11,6% como mujeres |
Tener nombres distintos para cada mecanismo importa porque la solución es distinta en cada caso: más datos no arregla un measurement bias si la variable que se mide está mal definida desde el origen.
6. Preguntas concretas antes de desplegar
Lista de Rachel Thomas para analizar cualquier proyecto antes de lanzarlo:
- ¿Deberíamos siquiera estar haciendo esto?
- ¿Qué sesgo hay en los datos?
- ¿Pueden auditarse el código y los datos?
- ¿Cuáles son las tasas de error para distintos subgrupos?
- ¿Cuál es la precisión de una alternativa simple basada en reglas?
- ¿Qué proceso existe para manejar apelaciones o errores?
- ¿Qué tan diverso es el equipo que construyó esto?
Prácticas organizacionales sugeridas: barridos éticos periódicos (como pentesting), ampliar el círculo de gente consultada más allá del equipo técnico, y un ejercicio deliberado de pensar como "la gente terrible" — cómo actores maliciosos podrían abusar, robar o armar lo que estás construyendo.
7. El vacío de este capítulo: no hay LLMs generativos acá
🟢 Lo que este capítulo de 2020 no podía anticipar
El capítulo menciona "texto autogenerado como desinformación" como riesgo emergente, citando la propuesta de Oren Etzioni de firmar digitalmente contenido verificado — pero no podía anticipar la escala real que tomó con GPT-3/4. No hay ninguna mención de jailbreaking o prompt injection, RLHF o alineación como mitigación (el concepto ni existía en el discurso público en 2020), deepfakes generativos con modelos de difusión (Stable Diffusion es de 2022), litigios por derechos de autor sobre datos de entrenamiento (NYT vs. OpenAI, artistas vs. Stability AI, todos de 2023 en adelante), ni la industria de AI safety/alignment que se consolidó después. El marco conceptual del capítulo (recourse, feedback loops, la taxonomía de Suresh & Guttag) sigue siendo la base correcta — pero los ejemplos concretos de riesgo específicos de LLMs generativos simplemente no estaban en el radar de nadie todavía.
Vale la pena leer este capítulo precisamente por ese contraste: el marco (quién responde, cómo se amplifican los sesgos, qué tipo de sesgo es cada caso) es tan aplicable a un LLM de 2026 como a un algoritmo de asignación de horas de cuidado médico de 2018 — lo que cambió es la escala y la velocidad a la que estos sistemas ahora se despliegan.
8. Resumen
- La falta de recourse (vías de apelación) es, según el capítulo, el problema estructural más común en sistemas algorítmicos desplegados a escala.
- Los feedback loops amplifican sesgos pequeños hacia extremos, sin que nadie lo haya diseñado explícitamente así.
- El sesgo algorítmico documentado (COMPAS, reconocimiento facial) no es una limitación técnica inevitable — mejora rápido cuando hay presión pública real.
- La taxonomía de Suresh & Guttag (historical, measurement, aggregation, representation bias) importa porque cada tipo necesita una solución distinta.
- El capítulo es de 2020 y no anticipa ningún riesgo específico de LLMs generativos — pero su marco conceptual sigue siendo la base correcta para pensarlos.