Image for post Alineación de LLMs con Preferencias Humanas: De RLHF a DPO y KTO en la Práctica

Alineación de LLMs con Preferencias Humanas: De RLHF a DPO y KTO en la Práctica

Escrito por Sergio Márquez

En el vertiginoso mundo de la Inteligencia Artificial, los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades asombrosas, desde la generación de texto coherente hasta la resolución de problemas complejos. Sin embargo, un LLM pre-entrenado, por muy potente que sea, a menudo carece de la capacidad de alinearse con las sutilezas de las preferencias humanas, los valores éticos o las instrucciones específicas del usuario. Aquí es donde entra en juego la alineación de modelos, un paso crítico para transformar modelos brutos en asistentes útiles, seguros y confiables.

El Contexto del Problema: Más Allá del Pre-entrenamiento

Los LLMs se pre-entrenan en vastas cantidades de datos textuales para aprender patrones lingüísticos, hechos y razonamiento general. Sin embargo, este proceso no garantiza que el modelo se comporte de la manera deseada en escenarios del mundo real. Por ejemplo, un modelo podría generar respuestas tóxicas, irrelevantes, o simplemente no seguir las instrucciones de un usuario de forma precisa. La brecha entre lo que un modelo puede generar y lo que debe generar es lo que la alineación busca cerrar. [2, 3]

La alineación es fundamental para:

  • Seguridad y Ética: Evitar la generación de contenido dañino, sesgado o inapropiado. [15]
  • Utilidad y Relevancia: Asegurar que las respuestas sean útiles, informativas y pertinentes al contexto del usuario. [2]
  • Seguimiento de Instrucciones: Capacitar al modelo para comprender y ejecutar instrucciones complejas, incluso si no están explícitamente definidas. [4]

Fundamento Teórico: De RLHF a la Optimización Directa

Reinforcement Learning from Human Feedback (RLHF)

RLHF (Reinforcement Learning from Human Feedback) ha sido la técnica estándar y más influyente para alinear LLMs con las preferencias humanas, popularizada por modelos como ChatGPT. [2, 5, 12] Su objetivo es entrenar un modelo para que genere respuestas que maximicen una 'recompensa' basada en el juicio humano. [8, 9]

El proceso de RLHF se descompone típicamente en tres fases principales: [1, 2, 11, 19]

  1. Supervised Fine-Tuning (SFT): Se parte de un LLM pre-entrenado y se le aplica un ajuste fino supervisado en un conjunto de datos de alta calidad de pares de (prompt, respuesta ideal). Esto ayuda al modelo a aprender a generar respuestas en el formato esperado y a seguir instrucciones básicas. [9, 10, 12, 19]
  2. Entrenamiento del Modelo de Recompensa (Reward Model - RM): Aquí es donde la retroalimentación humana es crucial. Se recopilan múltiples respuestas del LLM para un mismo prompt, y evaluadores humanos las clasifican o puntúan según su preferencia (por ejemplo, cuál es mejor o peor). [1, 3, 8, 9] Con estos datos de preferencia, se entrena un modelo de recompensa separado. Este RM aprende a predecir una puntuación escalar que representa cuán 'buena' es una respuesta desde la perspectiva humana. [3, 6, 8, 9, 10, 19]
  3. Optimización de la Política con Aprendizaje por Refuerzo: Finalmente, el LLM original se ajusta utilizando un algoritmo de Aprendizaje por Refuerzo (RL), comúnmente Proximal Policy Optimization (PPO). [2, 10, 12, 19] El RM actúa como la función de recompensa, guiando al LLM (el 'agente') para generar respuestas que obtengan puntuaciones altas del RM. El modelo aprende a través de ensayo y error, ajustando sus pesos para maximizar la recompensa predicha, con una penalización para evitar que se desvíe demasiado del modelo SFT inicial. [1, 2, 6, 8]

Limitaciones y Desafíos de RLHF

Aunque RLHF ha sido revolucionario, no está exento de desafíos: [7, 12, 15, 18]

  • Complejidad Computacional: Requiere entrenar y mantener múltiples modelos (LLM, RM) y un costoso bucle de RL. [7, 15]
  • Recolección de Datos: La obtención de datos de preferencia humana de alta calidad es costosa, lenta y subjetiva. [7, 15, 18]
  • Inestabilidad del Entrenamiento: Los algoritmos de RL, como PPO, pueden ser difíciles de ajustar y propensos a la inestabilidad. [18]
  • Sesgo del Anotador: Los sesgos inherentes en los evaluadores humanos pueden ser codificados en el RM y, por ende, en el LLM final. [7, 11]
  • 'Reward Hacking': El modelo puede aprender a explotar imperfecciones en el RM para obtener altas recompensas sin mejorar genuinamente la calidad de la respuesta. [18]

Alternativas a RLHF: DPO y KTO

Dada la complejidad de RLHF, han surgido alternativas que buscan simplificar el proceso de alineación, eliminando la necesidad de un modelo de recompensa explícito o el bucle de RL. [17, 22, 23]

Direct Preference Optimization (DPO)

DPO (Direct Preference Optimization) es una de las alternativas más destacadas. Propuesta en 2023, DPO elimina la necesidad de entrenar un modelo de recompensa separado y de usar un algoritmo de RL complejo como PPO. [1, 17, 22, 23, 24]

La idea central de DPO es que existe una relación analítica entre una función de recompensa y la política óptima de un modelo. DPO reformula el problema de alineación como una tarea de clasificación binaria simple: dado un par de respuestas (una preferida y una rechazada) para un prompt, el modelo aprende directamente a asignar una mayor probabilidad a la respuesta preferida. [1, 23, 24] Esto se logra optimizando una función de pérdida que compara las probabilidades logarítmicas de las respuestas preferidas y no preferidas, directamente en el LLM. [8, 22]

Ventajas de DPO:

  • Simplicidad: No requiere un RM ni un algoritmo de RL. [24]
  • Estabilidad: Es más estable y fácil de implementar que RLHF con PPO. [1]
  • Eficiencia Computacional: Reduce significativamente los costos de entrenamiento. [22, 24]
  • Rendimiento Comparable: A menudo logra un rendimiento comparable o superior a RLHF. [22, 23]

Limitaciones de DPO:

  • Puede ser susceptible al sesgo de longitud (favorecer respuestas más largas). [23]
  • Puede sobreajustarse a los datos de preferencia si el conjunto es limitado. [23]

Kahneman-Tversky Optimization (KTO)

KTO (Kahneman-Tversky Optimization) es otra alternativa emergente que se basa en la teoría de la prospectiva de Kahneman y Tversky. A diferencia de DPO, KTO no requiere datos de preferencia explícitos (pares de 'preferido'/'rechazado'). En su lugar, puede utilizar datos de 'bueno'/'malo' o incluso datos no emparejados. [17, 21]

KTO se enfoca en maximizar la utilidad de las respuestas deseadas y minimizar la desutilidad de las respuestas no deseadas, incluso cuando no hay una comparación directa. Esto lo hace más robusto frente a datos ruidosos o incompletos. [21]

Ventajas de KTO:

  • Flexibilidad de Datos: Puede trabajar con datos de preferencia menos estructurados. [21]
  • Robustez: Menos susceptible a la inestabilidad y al sobreajuste que DPO en ciertos escenarios. [21]
  • No requiere SFT previo: A diferencia de DPO, KTO puede funcionar bien sin una fase de SFT explícita, lo que puede reducir aún más la complejidad. [21]

Implementación Práctica con Hugging Face TRL

La librería trl (Transformers Reinforcement Learning) de Hugging Face es una herramienta excelente para implementar técnicas de alineación como RLHF, DPO y KTO. Aunque una implementación completa de RLHF es extensa, trl simplifica enormemente DPO y KTO.

Preparación de Datos de Preferencia

Para DPO, necesitamos un dataset con prompts, respuestas preferidas y respuestas rechazadas. Para KTO, podemos usar prompts con respuestas 'buenas' o 'malas' (o incluso solo 'buenas').


from datasets import Dataset

# Ejemplo de datos para DPO
data_dpo = [
    {"prompt": "Escribe un poema sobre la IA", "chosen": "La IA, un sueño digital, en el código su alma se halla.", "rejected": "La IA es un programa de computadora."},
    {"prompt": "Explica la relatividad", "chosen": "La teoría de la relatividad de Einstein describe cómo el espacio y el tiempo están interconectados...", "rejected": "La relatividad es difícil de entender."}
]

dataset_dpo = Dataset.from_list(data_dpo)

# Ejemplo de datos para KTO (solo respuestas 'buenas' o 'malas')
data_kto = [
    {"prompt": "¿Cuál es la capital de Francia?", "response": "París", "label": 1}, # 1 para bueno
    {"prompt": "¿Cuál es la capital de Francia?", "response": "Berlín", "label": 0}  # 0 para malo
]

dataset_kto = Dataset.from_list(data_kto)

# En un escenario real, estos datasets provendrían de anotación humana.

Implementación de DPO con DPOTrainer

El DPOTrainer de trl abstrae gran parte de la complejidad. Solo necesitamos un modelo base, un tokenizador y el dataset de preferencias.


from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import DPOTrainer, SFTTrainer
import torch

# 1. Cargar un modelo pre-entrenado y su tokenizador
model_name = "HuggingFaceH4/zephyr-7b-beta" # O cualquier otro LLM base
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token # Importante para padding

# Cargar el modelo para DPO
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
model_ref = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16) # Modelo de referencia

# 2. Configurar los argumentos de entrenamiento
# Nota: En un entorno de producción, ajustar learning_rate, num_train_epochs, etc.
# y usar un dataset mucho más grande y diverso.

training_args = {
    "per_device_train_batch_size": 4,
    "gradient_accumulation_steps": 1,
    "learning_rate": 5e-5,
    "num_train_epochs": 1,
    "logging_steps": 10,
    "output_dir": "./dpo_results",
    "optim": "paged_adamw_8bit",
    "warmup_steps": 100,
    "report_to": "none", # O "wandb", "tensorboard"
}

# 3. Inicializar el DPOTrainer
dpo_trainer = DPOTrainer(
    model,
    model_ref,
    args=training_args,
    train_dataset=dataset_dpo,
    tokenizer=tokenizer,
    peft_config=None, # Usar PEFT (LoRA) para modelos grandes
    beta=0.1, # Parámetro de DPO, ajusta la fuerza de la penalización KL
)

# 4. Entrenar el modelo
dpo_trainer.train()

print("Entrenamiento DPO completado.")

Implementación de KTO con KTOTrainer

La implementación de KTO es similar, utilizando el KTOTrainer y un dataset con la estructura adecuada.


from trl import KTOTrainer

# Cargar el modelo y tokenizador (igual que para DPO)
# ... (código de carga de model y tokenizer)

# Configurar los argumentos de entrenamiento para KTO
kto_training_args = {
    "per_device_train_batch_size": 4,
    "gradient_accumulation_steps": 1,
    "learning_rate": 5e-5,
    "num_train_epochs": 1,
    "logging_steps": 10,
    "output_dir": "./kto_results",
    "optim": "paged_adamw_8bit",
    "warmup_steps": 100,
    "report_to": "none",
}

# Inicializar el KTOTrainer
kto_trainer = KTOTrainer(
    model,
    args=kto_training_args,
    train_dataset=dataset_kto,
    tokenizer=tokenizer,
    peft_config=None, # Usar PEFT (LoRA) para modelos grandes
    beta=0.1, # Parámetro de KTO
)

# Entrenar el modelo
kto_trainer.train()

print("Entrenamiento KTO completado.")

Aplicaciones Reales de la Alineación de LLMs

La alineación de LLMs es un componente esencial en la construcción de sistemas de IA robustos y responsables. Sus aplicaciones son vastas: [3, 11]

  • Chatbots y Asistentes Virtuales: Asegurar que los asistentes conversacionales sean útiles, no tóxicos y sigan el tono y estilo deseado. Modelos como ChatGPT (OpenAI), Claude (Anthropic) y Gemini (Google) utilizan variantes de RLHF para su alineación. [2, 3, 11]
  • Generación de Contenido: Crear contenido que cumpla con directrices específicas de seguridad, estilo o marca.
  • Moderación de Contenido: Desarrollar sistemas que identifiquen y filtren contenido inapropiado de manera más efectiva.
  • Educación: Generar explicaciones claras y precisas que se adapten al nivel de comprensión del estudiante.
  • Sistemas de Recomendación: Personalizar recomendaciones de manera que sean relevantes y no sesgadas.

Mejores Prácticas y Consideraciones

Para maximizar la efectividad de la alineación de LLMs, considere las siguientes mejores prácticas: [13]

  • Calidad y Diversidad de Datos de Preferencia: La calidad de los datos de retroalimentación humana es primordial. Asegúrese de que los anotadores estén bien capacitados y que el dataset cubra una amplia gama de escenarios y posibles modos de fallo del LLM. [7, 11, 13]
  • Mitigación de Sesgos: Implemente estrategias para identificar y reducir los sesgos en los datos de anotación. La diversidad del equipo de anotadores y la definición clara de estándares de etiquetado son cruciales. [7, 13]
  • Evaluación Rigurosa: Las métricas tradicionales de NLP no siempre capturan la calidad de la alineación. Complemente con evaluaciones humanas continuas (evaluación lado a lado) y métricas específicas de seguridad y utilidad. [7, 18]
  • Consideraciones Computacionales: La alineación, incluso con DPO/KTO, puede ser intensiva. Utilice técnicas de paralelización, cuantización y optimización de memoria (como PEFT/LoRA) para modelos grandes. [7]
  • Monitoreo en Producción: Una vez desplegado, monitoree continuamente el comportamiento del modelo para detectar desviaciones y posibles 'reward hacking'.
  • Iteración: La alineación es un proceso iterativo. Recopile continuamente feedback, refine sus datasets y re-entrene sus modelos.

Aprendizaje Futuro y Recursos

El campo de la alineación de LLMs está en constante evolución. Más allá de RLHF, DPO y KTO, existen otras técnicas emergentes como Identity Preference Optimization (IPO), Odds Ratio Preference Optimization (ORPO) y Self-Play Fine-tuning (SPIN), que buscan abordar diferentes aspectos de la alineación y la eficiencia. [17]

Para profundizar, explore la documentación de la librería trl de Hugging Face, que ofrece ejemplos y guías detalladas. Considere también cursos especializados en alineación de LLMs y MLOps para comprender mejor cómo integrar estas técnicas en pipelines de producción.

La capacidad de alinear LLMs con las preferencias humanas es lo que realmente desbloquea su potencial para aplicaciones del mundo real. Al comprender y aplicar técnicas como RLHF, DPO y KTO, los desarrolladores pueden construir sistemas de IA más seguros, útiles y alineados con los valores humanos.

Volver al blog