Image for post Cómo utilizar decoradores en Python para implementar un sistema avanzado de tracking de experimentos en IA

Cómo utilizar decoradores en Python para implementar un sistema avanzado de tracking de experimentos en IA

Escrito por Sergio Márquez

Introducción: El reto del tracking de experimentos en IA

En proyectos de Inteligencia Artificial (IA) y Machine Learning (ML), un aspecto fundamental para garantizar la reproducibilidad, la comparabilidad y el avance continuo es el seguimiento preciso de los experimentos. Estos suelen involucrar la ejecución y evaluación de numerosos entrenamientos de modelos con diferentes hiperparámetros, arquitecturas y datos. Mantener un registro consistente y estructurado de estos entrenamientos es un desafío que puede complicar rápidamente la gestión y análisis.

Afortunadamente, Python ofrece poderosas características que permiten diseñar sistemas robustos, modulares y escalables para tracking de experimentos. En este artículo, exploraremos cómo implementar un sistema avanzado de seguimiento de experimentos mediante decoradores en Python.

¿Por qué usar decoradores para tracking de experimentos?

  • Modularidad: Los decoradores permiten separar claramente la lógica de tracking del código principal de entrenamiento.
  • Reutilización: Se pueden aplicar fácilmente a diferentes funciones para capturar métricas, parámetros y resultados sin modificar el código base.
  • Mantenimiento sencillo: La lógica de tracking centralizada facilita su modificación y extensión.
  • Integración con context managers y type hints: Para una gestión eficiente de recursos y validación estática del código.

Implementación básica: un decorador para tracking

Comencemos con una implementación sencilla que registre inicio y fin de cada experimento, con tiempos y parámetros.

import time
from typing import Callable, Any, Dict, TypeVar, cast

F = TypeVar('F', bound=Callable[..., Any])

experiments_log = []

def experiment_tracker(func: F) -> F:
    """Decorador que registra parámetros, tiempos y resultado de una función de entrenamiento."""

    def wrapper(*args: Any, **kwargs: Any) -> Any:
        start_time = time.time()

        # Registrar parámetros de la función (hiperparámetros típicos)
        print(f"[TRACKER] Iniciando {func.__name__} con args: {args}, kwargs: {kwargs}")

        result = func(*args, **kwargs)

        end_time = time.time()
        duration = end_time - start_time

        # Guardar en log global (podría ser persistido en archivo o DB)
        experiments_log.append({
            'func': func.__name__,
            'args': args,
            'kwargs': kwargs,
            'result': result,
            'duration_sec': duration
        })
        print(f"[TRACKER] Finalizado {func.__name__} en {duration:.2f}s")

        return result

    return cast(F, wrapper)

# Ejemplo de función de entrenamiento ficticia
@experiment_tracker
def train_model(epochs: int, learning_rate: float) -> float:
    time.sleep(0.1)  # Simula entrenamiento
    accuracy = 0.8 + (learning_rate * 0.1)  # Resultado simulado
    return accuracy

if __name__ == '__main__':
    acc = train_model(epochs=10, learning_rate=0.01)
    print(f"Accuracy: {acc}")

Este prototipo captura los parámetros de entrada, mide la duración y guarda los resultados en un registro global, demostrando la flexibilidad de los decoradores para tracking.

Extensión con context managers y persistencia de resultados

Para proyectos reales, la gestión de recursos (conexiones a bases de datos, archivos de log) y la persistencia son vitales. Emplear un context manager dentro del decorador permite manejar esto elegantemente.

import json
from contextlib import contextmanager

@contextmanager
def experiment_session(log_path: str):
    print(f"[SESSION] Abriendo registro en {log_path}")
    # Podría abrir conexión o archivo
    yield
    print(f"[SESSION] Cerrando registro {log_path}")


def experiment_tracker_v2(log_path: str):
    def decorator(func: F) -> F:
        def wrapper(*args: Any, **kwargs: Any) -> Any:
            with experiment_session(log_path):
                start = time.time()
                result = func(*args, **kwargs)
                end = time.time()

                log_entry = {
                    'function': func.__name__,
                    'args': args,
                    'kwargs': kwargs,
                    'result': result,
                    'duration': end - start
                }

                with open(log_path, 'a', encoding='utf-8') as f:
                    f.write(json.dumps(log_entry) + '\n')

                return result
        return cast(F, wrapper)
    return decorator

@experiment_tracker_v2('experiments.log')
def train(epochs: int):
    time.sleep(0.05 * epochs)  # Simula
    return {'accuracy': 0.85 + epochs * 0.005}

if __name__ == '__main__':
    r = train(20)
    print(f"Resultado: {r}")

Así garantizamos una apertura y cierre seguros del registro, integrando prácticas modernas de manejo de recursos con context managers.

Implementación avanzada: tracking con type hints y callbacks personalizados

Para proyectos de IA más complejos, se suele requerir la integración con sistemas como MLflow o la ejecución de callbacks personalizados durante el entrenamiento. Integrar type hints mejora la legibilidad y robustez, mientras que callbacks permiten ejecutar acciones específicas.

from typing import Protocol, Optional

class ExperimentCallback(Protocol):
    def on_start(self, func_name: str, params: Dict[str, Any]) -> None: ...
    def on_end(self, func_name: str, result: Any, duration: float) -> None: ...

class PrintCallback:
    def on_start(self, func_name: str, params: Dict[str, Any]) -> None:
        print(f"[CALLBACK] Comenzando {func_name} con {params}")
    def on_end(self, func_name: str, result: Any, duration: float) -> None:
        print(f"[CALLBACK] Terminado {func_name} en {duration:.2f}s con resultado: {result}")


def experiment_tracker_cb(callback: Optional[ExperimentCallback] = None):
    def decorator(func: F) -> F:
        def wrapper(*args: Any, **kwargs: Any) -> Any:
            params = {'args': args, 'kwargs': kwargs}
            if callback:
                callback.on_start(func.__name__, params)

            start = time.time()
            result = func(*args, **kwargs)
            end = time.time()

            if callback:
                callback.on_end(func.__name__, result, end - start)

            return result

        return cast(F, wrapper)
    return decorator

# Uso del decorador con callback
print_cb = PrintCallback()

@experiment_tracker_cb(print_cb)
def train_model_adv(epochs: int, lr: float) -> float:
    time.sleep(0.02 * epochs)
    return 0.75 + lr

if __name__ == '__main__':
    acc = train_model_adv(epochs=15, lr=0.01)
    print(f"Accuracy avanzado: {acc}")

Esta versión basada en callbacks conformes a Protocol de typing permite extender el sistema con múltiples mecanismos de tracking, desde logging, métricas a integraciones con dashboard o servicios externos.

Comparativa entre enfoques y mejores prácticas

Enfoque Ventajas Consideraciones Uso típico
Decorador simple Fácil de implementar y usar; buena para prototipos Limitado para manejo avanzado; no gestion de recursos Experimentos rápidos y prototipos
Decorador + Context Managers Gestión segura de recursos; persistencia estructurada Más complejo; requiere manejar excepciones Proyectos con logging persistente
Decorador con Callbacks y Type Hints Extensible, fuerte tipado, integrado con sistemas externos Mayor curva de aprendizaje; requiere diseño cuidadoso Sistemas de tracking profesionales y escalables

Conclusión: Python como catalizador de sistemas robustos de tracking en IA

La capacidad de Python para manipular funciones mediante decoradores, combinada con características avanzadas como context managers, type hints y protocolos, lo convierten en una herramienta ideal para diseñar sistemas de tracking de experimentos modulares y potentes.

Implementar un sistema de tracking con decoradores:

  1. Facilita la integración sin invasión en lógica base.
  2. Permite añadir funcionalidades adicionales mediante callbacks.
  3. Mejora la mantenibilidad y adaptabilidad en proyectos IA/ML a escala.

Así, Python potencia una gestión eficiente, reproducible y escalable en el entrenamiento de modelos, facilitando la aceleración y calidad en proyectos de Inteligencia Artificial.

Volver al blog