Drafts de IA: Cuándo Aceptar, Cuándo Regenerar

El costo computacional de regenerar respuestas de IA es significativo; definir criterios claros para aceptar un draft inicial mejora la eficiencia.

En el flujo de trabajo de generación de contenido asistida por IA, la decisión de aceptar un draft inicial o solicitar una regeneración es crucial. Una regeneración implica un nuevo ciclo completo de procesamiento, consumiendo recursos (GPU, RAM, tiempo). La tendencia inicial es regenerar a la menor inconsistencia, pero esta práctica es insostenible. Hemos identificado dos patrones principales que informan esta decisión: la criticidad de la información y la naturaleza de la inconsistencia. Si la información es crucial para el objetivo (por ejemplo, datos factuales en una documentación técnica), la tolerancia a errores es baja y la regeneración es la opción segura.

La naturaleza de la inconsistencia también es determinante. Errores menores de estilo o tono pueden ser corregidos manualmente con menor costo que una regeneración. En cambio, inconsistencias lógicas, contradicciones internas, o desviaciones significativas del prompt original son indicativos de un problema fundamental en la comprensión del modelo y justifican una regeneración. Para evaluar la lógica, estamos experimentando con LangGraph para crear evaluaciones automáticas de la coherencia de las respuestas, especialmente cuando se generan secuencias complejas.

Para automatizar la decisión, estamos explorando un sistema basado en umbrales. Por ejemplo, podríamos usar un modelo de clasificación entrenado para evaluar la calidad de un draft, asignando una puntuación. Si la puntuación está por debajo de un umbral predefinido (ajustado en función del costo computacional de regeneración y el costo del esfuerzo manual), se solicita una regeneración. Esta puntuación podría incorporar factores como la longitud de la respuesta, la presencia de frases cliché (identificadas con un modelo de detección de patrones), y la confianza del modelo en la respuesta (si está disponible).

En tareas donde la información es menos crítica o las inconsistencias son superficiales, estamos utilizando n8n para automatizar la corrección manual de drafts iniciales. Esto implica ejecutar workflows que aplican transformaciones de texto, como corrección ortográfica, reestructuración de frases, y sustitución de sinónimos. Ollama nos permite ejecutar modelos de lenguaje de forma local para estas correcciones, reduciendo la dependencia de APIs externas y mejorando la velocidad. Qdrant está siendo utilizado para indexar y buscar patrones de errores comunes, facilitando la creación de reglas de corrección más precisas.