Desestabilización de Embeddings al Cambiar el Modelo Base

Actualizar el modelo base subyacente provoca una deriva significativa en los embeddings existentes, impactando la precisión de la búsqueda semántica.

Estábamos migrando nuestro pipeline de información de un modelo de embeddings `text-embedding-ada-002` a uno más reciente (`text-embedding-3-small`). Inicialmente, la integración se realizó sin problemas usando Ollama para servir los modelos. Sin embargo, la evaluación de las consultas a través de LangGraph reveló una disminución abrupta en la relevancia de los resultados recuperados desde Qdrant. La raíz del problema residía en la alteración del espacio vectorial causado por el cambio de modelo. Los embeddings que previamente representaban conceptos de manera similar, ahora estaban significativamente desplazados, invalidando las relaciones semánticas previamente codificadas.

La severidad de esta deriva fue sorprendente. Aunque se esperaban diferencias, la magnitud del cambio requirió una reindexación completa de todo nuestro corpus. Intentos de calibración o ajuste fino (fine-tuning) superficiales de la capa de búsqueda no lograron restaurar la precisión anterior. Este hallazgo resalta la importancia de considerar la compatibilidad vectorial entre modelos base al implementar sistemas de búsqueda semántica o conocimiento.

Para mitigar el impacto en futuras actualizaciones, estamos implementando un sistema de comparación automatizado de embeddings pre y post-migración. Este sistema usa una muestra representativa de datos para cuantificar la deriva y determinar si se requiere una reindexación completa o estrategias más complejas como el uso de una capa de ajuste fino antes de la inserción en Qdrant. Exploramos además n8n para automatizar este proceso de evaluación y potencial mitigación, incluyendo la ejecución de scripts de validación y el disparo de alertas.

Finalmente, la lección aprendida es clara: la migración de modelos de embeddings es un cambio fundamental que requiere una validación exhaustiva y un plan de rollback potencial, en lugar de una actualización "plug-and-play". La estabilidad de la búsqueda semántica depende de la integridad del espacio vectorial, y cualquier alteración significativa puede tener consecuencias significativas.