Latencia: Inferir Localmente Supera APIs Externas

La latencia es una barrera crítica; ejecutar modelos localmente supera significativamente APIs externas en casos de uso de producción.

Hemos estado evaluando la latencia para una pipeline que involucra recuperación aumentada de generación (RAG), inicialmente usando un modelo de embedding y un modelo de lenguaje (LLM) a través de APIs externas. El impacto de la latencia de la red resultó *considerable*, especialmente bajo carga. Tiempos de respuesta que esperábamos en 200-300ms se extendían fácilmente a 1-2 segundos o más, volviendo inaceptable la experiencia del usuario. La variabilidad también era alta, con picos impredecibles que dificultaban la planificación de recursos.

La transición a ejecutar los modelos de embedding y el LLM (Ollama para el LLM, con Qdrant para el índice de vectores) localmente ha demostrado ser la solución más efectiva. Si bien el costo computacional inicial es significativo, la eliminación de la latencia de la red ha reducido los tiempos de respuesta a niveles consistentes por debajo de 200ms. LangGraph nos ayudó a orquestar el flujo de trabajo local, pero el cambio fundamental fue la eliminación del cuello de botella de la red.

Para workflows más complejos, como integraciones con plataformas de automatización (n8n), la latencia de las APIs externas se amplifica, convirtiéndose en una limitación. La reducción de la dependencia de APIs externas, incluso para tareas aparentemente simples de inferencia, ha mejorado la estabilidad, la predictibilidad y el rendimiento general. Estamos documentando patrones de optimización para la inferencia local a escala, incluyendo estrategias de caché y paralelización.

Este ejercicio resalta la importancia de la *medición* precisa de la latencia en entornos de producción, en lugar de confiar en estimaciones teóricas. La infraestructura propia puede justificar su complejidad cuando los requisitos de rendimiento son críticos.