Latencia Real: Inferencias Locales vs. API Externa

La diferencia de latencia entre inferencias realizadas localmente y a través de una API externa es significativamente mayor de lo que inicialmente se anticipó, impactando directamente el rendimiento percibido por los usuarios.

En Buildations estamos optimizando flujos de trabajo basados en modelos de lenguaje (LLMs) para tareas como extracción de información y generación de resúmenes. Inicialmente, la infraestructura usaba una API externa para las inferencias. Para evaluar el impacto de trasladar estas inferencias a un entorno local, implementamos un sistema de medición de latencia granular. La sorpresa fue que el tiempo de respuesta, desde la solicitud del usuario hasta la entrega de la respuesta, era consistentemente más lento con la API externa, incluso considerando el overhead de inicio del modelo local en las primeras ejecuciones.

El análisis reveló que la mayor parte de la latencia adicional no se debía a la inferencia en sí misma (que es relativamente rápida tanto localmente como remotamente). La fuente principal eran los tiempos de ida y vuelta de red, incluyendo la serialización/deserialización de datos, el overhead del protocolo HTTP, y las fluctuaciones inherentes a la conectividad. Para reproducir este patrón, hemos experimentado con diferentes modelos usando Ollama para la inferencia local y comparado con una API externa; los resultados son consistentes: la latencia red es un factor dominante.

Además de la latencia promedio, observamos una variabilidad considerable en el rendimiento de la API externa debido a la carga del servidor remoto. Esto se traduce en una experiencia inconsistente para el usuario final. Implementar LangGraph nos permitió modelar estos flujos de trabajo y simular diferentes escenarios de carga, confirmando que incluso pequeñas fluctuaciones en la disponibilidad o capacidad de respuesta de la API tienen un impacto directo en la latencia total. La combinación con n8n facilita la orquestación y el monitoreo de estos procesos, permitiéndonos detectar anomalías rápidamente.

Finalmente, esta evaluación ha reforzado nuestra decisión de priorizar la inferencia local para tareas críticas en términos de rendimiento. Aunque la configuración inicial requiere más inversión, los beneficios a largo plazo en términos de latencia predecible y control sobre el entorno superan con creces las desventajas. Qdrant se utiliza para el almacenamiento vectorial del contexto necesario para algunas inferencias; la proximidad física a estos datos también contribuye a una menor latencia.