Nomic Embed Text: Busqueda Semántica Local con IA Propia

En Buildations.com priorizamos la construcción de soluciones de inteligencia artificial adaptadas a nuestras necesidades específicas. La búsqueda semántica, la capacidad de encontrar información basada en el significado y no solo en palabras clave exactas, es un componente crucial de esta infraestructura. Si bien existen servicios gestionados para esto, nos enfocamos en tener control total sobre nuestros datos y modelos, lo que implica construir nuestras propias soluciones. En este artículo exploraremos cómo utilizamos `nomic-embed-text`, una herramienta de Nomic AI, como base para nuestra búsqueda semántica local, combinándola con Ollama para ejecutar modelos de embedding y Qdrant para indexar los vectores resultantes.

Generación de Incrustaciones (Embeddings) con Ollama y nomic-embed-text

La primera etapa es transformar el texto que queremos buscar en representaciones vectoriales, conocidas como embeddings. Estos vectores capturan la semántica del texto: textos con significados similares estarán representados por vectores cercanos en el espacio vectorial. Utilizamos `nomic-embed-text` para este proceso porque ofrece una integración sencilla y flexible con diferentes modelos de embedding.

Para ejecutar los modelos de embedding localmente, aprovechamos Ollama. Ollama simplifica enormemente la gestión y ejecución de modelos de lenguaje grandes (LLMs) en nuestra propia infraestructura. Por ejemplo, podemos ejecutar el modelo `mistralai/Mixtral-8x7B-Instruct-v0.1` con un simple comando: `ollama run mistral`. Luego configuramos `nomic-embed-text` para utilizar este modelo a través de la API de Ollama. El comando básico sería algo similar a:

```bash nomic embed --model ollama/mistral --input "Este es el texto que quiero vectorizar." ```

La elección del modelo de embedding depende de varios factores, incluyendo el tamaño del contexto (la cantidad de texto que se puede procesar a la vez), la precisión deseada y los recursos computacionales disponibles. Experimentamos con diferentes modelos para encontrar el equilibrio óptimo para nuestras necesidades.

Preparación de Datos para Indexación en Qdrant

Una vez generados los embeddings, necesitamos indexarlos para permitir búsquedas eficientes. Qdrant es un motor de vectores que ofrece una excelente combinación de rendimiento y flexibilidad. Para preparar nuestros datos para Qdrant, creamos un dataset donde cada entrada contiene: el texto original, el embedding generado por `nomic-embed-text` (a través de Ollama) y metadatos relevantes para la búsqueda (por ejemplo, fuente del documento, fecha de creación).

El proceso de indexación implica cargar este dataset en Qdrant. Qdrant permite definir diferentes métricas de distancia para comparar los vectores, lo que afecta directamente a la calidad de los resultados de búsqueda. Experimentamos con la distancia coseno y el producto interno para evaluar cuál se ajusta mejor a nuestros datos y objetivos de búsqueda. El código para indexar sería:

```python # Pseudocódigo from qdrant import QdrantClient, Distance

client = QdrantClient(host="localhost", port=6333) collection_name = "mi-coleccion-de-textos"

client.create_collection( collection_name, vectors_config=QdrantVectorConfig(distance=Distance.COSINE), # o Distance.DOTPRODUCT )

for i, texto in enumerate(lista_de_textos): embedding = nomic_embed_text(texto, model="ollama/mistral") # usando nomic-embed-text y Ollama client.add_points( collection_name, points=[{"id": str(i), "vector": embedding}] )

```

Implementación Técnica: Detalle del Flujo de Trabajo

La implementación de Nomic Embed Text se basa en un flujo de trabajo modular, diseñado para flexibilidad y escalabilidad. El núcleo reside en la generación de embeddings (vectores numéricos) a partir del texto, que luego son almacenados e indexados para su posterior búsqueda. El proceso completo se puede dividir en las siguientes etapas:

1. Ingesta y Preprocesamiento: Recibimos el texto desde diversas fuentes (archivos CSV, bases de datos PostgreSQL, APIs). Un script Python utiliza bibliotecas como `pandas` para la lectura inicial y limpieza básica del texto, incluyendo eliminación de caracteres especiales, conversión a minúsculas y tokenización.

2. Generación de Embeddings: Utilizamos un modelo de lenguaje local (actualmente un Llama 3 8B instruido) ejecutado con Ollama. Los embeddings son generados en formato `float16` para optimizar el uso de memoria. La elección del modelo es crucial; buscamos un equilibrio entre calidad de embedding y requerimientos computacionales. Experimentamos continuamente con diferentes modelos disponibles localmente a través de Ollama, evaluando su desempeño en tareas de similitud semántica.

3. Almacenamiento Vectorial: Los embeddings generados se almacenan en Qdrant, una base de datos vectorial escalable. Qdrant ofrece funcionalidades avanzadas de indexación y búsqueda aproximada de vecinos más cercanos (ANN), permitiendo realizar búsquedas rápidas en grandes conjuntos de datos. Definimos un esquema con metadatos relevantes para cada embedding (ID del documento original, fecha de creación, etc.).

4. Interfaz de Búsqueda: La interfaz de usuario interactúa con Qdrant a través de su API REST. Las consultas de búsqueda se transforman en embeddings utilizando el mismo modelo local que generó los embeddings originales. Qdrant devuelve los documentos más similares basados en la distancia coseno entre los vectores.

5. Integración y Flujos de Trabajo: Para automatizar el proceso, integramos Nomic Embed Text con n8n. Esto nos permite programar la generación periódica de embeddings a partir de fuentes de datos dinámicas (por ejemplo, nuevas entradas en una base de datos) y gestionar la sincronización entre diferentes sistemas. LangGraph se utiliza para orquestar tareas más complejas, como la creación de pipelines que refinen aún más los resultados de búsqueda o generen resúmenes basados en los documentos recuperados.

Ventajas Clave de un Enfoque Localizado

La decisión de mantener todo el proceso de generación y búsqueda de embeddings localmente ofrece ventajas significativas sobre soluciones basadas en servicios externos:

Privacidad y Seguridad: Todos los datos permanecen dentro de nuestra infraestructura, eliminando la necesidad de compartir información sensible con terceros. Esto es fundamental para cumplir con regulaciones internas y externas. Costos Predecibles: Eliminamos las dependencias de precios variables de APIs externas y obtenemos un control más preciso sobre los costos operativos. El costo principal se relaciona con el hardware (GPUs) necesario para ejecutar los modelos de lenguaje localmente. Latencia Reducida: La búsqueda es significativamente más rápida al evitar la latencia asociada a las transferencias de datos a través de Internet. Esto mejora la experiencia del usuario y permite procesar consultas en tiempo real. Personalización y Control: Tenemos control total sobre el modelo de lenguaje utilizado, los parámetros de indexación y la lógica de búsqueda, lo que nos permite optimizar el sistema para casos de uso específicos. Podemos también iterar rápidamente sobre cambios sin dependencias externas.

Consideraciones Futuras: Optimización y Expansión

El desarrollo de Nomic Embed Text es un proceso continuo. En el futuro, planeamos explorar las siguientes áreas:

Evaluación Continua del Modelo: Implementaremos un sistema automatizado para evaluar periódicamente la calidad de los embeddings generados por diferentes modelos locales, asegurando que mantengamos el modelo más óptimo en términos de precisión y eficiencia. Optimización de Qdrant: Experimentaremos con configuraciones avanzadas de Qdrant (por ejemplo, cuantificación de vectores) para reducir el tamaño del índice y mejorar la velocidad de búsqueda. Integración con LLMs para Respuesta Generativa: Combinaremos Nomic Embed Text con modelos de lenguaje más grandes para generar respuestas directas a las consultas de búsqueda, en lugar de simplemente devolver una lista de documentos relevantes. Esto implicaría usar LangGraph para construir un pipeline que recupere los documentos más pertinentes y los alimente a un LLM para la síntesis de información. Soporte para Múltiples Idiomas: Extenderemos el sistema para soportar la generación de embeddings en múltiples idiomas, ampliando así su utilidad.

Conclusión

Nomic Embed Text representa un paso importante en nuestra estrategia de construir infraestructura de IA propia. Al mantener el control total sobre el proceso de generación y búsqueda de embeddings, logramos una solución altamente segura, eficiente y adaptable a nuestras necesidades específicas. La combinación de Ollama, Qdrant, LangGraph y n8n nos permite crear un sistema robusto y flexible que se integra perfectamente con nuestra infraestructura existente.