Calibración Empírica de Thresholds Anti-Duplicado

La precisión de la eliminación de duplicados depende críticamente de umbrales ajustados empíricamente, influenciados por la granularidad de los datos y el modelo de embedding utilizado.

En nuestro trabajo con la ingestión y procesamiento de datos, la eliminación de duplicados es una etapa crucial para evitar sesgos y redundancia. Inicialmente, adoptamos un umbral de similitud basado en la distancia coseno de los embeddings generados. Sin embargo, observamos falsos positivos (documentos distintos marcados como duplicados) y falsos negativos (duplicados no detectados) con una frecuencia inaceptable. La raíz del problema radica en que un umbral único no puede adaptarse a la variabilidad inherente en la calidad de los embeddings y la semántica de los documentos.

Nuestro enfoque actual se centra en la calibración empírica. Esto implica evaluar el rendimiento del sistema con un conjunto de datos de validación anotado manualmente, variando el umbral y midiendo la precisión y el recall. Para facilitar esta evaluación, estamos usando Ollama para ejecutar localmente un modelo de embeddings, y Qdrant para almacenar y buscar los embeddings. El proceso es iterativo: ajustamos el umbral, evaluamos, ajustamos de nuevo. El objetivo no es encontrar un umbral "perfecto", sino uno que equilibre la precisión y el recall dentro de límites aceptables para la aplicación específica.

Un patrón emergente es que la granularidad de los datos impacta significativamente la elección del umbral. Documentos con un alto grado de varianza interna (por ejemplo, resúmenes de noticias que cubren el mismo evento pero con diferentes enfoques) requieren umbrales más altos para evitar falsos positivos. Por el contrario, si la tarea es identificar duplicados exactos (por ejemplo, copias de un mismo informe), un umbral más bajo es apropiado. Para automatizar la evaluación y el ajuste, estamos explorando el uso de LangGraph para orquestar el flujo de trabajo, desde la generación de embeddings hasta el cálculo de métricas y la modificación del umbral.

Finalmente, estamos integrando n8n para automatizar la re-ejecución de pipelines de procesamiento de datos con umbrales ajustados. Esto permite validar el impacto de los cambios en el umbral en el conjunto de datos completo, asegurando que la mejora observada en el conjunto de validación se traduce en un mejor rendimiento general. La clave es tratar el umbral anti-duplicado como un hiperparámetro que requiere ajuste continuo a medida que evoluciona el conjunto de datos y los modelos de embedding.