Comparativa de Quantizaciones Q4_K_M, Q5_K_M y Q8 en Gemma 3B 12B

La quantización a Q4_K_M ofrece una reducción significativa en el tamaño del modelo con una degradación aceptable del rendimiento en Gemma 3B 12B, superando a Q5_K_M y Q8 en eficiencia.

Hemos estado evaluando el impacto de diferentes esquemas de quantización en el modelo Gemma 3B 12B, específicamente comparando las variantes Q4_K_M, Q5_K_M y Q8. El objetivo es encontrar un equilibrio óptimo entre tamaño del modelo, velocidad de inferencia y precisión. Utilizamos Ollama para gestionar los modelos quantizados y facilitar la experimentación. Los resultados iniciales muestran una clara correlación entre el nivel de quantización y el rendimiento.

La quantización Q8, si bien mantiene una mayor precisión en comparación con las opciones de menor bitaje, resulta ser significativamente más pesada en términos de recursos. La diferencia de rendimiento entre Q8 y Q5_K_M es marginal en muchos casos de uso, pero el tamaño del modelo resultante es sustancialmente mayor. Q5_K_M ofrece un compromiso, pero en la mayoría de las pruebas, no justifica la ligera mejora en la precisión sobre Q4_K_M.

La quantización a Q4_K_M presenta un perfil de rendimiento sorprendentemente robusto. La reducción en el tamaño del modelo es considerable, permitiendo una inferencia más rápida y un menor consumo de memoria. En tareas de generación de texto y respuesta a preguntas, la degradación en la calidad de la salida fue mínima y, en algunos casos, indistinguible de la versión no quantizada. Para construir flujos de trabajo más complejos, como pipelines de extracción de información con LangGraph, la reducción de la huella de memoria de Q4_K_M es especialmente valiosa.

Para automatizar el proceso de evaluación y comparación, estamos integrando estas pruebas en un flujo de trabajo con n8n, permitiendo la ejecución y el registro de resultados de forma programática. La métrica clave que estamos monitorizando es el tiempo de inferencia por token, junto con evaluaciones cualitativas de la salida del modelo en diferentes tareas. Los datos preliminares sugieren que Q4_K_M es el punto dulce para la mayoría de las aplicaciones, a menos que se requiera una precisión extrema y se disponga de amplios recursos. El uso de Qdrant para indexación vectorial complementa esta evaluación, permitiendo probar la calidad de las embeddings generadas con cada configuración.