Más económicos · Embeddings
- 01Voyage 4 LiteVoyage AI$0.02 USD / M tokens
- 02Mistral EmbedMistral AI$0.10 USD / M tokens
- 03Codestral EmbedMistral AI$0.15 USD / M tokens
Encuentra el fragmento correcto antes de pedirle respuesta al modelo
La mayoría de los sistemas RAG que responden mal no tienen un problema de modelo, sino de recuperación: el fragmento que contiene la respuesta nunca llega al prompt. Por eso conviene dividir el sistema en dos partes y evaluarlas por separado. Primero, dada una pregunta, ¿encuentras los fragmentos correctos? Después, con esos fragmentos delante, ¿el modelo responde bien y cita la fuente? Mezclar ambas preguntas hace imposible saber qué arreglar.
Las decisiones de infraestructura son más simples de lo que parecen. El modelo de embeddings se elige por su calidad en tus documentos y por su precio por millón de tokens; los vectores pueden vivir en PostgreSQL con pgvector hasta volúmenes considerables; y los documentos originales van a almacenamiento de objetos, desde donde se vuelven a procesar cada vez que cambias de modelo o de estrategia de chunking.
Compara precio por millón de tokens y dimensiones del vector, que afectan almacenamiento y velocidad de búsqueda. Luego prueba dos o tres modelos con tus documentos y un conjunto de preguntas reales con su fragmento correcto marcado. Mide el recall en los primeros cinco o diez resultados; esa cifra decide.
Respeta la estructura: secciones, párrafos, filas de tabla. Empieza con fragmentos de unos cientos de tokens con algo de solapamiento y añade a cada uno el título del documento y de la sección. Cambia el tamaño solo si la evaluación de recuperación mejora, no por intuición.
Si ya usas PostgreSQL, pgvector evita otro sistema y permite filtrar por metadatos con SQL en la misma consulta. Considera una base dedicada cuando midas una latencia p95 o un consumo de memoria del índice que PostgreSQL no sostiene con tu volumen. Compara también costo mensual y esfuerzo de operación.
Arma un conjunto de cincuenta a cien preguntas reales con el fragmento que las responde. Mide el recall en los primeros k resultados y la posición media del fragmento correcto. Prueba búsqueda híbrida con palabras clave y reordenamiento. Solo cuando la recuperación sea buena, ajusta el prompt de generación.
En almacenamiento de objetos, versionados y con un identificador estable que el índice referencie. Así puedes reindexar al cambiar de modelo de embeddings sin depender de copias sueltas, y mostrar al usuario el original citado. Estima GB almacenados, lecturas por reindexación y egress si sirves los archivos.
Cuéntanos tu volumen y las opciones que evalúas. Te respondemos por escrito con los números de tu uso real; sin compromiso.
Ningún proveedor paga por su posición. Los índices son de LLM Stats; los precios, de la API estándar de cada proveedor. Cómo medimos
Análisis, guías y nuevas comparativas de tecnología.