Bases de datos vectoriales

Para el desarrollador de Python o backend que ve pasar la ola de la IA generativa desde la orilla. Para el ingeniero de datos que ya administra PostgreSQL o SQLite y quiere sumarles significado sin migrar nada. Y para quien sueña con abrir su terminal y que la máquina entienda.

Habilidades:

Embeddings, FAISS, pgvector, búsqueda semántica, RAG con Ollama

Nivel: Intermedio

Requisitos:

Python básico y una laptop común. Ni GPU, ni matemáticas avanzadas.

Nitin Borwankar es un científico de datos experimentado y profesional de bases de datos con experiencia en el desarrollo e implementación de soluciones de datos empresariales. Con una carrera que abarca más de tres décadas, Nitin es conocido por su trabajo en la educación sobre ciencia de datos, su defensa del uso de herramientas de código abierto para la ciencia de datos y sus contribuciones a los planes de estudio de aprendizaje automático de código abierto. Es un conferencista frecuente y aborda la IA y los LLM desde una perspectiva pragmática de aplicación de datos.

1. Introducción a las bases de datos vectoriales

• ¿Por qué necesitas bases de datos vectoriales? Un nuevo tipo de datos: vector, búsqueda por similitud y dónde se usan
• SQL frente a las bases de datos vectoriales: representación de vectores en un sistema relacional y la necesidad de capacidades específicas
• NoSQL frente a las bases de datos vectoriales: almacenamiento vectorial, limitaciones de sus extensiones y cuándo elegirlas
• Enfoques híbridos: combinación de datos estructurados y vectoriales, arquitectura, consulta de ejemplo y beneficios

2. Embeddings

• Comprender los embeddings vectoriales y por qué los necesitamos
• Word2Vec, el avance que lo cambió todo, y Doc2Vec: de las palabras a los documentos
• De los embeddings a los modelos de lenguaje modernos: la conexión Transformer (codificador, decodificador y codificador-decodificador)
• Modelos de embeddings: los generadores vectoriales especializados y su papel en las aplicaciones modernas de LLM
• Aplicaciones prácticas y casos de uso: pipeline RAG simple
• La biblioteca sentence-transformers y sus mejores prácticas
• La capa de embeddings: la puerta de entrada al aprendizaje zero-shot
• Aritmética vectorial con Word2Vec, paso a paso, hasta la clásica analogía de rey y reina

3. Búsqueda por similitud con FAISS

• Fundamentos: representaciones vectoriales, métricas de distancia y heurísticas de selección
• Índices de FAISS: planos (fuerza bruta), IVF, LSH, HNSW, especializados y compuestos
• Cómo elegir el índice correcto y cuándo aplicar cuantización (SQ y PQ)
• El problema ANN: evitar el costo computacional y técnicas clave en FAISS
• Comprender los índices HNSW: cómo funcionan, parámetros clave y características de rendimiento
• Arquitectura y componentes de FAISS, con un sistema de búsqueda por similitud de ejemplo

4. Búsqueda semántica con SQLite3

• La extensión de búsqueda por similitud de vectores de SQLite: capacidades, arquitectura y limitaciones
• Configuración del entorno de desarrollo y diseño del esquema de base de datos
• Conexión a Reddit con el Python Reddit API Wrapper, extracción y preprocesamiento de contenido
• Generación y almacenamiento de embeddings con procesamiento por lotes
• Creación del índice vectorial VSS e implementación del motor de búsqueda semántica
• Puesta en práctica de todo y extensión con indexación incremental

5. Construcción de un sistema de búsqueda de artículos de ArXiv con PostgreSQL y pgvector

• El reto de buscar en la literatura científica y la justificación de la pila tecnológica
• Arquitectura, componentes del sistema y flujo de datos
• Instalación de PostgreSQL y pgvector, entorno de Python y verificación
• Diseño de bases de datos para artículos científicos: esquemas, almacenamiento de vectores e indexación
• Integración con la API de ArXiv, descarga de PDF y partición de texto inteligente
• Búsqueda por similitud, aplicación interactiva y empaquetado en Docker para despliegue local
• Ajuste básico de rendimiento: configuración del índice, consultas y gestión de recursos

6. Construcción de un sistema de generación aumentada por recuperación con SQLite VSS y Ollama

• Arquitectura del sistema y cimientos de la base de datos con soporte vectorial
• Procesamiento de texto, gestión de modelos de embeddings y partición inteligente
• Implementación de búsqueda híbrida: componente semántico, por palabras clave y fusión de puntuaciones
• Integración del LLM con Ollama y el pipeline RAG completo de preguntas y respuestas
• Demostración, pruebas y consideraciones para producción con patrones avanzados de RAG

7. Construcción de un sistema RAG científico con PostgreSQL y pgvector

• Objetivos, capacidades y arquitectura del sistema
• Índices vectoriales de alto rendimiento y estrategia de generación de embeddings
• Descubrimiento de artículos, extracción inteligente de texto de PDF y partición avanzada
• Búsqueda semántica multinivel: a nivel de resumen y a nivel de sección
• LLM local con Ollama, recuperación de contexto inteligente e ingeniería de prompts científicos
• Nota técnica sobre HNSW y cómo evaluar tus resultados

8. Construcción de un sistema completo de búsqueda de conversaciones y RAG

• Diseño del esquema de conversaciones y arquitectura de tres tablas para un rendimiento óptimo
• Importación robusta de JSON, transacciones atómicas y recuperación de errores
• Generación eficiente de embeddings: patrón Singleton, procesamiento incremental y por lotes
• Búsqueda contextual con comprensión conversacional y uniones entre múltiples tablas
• Integración de RAG para el historial de conversaciones y ingeniería de prompts conversacionales
• API web completa con FastAPI: endpoints de búsqueda, preguntas y respuestas, estadísticas y monitoreo
• Demostración integral y un sistema completo de conocimiento personal

9. Lenguaje de consulta vectorial

• Conceptos centrales, modelo de datos y estructura de sintaxis básica
• Operaciones vectoriales: búsqueda por similitud, híbrida, por rango y en lote
• Funciones y agregaciones vectoriales

¿Qué es exactamente una base de datos vectorial y en qué se diferencia del SQL que ya uso? Almacena significado, no texto exacto. El capítulo 1 enfrenta SQL, NoSQL y vectores, y dice cuándo gana cada uno.

¿Necesito matemáticas avanzadas para entender los embeddings? No. La aritmética vectorial va paso a paso, con la analogía de rey y reina y una herramienta interactiva.

¿Qué nivel de Python hace falta para seguir los ejemplos? Python de uso cotidiano. Si ya mueves consultas y scripts, tienes lo necesario para correr cada ejemplo.

¿El libro trae código real que pueda ejecutar tal cual? Sí. Cada capítulo cierra con código que corre en tu máquina, no con teoría bonita que nadie ejecuta.

¿Puedo convertir mi SQLite3 o mi PostgreSQL actual en base vectorial, o tengo que migrarlo todo? Los conviertes, no los migras. Vuelves vectoriales SQLite3 y PostgreSQL sin abandonar lo que ya dominas.

¿Se explica cómo construir un sistema RAG completo de principio a fin? De principio a fin, cuatro veces: con SQLite y Ollama, con pgvector, sobre artículos y sobre conversaciones.

¿Funciona con modelos locales o me obliga a depender de una API en la nube? Con modelos locales. Ollama corre en tu equipo, así que tu pipeline no depende de reglas ajenas.

¿Qué herramientas concretas se usan y por qué esas? Word2Vec, FAISS, SQLite3, PostgreSQL con pgvector, Ollama, FastAPI y Docker: abiertas y sin atarte a nadie.

¿Cómo elijo entre índices planos, IVF, LSH y HNSW sin equivocarme? El capítulo 3 lo resuelve: métricas de distancia, heurísticas de selección y cómo elegir el índice correcto.

¿Qué es la cuantización y cuándo me conviene aplicarla? Comprimir vectores para ganar velocidad y memoria. Verás SQ y PQ, y cuándo aplicarlas sin degradar todo.

¿Sirve también para datos no estructurados como imágenes y audio, o solo para texto? Las bases vectoriales manejan texto, imágenes y audio. Los proyectos que construyes aquí son de texto.

¿Está pensado para proyectos personales o aguanta un entorno empresarial? Ambos. Construyes RAG personal y empresarial, con ajuste de rendimiento y miras puestas en producción.

¿Necesito GPU o una máquina potente para practicar? No. Modelos locales, SQLite y un Docker Compose que levantas en minutos: una laptop común alcanza.

¿Cuánto tiempo me tomará ver mi primer sistema funcionando? Los capítulos son autocontenidos y cada uno termina en algo que corre. Tu primer sistema no espera meses.

¿El contenido está en español y se sigue con facilidad? Sí, edición en español neutro, cuidada y clara. Se lee de corrido, del concepto al código que funciona.

¿Quién es el autor y por qué debería confiar en su criterio? Nitin Borwankar: más de tres décadas en datos, defensor del código abierto y publicado por O'Reilly.

¿Esto seguirá vigente el año que viene o es otra moda que se apaga? Métricas de distancia, el problema ANN y HNSW son cimientos. Las modas se construyen encima; esto las sostiene.