Este proyecto implementa un sistema RAG (Retrieval-Augmented Generation) que permite consultar en lenguaje natural un conjunto de documentos técnicos (PDFs). El usuario realiza preguntas y el sistema responde utilizando fragmentos reales de los documentos, garantizando trazabilidad mediante la citación de fuentes.
El proyecto se encuentra actualmente desplegado en un HuggingFace Space dedicado. Puede probarse desde este enlace:
https://huggingface.co/spaces/PDH-INTEGRADOR-GRUPAL-CTG/tp-integrador-ctg
El presente sistema RAG (Retrieval-Augmented Generation) tiene como objetivo principal facilitar el acceso a información técnica y académica sobre reservorios de hidrocarburos no convencionales a estudiantes de Ingeniería e ingenieros en formación o sin experiencia directa en operaciones de campo.
A través de una interfaz intuitiva desarrollada en Streamlit, el usuario podrá realizar preguntas en lenguaje natural relacionadas con yacimientos no convencionales, fracturamiento hidráulico, estimulación, ingeniería de reservorios, producción y perforación, y obtener respuestas generadas por un modelo de lenguaje preentrenado de Gemini, enriquecidas con contexto extraído dinámicamente desde un corpus documental vectorizado.
El sistema está dividido en dos fases:
-
Ingesta
- Lectura de PDFs desde
data/raw_pdfs/ - Extracción de texto
- Detección de idioma
- Traducción automática (EN → ES)
- Lectura de PDFs desde
-
Chunking
- División en fragmentos de 800 caracteres
- Overlap de 150 caracteres
- Almacenamiento en
data/chunks/
-
Embeddings + Base Vectorial
- Modelo:
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 - Generación de embeddings con LangChain
- Persistencia en ChromaDB (
vectorstore/) - Metadata:
source,chunk_id
- Modelo:
- Embedding de consulta
- Búsqueda en ChromaDB
- Selección de top-k chunks relevantes
- Construcción del prompt (contexto + pregunta)
- Generación con LLM (Gemini)
- Visualización + fuentes utilizadas
- LLM: Gemini
- Embeddings: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
- Vector Database: ChromaDB
- Orquestación: LangChain
- Interfaz: Streamlit
- Deployment: Hugging Face Spaces
- Dominio: Material educativo (documentos técnicos, manuales, papers y presentaciones).
- Cantidad: Variable según instalación de usuario final
- Fuente: Fuentes académicas o industriales (e.g., YPF, Tecpetrol)
- Formato: [PDF, TXT]
- Idioma: Español e Inglés
- Temas del corpus: Técnicas de fracturamiento hidráulico, Producción en shale/tight formations, Parámetros de diseño y operación de pozos, Simulación de reservorios, Casos reales (e.g., Barnett Shale, Vaca Muerta)
- Python 3
- Streamlit
- LangChain
- ChromaDB
- Sentence Transformers
- Google Gemini
- HuggingFace Inference API
- PyPDF
- python-dotenv
- langdetect
.
├─ src/
│ ├─ config.py
│ ├─ ingest.py
│ ├─ llm.py
│ └─ vecstore.py
│
├─ web/
│ └─ streamlit_app.py
│
├─ data/
│ ├─ raw_pdfs/
│ ├─ texts/
│ └─ chunks/
│
├─ vectorstore/
├─ requirements.txt
└─ README.md
El archivo .env debe colocarse en la raíz del proyecto y contener:
HF_API_KEY=TU_API_KEY_DE_HUGGINGFACE
GEMINI_API_KEY=TU_API_KEY_DE_GEMINI
python-dotenvlo carga automáticamente.
Este archivo no debe subirse al repositorio.
git clone https://github.com/gimb99/PDH_INTEGRADOR_GRUPAL_X.git
cd PDH_INTEGRADOR_GRUPAL_X
py -m venv .venv
.venv\Scripts\activate
Linux/Mac:
source .venv/bin/activate
py -m pip install -r requirements.txt
data/raw_pdfs/
Desde la raíz del proyecto:
py -m src.ingest
py -m streamlit run web/streamlit_app.py
Abrir (si no se abre automáticamente):
http://localhost:8501
- Escribir una pregunta en español.
- Presionar “Consultar”.
- El sistema devuelve:
- La respuesta generada por Gemini
- Los fragmentos utilizados (documento + chunk)
- “¿Cuál es el procedimiento del relevamiento de campo para la selección de un desemulsionante?”
- “¿Qué riesgos operativos se mencionan?”
- “Explicame qué es una Política de CMASS según los documentos.”
- ChromaDB como vector store persistente
- Modelo multilingüe para soportar documentos en EN/ES
- Separación clara OFFLINE/ONLINE
- Traducción para unificar el corpus
- Interfaz simple vía Streamlit
- Gemini por rendimiento y velocidad
- No mantiene memoria conversacional
- Calidad dependiente del corpus
- Traducción automática puede introducir pequeñas variaciones
- ✔ Pipeline RAG completo
- ✔ Base vectorial persistente (Chroma)
- ✔ Uso de LangChain (embeddings, retrieval, chunking)
- ✔ LLM integrado (Gemini)
- ✔ Interfaz Streamlit funcional
- ✔ Corpus real de documentos
- ✔ Ejecución local reproducible
- ✔ Documentación completa
- Trabajo Integrador Grupal
- Integrantes: Gonzalo Barthou, Carmen Marylin Rodriguez, Tamara Peña
- Materia: Técnicas de Procesamiento del Habla
- Institución: IFTS 24
- Año: 2025
