Joan: Es crea la pàgina amb «TOC =Ingesta de documents= Anem a fer la ingesta de documents al QDrant (ja sabem fer els chunks). Primer de tot, creem la col·lecció '''josep_pla''' (una sola...».

2026-10-16T14:39:13Z

Es crea la pàgina amb «__TOC__ =Ingesta de documents= Anem a fer la ingesta de documents al QDrant (ja sabem fer els chunks). Primer de tot, creem la col·lecció '''josep_pla''' (una sola...».

Pàgina nova

__TOC__

=Ingesta de documents=

Anem a fer la ingesta de documents al QDrant (ja sabem fer els chunks). Primer de tot, creem la col·lecció '''josep_pla''' (una sola vegada, la primera vegada):

<pre>
curl -X PUT "http://localhost:6333/collections/josep_pla" \
-H "Content-Type: application/json" \
-d '{
"vectors": {
"size": 1024,
"distance": "Cosine"
}
}'

curl "http://localhost:6333/collections/josep_pla"
</pre>

Sobre la configuració (Default, 1024, Cosine):

* És correcta per a un RAG amb text en català, amb dues condicions.
* 1024 ha de coincidir exactament amb la dimensió del model d’embeddings. Models multilingües habituals que funcionen bé en català, com BAAI/bge-m3 o intfloat/multilingual-e5-large, generen vectors de 1024 dimensions, així que si fas servir un d’aquests, és correcte. Si algun dia canvies a un model de 768 o 384 dimensions, hauràs d’esborrar la col·lecció i tornar-la a crear amb la mida nova. No es pot modificar. Per comprovar la mida, pots fer len(model.encode("prova")) en Python.
* Cosine és la mètrica adequada per a aquests models, que estan pensats per comparar per similitud de cosinus. El Qdrant normalitza els vectors internament quan fas servir Cosine, així que no cal que els normalitzis tu.
* ''Default'' vol dir vector sense nom, i és el que crea la comanda de dalt. És el més senzill quan només tens un tipus de vector per document. Això té una conseqüència al codi Python. A l’hora d’inserir i consultar, has de passar el vector directament com a llista (vector=embedding), no com a diccionari amb nom (vector={"nom": embedding}). Si el teu script ja ho feia així, no cal canviar res.

prompt:
<pre>
en un altre chat m'has ajudat a fer un script per fer els splits i chunks de documents. Com a resultat tinc un fitxer JSONL amb els chunks. Per exemple, el primer document que tinc és:

fitxer club_tandem.txt.chunks.jsonl:

{"id": "27463c80-037a-5bf7-a5a3-9a5ff9e2efe2", "text": "CLUB TÀNDEM (T1xC4) — «EL QUADERN GRIS» DE JOSEP PLA, ELS DIETARIS I LA CONSTRUCCIÓ DEL JO\n\nConversa entre Juliana Canet (JC), presentadora, i Marina Porras (MP).", "metadata": {"doc_id": "club_tandem.txt", "filename": "club_tandem.txt", "format": "txt", "author": "Juliana Canet, Marina Porras", "title": "EL JO: El quadern gris, de Josep Pla", "year": 2025, "description": "Club Tàndem (T1xC4): La Juliana Canet i la Marina Porras conversen sobre El quadern gris de Josep Pla, els dietaris i la construcció del jo.", "url": "https://www.youtube.com/watch?v=VeteJXJlVtE", "chunk_index": 0, "n_chunks": 64, "char_start": 0, "char_end": 162, "n_chars": 162, "n_words": 27}}
{"id": "566b3589-f274-5702-bd1d-65e3635326bb", "text": "—Juliana Canet: Avui és una cita importantíssima.\n\n—Marina Porras: De fet, podríem dir que és la que més... Sempre ho diem, a cada capítol.\n\n—JC: No, però mira, és veritat que Mercè Rodoreda segurament és la més especial per a les dues, diguéssim, com a cosa conjunta i compartida. Amb Montserrat Roig, jo ja vaig explicar que hi tenia una vinculació especial per pur sentimentalisme. I tu tens molt clar que aquest llibre del qual parlarem avui és el que et va generar, si més no, una impressió més grossa de tots, no?\n\n—MP: Potser Ferrater va una mica empatat com a impressió sentimental, perquè a mi Ferrater m'importa molt i ocupa molt. Però és veritat que no tant El quadern gris, sinó Josep Pla en general, que és el tema d'avui, ocupa un lloc gegant en el meu imaginari. Però és que Josep Pla ocupa un lloc gegant a la literatura catalana del segle XX, al periodisme del segle XX. I és un senyor de qui no et pots escapar.", "metadata": {"doc_id": "club_tandem.txt", "filename": "club_tandem.txt", "format": "txt", "author": "Juliana Canet, Marina Porras", "title": "EL JO: El quadern gris, de Josep Pla", "year": 2025, "description": "Club Tàndem (T1xC4): La Juliana Canet i la Marina Porras conversen sobre El quadern gris de Josep Pla, els dietaris i la construcció del jo.", "url": "https://www.youtube.com/watch?v=VeteJXJlVtE", "chunk_index": 1, "n_chunks": 64, "char_start": 164, "char_end": 1093, "section": "UNA CITA IMPORTANTÍSSIMA", "n_chars": 929, "n_words": 171}}
{"id": "9e689daf-0c54-5066-89b1-25593acc0e5c", "text": "Però és que Josep Pla ocupa un lloc gegant a la literatura catalana del segle XX, al periodisme del segle XX. I és un senyor de qui no et pots escapar.\n\n—JC: Absolutament. Si t'agrada una mica llegir o tens interès a escriure, és impossible no topar-se amb Josep Pla, no llegir-lo i que no et quedi, com dius tu, una impressió. Jo, quan vaig llegir Josep Pla per primera vegada, vaig dir: «És impossible que ningú no m'hagi parlat mai d'aquest senyor abans». Saps? Que no m'hi hagués trobat abans.\n\n—MP: Te'n recordes de per on vas començar?\n\n—JC: Jo crec que per El quadern gris.\n\n—MP: Clar, jo també, eh? Crec que és la gran porta d'entrada, El quadern gris. Avui en parlarem.\n\n—JC: Però abans sí que ens toca explicar que Pla és un senyor que, quan el llegeixes, es nota. I bàsicament jo crec que tothom que fa periodisme, per descomptat, però també tothom que escriu en català, Josep Pla l'ha marcat d'alguna manera. Ni que sigui per ignorar-lo o per voler fer una cosa radicalment contrària. Però és com si ningú s'escapés de la influència i del lloc que ocupa Pla a la literatura catalana.", "metadata": {"doc_id": "club_tandem.txt", "filename": "club_tandem.txt", "format": "txt", "author": "Juliana Canet, Marina Porras", "title": "EL JO: El quadern gris, de Josep Pla", "year": 2025, "description": "Club Tàndem (T1xC4): La Juliana Canet i la Marina Porras conversen sobre El quadern gris de Josep Pla, els dietaris i la construcció del jo.", "url": "https://www.youtube.com/watch?v=VeteJXJlVtE", "chunk_index": 2, "n_chunks": 64, "char_start": 942, "char_end": 2037, "section": "UNA CITA IMPORTANTÍSSIMA", "n_chars": 1095, "n_words": 200}}
...

Ara necessitaria doncs un script que em faci la ingesta de tots els chunks a la meva col·lecció.
Com a paràmetre s'haurà de passar la ruta del fitxer de chunks. El nom de la col·lecció ('josep-pla') la pots posar a la capçalera del document (hardcoded), perquè serà fixa.

El script es dirà ingesta_josep_pla.py
</pre>

Abans que res, en el servidor, igual que he fet en el petit projecte embeddings:

<pre>
mkdir -p ~/ingesta && cd ~/ingesta
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

pip install torch --index-url https://download.pytorch.org/whl/cu128

python -c "import torch; print(torch.__version__, torch.cuda.is_available(), torch.cuda.get_device_name(0), torch.cuda.get_arch_list())"

pip install sentence-transformers qdrant-client
pip freeze > requirements.txt # útil per a la reproduïbilitat del TFM
</pre>

script ''ingesta_josep_pla.py'':
<pre>
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
ingesta_josep_pla.py

Fa la ingesta d'un fitxer de chunks (.jsonl) a la col·lecció de Qdrant.

Ús:
python ingesta_josep_pla.py ruta/al/fitxer.chunks.jsonl

Cada línia del JSONL ha de tenir:
{"id": "<uuid>", "text": "...", "metadata": {...}}

La col·lecció ha d'existir prèviament (creada amb curl, 1024 dimensions, Cosine).
Com que els id dels chunks són UUID deterministes, tornar a executar l'script
amb el mateix fitxer no duplica punts: els sobreescriu (upsert).
"""

# ---------------------------------------------------------------------------
# CONFIGURACIÓ
# ---------------------------------------------------------------------------
COLLECTION_NAME = "josep_pla"

QDRANT_URL = "http://localhost:6333"
QDRANT_API_KEY = None # posa-hi la clau si el Qdrant en té

EMBEDDING_MODEL = "BAAI/bge-m3" # ha de ser el MATEIX model que faràs servir per consultar
VECTOR_SIZE = 1024
# Prefix per als documents. bge-m3 no en necessita ("").
# Si fas servir intfloat/multilingual-e5-large, posa "passage: "
# (i a la consulta, "query: ").
PASSAGE_PREFIX = ""

BATCH_SIZE = 32 # chunks per lot (embeddings + upsert)
# ---------------------------------------------------------------------------

import argparse
import json
import sys
from pathlib import Path

from qdrant_client import QdrantClient
from qdrant_client.models import PointStruct
from sentence_transformers import SentenceTransformer

def llegeix_chunks(ruta: Path):
"""Llegeix el JSONL i retorna la llista de chunks vàlids."""
chunks = []
with ruta.open("r", encoding="utf-8") as f:
for n_linia, linia in enumerate(f, start=1):
linia = linia.strip()
if not linia:
continue
try:
chunk = json.loads(linia)
except json.JSONDecodeError as e:
print(f" ⚠ Línia {n_linia}: JSON invàlid ({e}). S'omet.")
continue
if not chunk.get("id") or not chunk.get("text", "").strip():
print(f" ⚠ Línia {n_linia}: sense 'id' o 'text'. S'omet.")
continue
chunks.append(chunk)
return chunks

def comprova_colleccio(client: QdrantClient):
"""Comprova que la col·lecció existeix i que la mida del vector quadra."""
if not client.collection_exists(COLLECTION_NAME):
sys.exit(
f"✖ La col·lecció '{COLLECTION_NAME}' no existeix. "
f"Crea-la primer amb la comanda curl."
)
info = client.get_collection(COLLECTION_NAME)
vectors = info.config.params.vectors
mida = getattr(vectors, "size", None)
if mida is None:
sys.exit(
"✖ La col·lecció té vectors amb nom; aquest script espera "
"un vector sense nom (Default)."
)
if mida != VECTOR_SIZE:
sys.exit(
f"✖ La col·lecció espera vectors de {mida} dimensions, "
f"però l'script està configurat per a {VECTOR_SIZE}."
)

def main():
parser = argparse.ArgumentParser(
description=f"Ingesta de chunks a la col·lecció Qdrant '{COLLECTION_NAME}'."
)
parser.add_argument("fitxer", type=Path, help="Ruta al fitxer .jsonl de chunks")
args = parser.parse_args()

if not args.fitxer.is_file():
sys.exit(f"✖ No trobo el fitxer: {args.fitxer}")

# 1. Connexió i comprovació de la col·lecció
client = QdrantClient(url=QDRANT_URL, api_key=QDRANT_API_KEY)
comprova_colleccio(client)

# 2. Lectura dels chunks
print(f"→ Llegint {args.fitxer} ...")
chunks = llegeix_chunks(args.fitxer)
if not chunks:
sys.exit("✖ No hi ha cap chunk vàlid al fitxer.")
print(f" {len(chunks)} chunks llegits.")

# 3. Model d'embeddings
print(f"→ Carregant el model {EMBEDDING_MODEL} ...")
model = SentenceTransformer(EMBEDDING_MODEL)
dim_model = model.get_sentence_embedding_dimension()
if dim_model != VECTOR_SIZE:
sys.exit(
f"✖ El model genera vectors de {dim_model} dimensions, "
f"però la col·lecció n'espera {VECTOR_SIZE}."
)

# 4. Embeddings + upsert per lots
total = len(chunks)
pujats = 0
for inici in range(0, total, BATCH_SIZE):
lot = chunks[inici:inici + BATCH_SIZE]
textos = [PASSAGE_PREFIX + c["text"] for c in lot]

vectors = model.encode(
textos,
batch_size=BATCH_SIZE,
normalize_embeddings=True,
show_progress_bar=False,
)

punts = []
for chunk, vector in zip(lot, vectors):
# Payload: el text + totes les metadades al primer nivell,
# així es poden fer filtres directes (p. ex. per doc_id o year).
payload = {"text": chunk["text"], **chunk.get("metadata", {})}
punts.append(
PointStruct(id=chunk["id"], vector=vector.tolist(), payload=payload)
)

client.upsert(collection_name=COLLECTION_NAME, points=punts, wait=True)
pujats += len(punts)
print(f" {pujats}/{total} chunks pujats")

# 5. Resum
n_punts = client.count(COLLECTION_NAME, exact=True).count
print(f"✔ Ingesta acabada: {pujats} chunks de {args.fitxer.name}.")
print(f" La col·lecció '{COLLECTION_NAME}' té ara {n_punts} punts en total.")

if __name__ == "__main__":
main()
</pre>

<pre>
python3 ingesta_josep_pla.py chunks/club_tandem.txt.chunks.jsonlls

32/64 chunks pujats
64/64 chunks pujats
✔ Ingesta acabada: 64 chunks de club_tandem.txt.chunks.jsonl.
La col·lecció 'josep_pla' té ara 64 punts en total.
</pre>

<pre>
$ python3 ingesta_josep_pla.py chunks/Pla_CapCreus.pdf.chunks.jsonl
</pre>

prompt:
<pre>
Fes-me una comanda curl per recuperar els punts que continguin la paraula 'Dylan'
</pre>

Per buscar una paraula exacta dins del text no cal fer servir embeddings. N’hi ha prou amb un filtre sobre el camp text del payload, amb l’endpoint scroll:

<pre>
curl -X POST "http://localhost:6333/collections/josep_pla/points/scroll" \
-H "Content-Type: application/json" \
-d '{
"filter": {
"must": [
{ "key": "text", "match": { "text": "Dylan" } }
]
},
"limit": 100,
"with_payload": true,
"with_vector": false
}'

{"result":{"points":[{"id":"0e9f2797-80c6-5016-8d8b-40fcc4006fa8","payload":{"text":"I és un tio que no renuncia mai a fer les coses que vol fer.\n\n—JC: Que això dius: bé, clar... Doncs no. Ni tan sols hi estic tan a favor, eh? Jo estic molt a favor de fer renúncies també, saps?\n\n—MP: Ostres, jo és que hi trobo una cosa tan magnètica, en aquesta gent que no cedeix ni un mil·límetre...\n\n—JC: A tu et funciona molt, aquesta gent.\n\n—MP: Ostres, si em funciona! Fins i tot encara que potser s'estiguin equivocant i estiguin fent alguna cosa que els fa molta il·lusió, que els sembla el pas més important de la seva vida, però que tu des de fora veus clarament que és un error. Però és seu, és la seva cosa. I llavors, si rectifiquen, encara té molt més mèrit.\n\n—JC: Sí, i l'autocontrol és molt avorrit.\n\n—MP: És horrible. Bob Dylan és un senyor que no té gens d'autocontrol. Arriba allà, i el documental t'explica tot de testimonis de com van viure l'arribada de Dylan. Hi ha poetes, hi ha la Joan Baez, que diu, en plan: «Clar, jo no havia vist mai ningú així». Ho diu amb aquests ulls de senyora completament enamorada, que és el que va estar...\n\n—JC: Però perquè desprèn... sexe, no?","doc_id":"club_tandem.txt","filename":"club_tandem.txt","format":"txt","author":"Juliana Canet, Marina Porras","title":"EL JO: El quadern gris, de Josep Pla","year":2025,"description":"Club Tàndem (T1xC4): La Juliana Canet i la Marina Porras conversen sobre El quadern gris de Josep Pla, els dietaris i la construcció del jo.","url":"https://www.youtube.com/watch?v=VeteJXJlVtE","chunk_index":31,"n_chunks":64,"char_start":26825,"char_end":27924,"section":"BOB DYLAN: CREAR-SE A UN MATEIX","n_chars":1099,"n_words":209}},...
</pre>

{{Autor}}, octubre 2026

RAG: Ingesta - Historial de revisió

Joan: Es crea la pàgina amb «__TOC__ =Ingesta de documents= Anem a fer la ingesta de documents al QDrant (ja sabem fer els chunks). Primer de tot, creem la col·lecció '''josep_pla''' (una sola...».

Joan: Es crea la pàgina amb «TOC =Ingesta de documents= Anem a fer la ingesta de documents al QDrant (ja sabem fer els chunks). Primer de tot, creem la col·lecció '''josep_pla''' (una sola...».