RAG: split/chunking
Introduccó
Ja tinc un script (carpeta split-chunking/) per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF.
S'ha de veure si el tamany dels chunks que s'ha triat serà l'adequat per a la ingesta. Però la ingesta del QDrant no serà d'aquests chunks de text, sinó dels embeddings al català.
python3 chunk_text.py ../texts_pla/txt/club_tandem.txt --title "EL JO: El quadern gris, de Josep Pla" --meta doc_id="club_tandem.txt" --meta filename="club_tandem.txt" --meta year=2025 --meta author="Juliana Canet, Marina Porras" --meta description="Club Tàndem (T1xC4): La Juliana Canet i la Marina Porras conversen sobre El quadern gris de Josep Pla, els dietaris i la construcció del jo." --meta url="https://www.youtube.com/watch?v=VeteJXJlVtE" --meta format="txt" python3 chunk_pdf.py ../texts_pla/pdf/Pla_CapCreus.pdf --title "Josep Pla a la península del Cap de Creus: la creació d'un cronòtop" --meta doc_id="Pla_CapCreus.pdf" --meta filename="Pla_CapCreus.pdf" --meta year=2003 --meta author="Lluís Quintana Trias" --meta format="pdf"
Plantilla:
python3 chunk_text.py ../texts_pla/xxx/xxx.xxx --title "" --meta doc_id="" --meta filename="" --meta year= --meta author="" --meta description="" --meta format="xxx" python3 chunk_pdf.py ../texts_pla/xxx/xxx.xxx --title "" --meta doc_id="" --meta filename="" --meta year= --meta author="" --meta description="" --meta format="xxx"
creat per Joan Quintana Compte, octubre 2026
