RAG: split/chunking - Historial de revisió

Joan: /* Introduccó */

2026-10-16T06:55:18Z

Introduccó

Joan: /* Introduccó */

2026-10-16T06:47:28Z

Introduccó

Joan: Es crea la pàgina amb «=Introduccó= Ja tinc un script (carpeta ''split-chunking/'') per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF. S...».

2026-10-16T06:45:44Z

Es crea la pàgina amb «=Introduccó= Ja tinc un script (carpeta ''split-chunking/'') per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF. S...».

Pàgina nova

=Introduccó=
Ja tinc un script (carpeta ''split-chunking/'') per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF.

S'ha de veure si el tamany dels chunks que s'ha triat serà l'adequat per a la ingesta. Però la ingesta del QDrant no serà d'aquests chunks de text, sinó dels embeddings al català.

<pre>
python3 chunk_text.py ../texts_pla/txt/club_tandem.txt --title "EL JO: El quadern gris, de Josep Pla" --meta doc_id="club_tandem.txt" --meta filename="club_tandem.txt" --meta year=2025 --meta author="Juliana Canet, Marina Porras" --meta description="Club Tàndem (T1xC4): La Juliana Canet i la Marina Porras conversen sobre El quadern gris de Josep Pla, els dietaris i la construcció del jo." --meta url="https://www.youtube.com/watch?v=VeteJXJlVtE" --meta format="txt"

python3 chunk_pdf.py ../texts_pla/pdf/Pla_CapCreus.pdf --title "Josep Pla a la península del Cap de Creus: la creació d'un cronòtop" --meta doc_id="Pla_CapCreus.pdf" --meta filename="Pla_CapCreus.pdf" --meta year=2003 --meta author="Lluís Quintana Trias" --meta format="pdf"
</pre>

Plantilla:
<pre>
python3 chunk_text.py ../texts_pla/xxx/xxx.xxx --title "" --meta doc_id="" --meta filename="" --meta year= --meta author="" --meta description="" --meta format="xxx"
python3 chunk_pdf.py ../texts_pla/xxx/xxx.xxx --title "" --meta doc_id="" --meta filename="" --meta year= --meta author="" --meta description="" --meta format="xxx"
</pre>

{{Autor}}, octubre 2026

← Versió més antiga		Revisió del 06:47, 16 oct 2026
Línia 1:		Línia 1:
	=Introduccó=		=Introduccó=
		+	* https://claude.ai/chat/89c0b046-1104-438a-b180-4a4bac33bc51
		+
	Ja tinc un script (carpeta ''split-chunking/'') per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF.		Ja tinc un script (carpeta ''split-chunking/'') per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF.

@@ Línia 4: / Línia 4: @@
 Ja tinc un script (carpeta ''split-chunking/'') per a fer els chunks de meu document. Puc afegir metadades. Per als pdf utilitza la llibreria PyMuPDF.
-S'ha de veure si el tamany dels chunks que s'ha triat serà l'adequat per a la ingesta. Però la ingesta del QDrant no serà d'aquests chunks de text, sinó dels embeddings al català.
+S'ha de veure si el tamany dels chunks que s'ha triat serà l'adequat per a la ingesta. Però la ingesta del QDrant no serà només d'aquests chunks de text, sinó dels embeddings al català. De manera que cada punt de la col·lecció contindrà tant el text com els embeddings.
 <pre>