TTS: Síntesi de veu - Historial de revisió

Joan: /* Síntesi de veu amb vits */

2026-10-10T23:14:37Z

Síntesi de veu amb vits

Joan: /* Síntesi de veu amb vits */

2026-10-10T22:20:39Z

Síntesi de veu amb vits

Joan: /* 2a prova: model VITS */

2026-10-10T22:01:01Z

2a prova: model VITS

Joan: /* 2a prova: model VITS */

2026-10-10T21:56:20Z

2a prova: model VITS

Mostra els canvis

Joan a 21:19, 10 oct 2026

2026-10-10T21:19:58Z

Mostra els canvis

Joan: Es crea la pàgina amb «TOC =1a prova: F5-TTS, no funciona= (no acaba de funcionar, resultats inconsistents) *https://chatgpt.com/c/6ab042c5-4344-83eb-90bb-83cad23ab322 (m'he fet un l...».

2026-10-10T21:09:04Z

Es crea la pàgina amb «__TOC__ =1a prova: F5-TTS, no funciona= (no acaba de funcionar, resultats inconsistents) *https://chatgpt.com/c/6ab042c5-4344-83eb-90bb-83cad23ab322 (m'he fet un l...».

Pàgina nova

__TOC__

=1a prova: F5-TTS, no funciona=

(no acaba de funcionar, resultats inconsistents)

*https://chatgpt.com/c/6ab042c5-4344-83eb-90bb-83cad23ab322

(m'he fet un lio amb el XTTS-v2 i la instal·lació de Coqui TTS)

prompt: "vull fer clonació i síntesi de veu en català amb F5-TTS. Tinc una RTX5060 Ti 16GB."

Per català, però, hi ha un punt important: el model base de F5-TTS no és específicament un model català, així que la qualitat de pronunciació catalana dependrà molt del text, del model/checkpoint i de l'àudio de referència. Si vols qualitat alta i consistent en català, podem plantejar també fine-tuning.

<pre>
mkdir -p F5-TTS
cd F5-TTS
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
</pre>

3. Instal·la PyTorch
El repositori actual de F5-TTS documenta PyTorch amb CUDA 12.8, i PyTorch publica wheels específiques cu128.

Jo tinc CUDA 13.2, però no passa res
<pre>
pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 \
--extra-index-url https://download.pytorch.org/whl/cu128

$ python3
import torch

print("PyTorch:", torch.__version__)
print("CUDA:", torch.version.cuda)
print("CUDA disponible:", torch.cuda.is_available())
print("GPU:", torch.cuda.get_device_name(0))
print("Compute capability:", torch.cuda.get_device_capability(0))

PyTorch: 2.8.0+cu128
CUDA: 12.8
CUDA disponible: True
GPU: NVIDIA GeForce RTX 5060 Ti
Compute capability: (12, 0)
</pre>

4. Instal·la F5-TTS

<pre>
git clone https://github.com/SWivid/F5-TTS.git

cd F5-TTS
pip install -e .
</pre>
ara el meu directori de treball és ~/F5-TTS/F5-TTS. No confondre el primer amb el segon.

<pre>
$ f5-tts_infer-cli --help
$ f5-tts_infer-gradio --help -> es descarrega el model
</pre>

5. Primera prova: interfície web

<pre>
$ f5-tts_infer-gradio
</pre>

Normalment et donarà una adreça local del tipus:

* http://127.0.0.1:7860

Obre-la al navegador.

La interfície de F5-TTS permet fer inferència a partir d'una veu de referència i generar text nou. El projecte actual també disposa de funcionalitats d'inferència per chunks i altres modes.

però jo no estic davant de l'ordinador. I no puc fer:

* http://79.156.157.3:7860

perquè el port 7860 no està obert
(m'he quedat aquí)
(...)

Gravo una veu que representa que és de referència, i a partir d'aquesta veu podré fer síntesi.
<pre>
$ arecord -f cd gravacio.wav

scp gravacio.* joan@192.168.1.184:/home/joan/Baixades

$ f5-tts_infer-cli --model F5TTS_Base --ref_audio /home/joan/Baixades/gravacio.wav --ref_text "It was a cold and quiet evening when Emily arrived in the small village of Blackwood. The streets were almost empty, and a thick fog covered the old houses. As she walked towards the house she had recently inherited from her grandmother, she noticed a strange light shining from one of the upstairs windows. Emily stopped and stared at it for a moment. She was certain that the house had been empty for years, so she could not understand who could be inside." --gen_text "Good morning. This is a simple test of generating an English speech from a text" --output_dir /home/joan/projectes --output_file prova.wav --speed 0.06
</pre>

es genera el fitxer /home/joan/Baixades/prova.wav

NOTA: recordem que en el portàtil tinc un punt de muntatge a /home/joan/projectes en el servidor.

<pre>
$ find ~/.cache/gface -type d -iname "*F5*" 2>/dev/null
/home/joan/.cache/huggingface/hub/models--SWivid--F5-TTS
/home/joan/.cache/huggingface/hub/models--SWivid--F5-TTS/snapshots/84e5a410d9cead4de2f847e7c9369a6440bdfaca/F5TTS_v1_Base
/home/joan/.cache/huggingface/hub/models--SWivid--F5-TTS/snapshots/84e5a410d9cead4de2f847e7c9369a6440bdfaca/F5TTS_Base
/home/joan/.cache/huggingface/hub/.locks/models--SWivid--F5-TTS

$ f5-tts_infer-cli --model F5TTS_v1_Base --ref_audio /home/joan/Baixades/gravacio.wav --ref_text "It was a cold and quiet evening when Emily arrived in the small village of Blackwood. The streets were almost empty, and a thick fog covered the old houses. As she walked towards the house she had recently inherited from her grandmother, she noticed a strange light shining from one of the upstairs windows. Emily stopped and stared at it for a moment. She was certain that the house had been empty for years, so she could not understand who could be inside." --gen_text "Good morning. This is a simple test of generating an English speech from a text" --output_dir /home/joan/projectes --output_file prova2.wav --speed 0.06

$ f5-tts_infer-cli --model F5TTS_Base --ref_audio /home/joan/projectes/gravacio2.wav --ref_text "It was a cold and quiet evening when Emily arrived in the small village of Blackwood." --gen_text "Good morning. This is a simple test of generating an English speech from a text" --output_dir /home/joan/projectes --output_file prova.wav --speed 0.06
</pre>
No m'acaba de sortir. Obtinc uns resultats en anglès bastant inconsistents, i en català no ho aconseguiré.

{{Autor}}, setembre 2026

← Versió més antiga		Revisió del 23:14, 10 oct 2026
Línia 506:		Línia 506:

	'''NOTA''': com que ja tenia aquesta part funcionant, ara vaig voler continuar amb el RVC per fer clonació. Però les millors proves de clonació les he aconseguit amb el model de síntesi del Matxa v2, que no necessita espeak-ng.		'''NOTA''': com que ja tenia aquesta part funcionant, ara vaig voler continuar amb el RVC per fer clonació. Però les millors proves de clonació les he aconseguit amb el model de síntesi del Matxa v2, que no necessita espeak-ng.
		+
		+	===Les veus només són en català central===
		+	Amb el script prova.py m'he generat les veus dels 840 speakers, i després de mirar els 30 primers, tots es corresponen de moment a català central. Espero trobar entre les veus accent de Lleida, de València i de Mallorca, però no els veig. Estic fent alguna cosa malament, espero trobar diversitat dialectal
		+
		+	No estàs fent res malament. És una limitació del model: amb aquest model no trobaràs accents diferents del central, i és normal que no aparegui la diversitat que busques. Per què totes les veus sonen a català central?
		+
		+	El model no llegeix el text directament. Primer el converteix en fonemes amb '''espeak-ng''' configurat amb l'idioma ca, i aquesta transcripció segueix la pronúncia del català central. Per tant, trets com la reducció vocàlica (a/e àtones → [ə]) o la -r final muda ja vénen decidits abans d'arribar a la veu.
		+
		+	El parlant escollit només canvia el timbre, el to i una mica la prosòdia. Encara que el parlant original fos de València o de Mallorca, el model li fa pronunciar els fonemes centrals, i el resultat és una veu valenciana "llegint en central". A més, a Common Voice els parlants de català central són clarament majoritaris, cosa que reforça aquest biaix.
		+
		+	L'alternativa: un model multidialectal
		+
		+	El BSC ha publicat Matxa, un model pensat precisament per això. Funciona juntament amb el vocoder alVoCat i genera veu en quatre dialectes: balear, central, nord-occidental i valencià. Per tant, està basat en grafemes i no necessita el espeak-ng.
		+
		+	==Síntesi de veu amb Matxa v2==
		+
		+	L'alternativa: un model multidialectal
		+
		+	El BSC ha publicat Matxa, un model pensat precisament per això. Funciona juntament amb el vocoder alVoCat i genera veu en quatre dialectes: balear, central, nord-occidental i valencià. Té dues veus per dialecte:
		+	<pre>
		+	Accent Veus (speaker_id) Cleaner
		+	Balear quim (0), olga (1) catalan_balear_cleaners
		+	Central grau (2), elia (3) catalan_cleaners
		+	Nord-occidental (Lleida) pere (4), emma (5) catalan_occidental_cleaners
		+	Valencià lluc (6), gina (7) catalan_valencia_cleaners
		+	</pre>
		+
		+	Podem escoltar totes les veus aquí:
		+
		+	* https://huggingface.co/spaces/projecte-aina/matxa-alvocat-tts-ca

	{{Autor}}, setembre 2026		{{Autor}}, setembre 2026

@@ Línia 504: / Línia 504: @@
 * https://huggingface.co/projecte-aina/tts-ca-coqui-vits-multispeaker
 * https://huggingface.co/spaces/softcatala/comparativa-tts-catala
 {{Autor}}, setembre 2026

@@ Línia 310: / Línia 310: @@
   ca-va           --/M      Catalan_(Valencian) roa/ca-va
 </pre>
+==Síntesi de veu amb vits==
 <pre>
 python -c "from TTS.api import TTS; print('OK')"

TTS: Síntesi de veu - Historial de revisió

Joan: /* Síntesi de veu amb vits */

Joan: /* Síntesi de veu amb vits */

Joan: /* 2a prova: model VITS */

Joan: /* 2a prova: model VITS */

Joan a 21:19, 10 oct 2026

Joan: Es crea la pàgina amb «__TOC__ =1a prova: F5-TTS, no funciona= (no acaba de funcionar, resultats inconsistents) *https://chatgpt.com/c/6ab042c5-4344-83eb-90bb-83cad23ab322 (m'he fet un l...».

Joan: Es crea la pàgina amb «TOC =1a prova: F5-TTS, no funciona= (no acaba de funcionar, resultats inconsistents) *https://chatgpt.com/c/6ab042c5-4344-83eb-90bb-83cad23ab322 (m'he fet un l...».