PoBot
Synthèse vocale avec espeak et mbrola sur Raspberry PiNous avions présenté les méthodes les plus efficaces de synthèse vocale sous Linux pour faire parler un robot. Il fallait ensuite l’embarquer dans un robot.
Grâce à la Raspberry Pi, c’est chose faite : avec un ARM11 et une distribution Debian, nous avons réussi à faire parler Nono !!
Premières étapes
L’installation du son est expliquée ici
Pour utiliser la langue française, installez le "locale" fr_FR en UTF-8
Installer espeak
L’installation de espeak est directe :
# sudo apt-get install espeakOn peut le tester sur Debian Squeeze avec les options "-x et -q" qui ne sortent pas de sons mais affichent l’analyse détaillée, ce qui permet de détecter les erreurs (notamment la lecture des accents) et d’en apprendre un peu plus sur les phonèmes :
pi@raspberrypi:~$ espeak -x -q -v mb/mb-fr1 "Toto"
to2t'o
t 68
o 28 0 94 80 98 100 98
t 68
o 124 0 102 80 76 100 76
_ 301
_ 1
pi@raspberrypi:~$ espeak -x -q -v mb/mb-fr1 "Coucou"
kuk'u
k 102
u 28 0 94 80 98 100 98
k 102
u 124 0 102 80 76 100 76
_ 301
_ 1
pi@raspberrypi:~$ espeak -x -q -v mb/mb-fr1 "Un robot"
W~ ro2b'o
9~ 38 0 94 80 96 100 96
R 65
o 31 0 96 80 98 100 98
b 65
o 124 0 102 80 76 100 76
_ 301
_ 1En fait, la version d’espeak installée sur la Raspberry Pi fonctionne aussi sans -x et -q, comme on le constate avec cette différence :
pi@raspberrypi:~$ espeak -s 110 -v mb/mb-fr1 "Toto"
t 94
o 55 0 94 80 98 100 98
t 94
o 220 0 102 80 76 100 76
_ 576
_ 1
pi@raspberrypi:~$ espeak -s 110 -v mb/mb-fr1 "Toto" -q -x
to2t'o
t 94
o 55 0 94 80 98 100 98
t 94
o 220 0 102 80 76 100 76
_ 576
_ 1Avec une Raspbian (testé sous Occidentalis), c’est différent : espeak génère des sons, et il faut donc lui demander de générer les phonèmes.
Installer Mbrola
Il ne faut pas installer mbrola avec Aptitude (apt-get), mais télécharger le binaire pour ARM à la main :
# wget http://tcts.fpms.ac.be/synthesis/mbrola/bin/armlinux/mbrola.rar
# sudo apt-get install unrar
# unrar e mbrola.rar
# sudo mv mbrola /usr/bin
# sudo chmod 777 /usr/bin/mbrolaSi vous utilisez une distribution Raspbian (comme la Occidentalis v0.1), vous devez d’abord récupérer unrar (non-free, la version free ne fonctionne pas).
# sudo nano /etc/apt/sources.list (et y ajouter la ligne "deb-src http://mirrordirector.raspbian.org/raspbian/ wheezy main contrib non-free rpi")
# sudo apt-get update
# sudo apt-get build-dep unrar-nonfree
# sudo apt-get source -b unrar-nonfree
# sudo dpkg -i unrar*.debIl faut également télécharger une voix française, et l’installer :
# sudo mkdir /usr/share/mbrola
# sudo mkdir /usr/share/mbrola/voices
# wget http://tcts.fpms.ac.be/synthesis/mbrola/dba/fr1/fr1-990204.zip
# unzip fr1*.zip
# sudo mv fr1/fr1 /usr/share/mbrola/voices/Attention, ce n’est pas le répertoire fr1 mais bien le fichier fr1 (sans tout le reste, vous pouvez le supprimer) qu’il faut copier dans le répertoire des voix, sinon vous aurez une erreur vous laissant croire que vous avez mal installé mbrola..
Premier lancement
Voilà c’est terminé, il n’y a plus qu’à lancer espeak, mbrola et finir avec aplay pour entendre le son.
Attention, si vous utilisez les exemples classiques de espeak + mbrola, tels ceux qu’on trouve dans la doc Ubuntu, vous aurez peut-être cette erreur :
Playing Sparc Audio 'stdin' : Signed 16 bit Big Endian, Rate 16000 Hz, Mono
aplay: set_params:1116: Unable to install hw params:La solution est simple (merci Christophe Nowicki, comme d’habitude tu as traité le sujet et je m’en aperçois assez tard, ça me rappelle Nagios et le SNMP...), il faut préciser en paramètre de aplay la fréquence et le type (signed 16 bit) :
Cela donne (testé et approuvé sur Raspberry Pi / Debian) :
# echo "salut les amis, c'est Pobot" > exemple.txt
# espeak -v mb/mb-fr1 -f exemple.txt | mbrola /usr/share/mbrola/voices/fr1 - - | aplay -r16000 -fS16Et ça fonctionne, malheureusement il y a un "scratch" au début, ce qui fait que le premier mot est haché... mais déjà on est heureux que ça fonctionne.
Mise à jour
Pour Raspbian / Occidentalis, cela ne fonctionne pas car la version d’espeak comporte un accès direct à mbrola.
Preuve de fonctionnement
Suite à une question posée, je persiste et je signe, ce code est totalement opérationnel et passe bien par Mbrola sur Raspberry Pi, Debian Squeeze, avec l’installation dédiée ARM décrite plus haut.
On peut séparer les différentes étapes, et enregistrer dans des fichiers que nous avons le plaisir de mettre à votre disposition (vous pourrez ainsi entendre la voix mélodieuse de Thierry, aka "fr1").
Tout d’abord, on édite un fichier texte d’exemple (euh.. la présentation du club pour faire simple.
On appelle espeak et on redirige (">") la sortie vers un fichier de phonème (peu importe l’extension, c’est du texte) :
pi@raspberrypi:~$ espeak -s 110 -v mb/mb-fr1 "Toto" -f exemple.txt > fichiertest.pho
Et ensuite on demande à Mbrola de faire son job, en appliquant la voix installée, et de générer un fichier .wav plutôt que de jouer directement le son.
pi@raspberrypi:~$ mbrola /usr/share/mbrola/voices/fr1 fichiertest.pho test.wav
Tadaaam ! Encore une victoire de Canard !
Vos commentaires
# Le 3 juillet 2012 à 11:49, par ?
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
Pourquoi faut-il 2 outils (espeak + mbrola) ?? espeak ne se suffit pas à lui même ?
Merci
Répondre à ce message
# Le 3 juillet 2012 à 14:54, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
espeak produit un son de synthèse très mécanique, alors que mbrola ajoute un modèle de voix humaine.
pour donner l’heure, espeak est suffisant. pour lire du texte pendant des heures, mbrola (ou un autre logiciel similaire) est plus plaisant.
Répondre à ce message
# Le 4 juillet 2012 à 10:22, par ?
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Ok, Merci pour cette précision !
Répondre à ce message
# Le 2 mars à 00:26, par Plop
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
Très sympathique comme article. Mais j’avoue être perdu entre les différentes versions. J’ai depuis peu un Raspberry sur lequel j’ai installé Raspbian. Et après avoir suivi les explications à la lettre, j’ai toujours droit à la voix robotisé de Espeak... pas bien bavard Mbrola.
Dur dur d’être novice...
Répondre à ce message
# Le 5 août 2012 à 14:23, par Oliv’
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
Etes vous sur de passer par mbrola ?
Selon la doc d’espeak
Donc vous devriez entendre la version ’espseak’ et non ’mbrola’
Cependant j’ai une question tout autre, que ce passe-t-il si vous tapez "mbrola /usr/share/mbrola/voices/fr1 fichiertest.pho test.wav" ?
Car je suis arrivé sur votre page en cherchant pourquoi mbrola fait une "erreur de segmentation" sur Rapsberry PI
Merci !
Répondre à ce message
# Le 5 août 2012 à 16:39, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Vu le ton de la voix (belge et pas robotique), c’est bien la version mbrola.
Je ne comprends pas votre citation de la doc, vous pensez que le pipe par mbrola ne fonctionne pas et "saute" à aplay ? Bizarre...
Vous avez piqué ma curiosité, je vais faire les tests.
Répondre à ce message
# Le 5 août 2012 à 17:43, par Oliv’
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
La commande "espeak -v mb/mb-fr1 -f exemple.txt" donne-t-elle la même voix ? Ou au moins ressort-elle quelque chose sur stdout ?
En fait je pense qu’avec la commande que vous utilisez c’est espeak qui génère le son, via mbrola peut-être, car quand on regarde "espeak —h", il y a les lignes que j’ai citées et la ligne
Donc si il n’y a pas ces arguments je ne comprends pas comment les phonèmes sont convertis du format "espeak" au format "mbrola" et passés dans std
Mais la doc d’espeak (http://espeak.sourceforge.net/mbrola.html) est assez confuse, visiblement il est possible de se passer du pipe ( Linux installation, point 3), mais dans ce cas je suis surpris que vous n’ayez pas d’erreur.
Sinon quelle distribution utilisez vous ? Avez vous essayé d’utiliser Mbrola directement avec un fichier phonème de démo, car j’ai beau chercher je ne vois pas d’où pourrai venir l’erreur de segmentation qu’ j’ai...
A noter aussi qu’en partant de la distrib "raspbian wheezy", il n’est pas possible d’installer unrar, il faut ajouter les sources "non-free" et le compiler.
Merci !
Répondre à ce message
# Le 5 août 2012 à 18:01, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
La commande demandée a été tapée, sur un fichier de test généré par espeak.
J’ai mis à jour l’article avec le fichier source, le fichier pho et le fichier test.wav généré sur Raspberry Pi, vous pourrez ainsi entendre la voix mbrola.
Contactez-moi pour qu’on résolve ensemble votre problème de segmentation de Mbrola.
Répondre à ce message
# Le 5 août 2012 à 21:47, par Oliv’
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Comme vu par mail, j’ai essayé une distribution Debian plus ancienne, et surprise, plus d’erreur de segmentation. Si jamais ça peut servir à quelqu’un pour ne pas passer la journée dessus aussi :)
Je vais essayer de demander sur le forum Raspberry, merci pour votre aide
Répondre à ce message
# Le 6 août 2012 à 10:39, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Merci pour l’info. Voilà qui ne me pousse pas vraiment à changer de distribution.
Suite à nos échanges, je précise que :
la carte de Nono est en Debian Squeeze
la carte d’Oliv est en Debian Wheezy
Donc ça marche sur Squeeze, ça ne marche pas sur Wheezy.
Reste à voir sur Raspbian, la version spécialisée de Debian pour Raspberry Pi.
Répondre à ce message
# Le 15 août 2012 à 09:14, par Oliv’
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
j’ai du mal m’exprimer, je suis en Raspbian Wheezy ;)
Du coup pour faire fonctionner le tout c’est un peu plus compliqué : Il faut faire un environnement "chroot armel" avec deboostrap et compiler espeak 1.43 à partir des sources. Je suis en discussion avec l’équipe d’Espeak pour que l’option —pho ne fasse pas d’appel à mbrola pour profiter des dernières versions. Sinon je modifierai le code moi même.
J’a noté l’essentiel des commandes pour faire tout ça si ça intéresse quelqu’un.
Répondre à ce message
# Le 15 août 2012 à 18:20, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Oui, moi ça m’intéresse, pas pour exécuter espeak en armel mais surtout mbrola en armel, car c’est lui dont le binaire ne fonctionne pas en armhf (mon espeak fonctionne sur Occidentalis, basé sur Raspbian Wheezy).
Répondre à ce message
# Le 20 août 2012 à 22:05, par Franck
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour, je serais moi aussi intéressé pour avoir la procédure à suivre. La synthèse avec seulement espeak n’est vraiment pas très jolie.
Merci
Répondre à ce message
# Le 27 août 2012 à 20:43, par Oliv’
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
En fait seul Mbrola tourne dans l’environnement chroot. Espeak est bien exécuté dans la distrib principale mais doit être recompilé à une ancienne version car désormais le programme fait un appel direct à Mbrola.
Si dessous les commandes utilisées, si vous avez des questions n’hésitez pas :
Deboostrap (à faire en root)
Pour Mbrola il suffit de copier les fichiers au bon endroit
Espeak
Pour l’utilisation, j’ai fait un petit script :
Julien : C’est dommage de ne pas pouvoir faire un simple retour à la ligne dans l’éditeur ;)
Répondre à ce message
# Le 28 août 2012 à 01:30, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Excellent, j’ai hâte de tester !!
Merci d’avoir décrit les étapes. Pour les retours à la ligne, je pense que
fonctionne (retour à la ligne br en code html).
Mais je te rassure, la rédaction des articles est beaucoup plus facile que les commentaires.
Répondre à ce message
# Le 26 janvier à 08:50, par Seb
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour
Je ne comprends pas "Pour Mbrola il suffit de copier les fichiers au bon endroit".
Cela veut dire que l’on laisse mbrola dans /usr/bin et les voix dans /usr/share ? Ou alors doit on le placer ailleurs ?
Merci d’avance pour les précisions !
Répondre à ce message
# Le 1er septembre 2012 à 14:39, par Franck
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
En fait il est plus simple de faire tourner espeak et mbrola sur la soft-float wheezy (pas de recompilation nécessaire). Cependant je n’arrive pas à supprimer les scratchs dont vous parlez, quelle est-la solution ?
Merci
Répondre à ce message
# Le 1er septembre 2012 à 20:43, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Je ne sais toujours pas. Je ne suis pas expert, et les spécialistes Linux parlent d’accès mémoire, de priorités des processus mais sans expliquer comment ça se règle.
Répondre à ce message
# Le 30 septembre 2012 à 12:51, par Yorm
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Si vous avez l’erreur : aplay : audio open error : Device or resource busy
Aller sur ce site : http://stray-notes.blogspot.fr/2010/12/aplay-device-or-resource-busy.html
Pour réduire la vitesse d’élocution :
Espeak -vmb/mb-fr1 -f exemple.txt | mbrola -t 1.2 /usr/share/mbrola/voices/fr1 - - | aplay -r16000 -fs16
Jai simplement rajouter la commande -t 1.2 (faites variez se chiffre pour aller plus ou moin vite)
Répondre à ce message
# Le 1er octobre 2012 à 09:43, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Merci pour l’astuce, à tester.
Répondre à ce message
# Le 4 novembre 2012 à 19:19, par Franck
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Bonjour,
Je n’arrive à faire prononcer les "é" et "è" correctement. Espeak me prononce "e accent aigu" ou "e accent grave" alors qu’il prononce correctement les "à". Y a-t-il une manipulation à faire ? J’ai mis locale en fr utf8 comme précisé en haut du tutoriel.
Merci
Répondre à ce message
# Le 5 novembre 2012 à 14:11, par Julien H.
En réponse à : Synthèse vocale avec espeak et mbrola sur Raspberry Pi
Dans un mot ou en lettre seule ? C’est étonnant qu’il détecte bien ces lettres (puisqu’il dit qu’il voit l’accent) mais qu’il n’ait pas de correspondance vocale.
Il y a peut être une option, je ne connais pas assez bien. Quelle version de espeak ?
Répondre à ce message