BASH : Avancées du script, egrep dans la balise meta, problèmes d'encodage et mini-grep

Cela fait près de deux semaines que nous n'avons rien publié sur notre blog, mais notre script a tout de même avancé pendant ce temps :

- Nous avons enfin réussi à isoler l'information sur l'encodage dans les balises meta :

egrep -io "charset *=[^ \>]+" | cut -d= -f 2 | tr -d \" | tr -d \' | tr -d \> | tr -d " ")

Nous avons préféré procéder progressivement en utilisant des pipes.

Nous avons donc pu achever de dumper nos pages. Malheureusement, il semble qu'il nous reste encore un problème. Certaines pages en chinois se sont mal encodées et on ne peut tout simplement pas les ouvrir dans un éditeur de texte. Nous les passons en revue ce soir pour essayer de trouver une solution avant mercredi.

- Nous avons ajouté la ligne de code qui nous permettait de rassembler tous les résultats de nos dumps dans un meme fichier.

echo "<DUMP=$numligne>" >> DUMP-TEXT/DUMP_TOTAL_$fichier;

cat ./DUMP-TEXT/$fichier$numligne.txt >> DUMP-TEXT/DUMP_TOTAL_$fichier;

Malheureusement, à cause des problèmes d'encodage sur le chinois, on ne peut pas encore consulter le fichier DUMP_TOTAL.

- En attendant de trouver une solution, nous avons voulu essayer le mini-grep. Nous avons alors été confrontées à un nouveau problème. En essayant de lancer le programme en ligne de commande pour en tester le fonctionnement, nous avons eu le message d'erreur suivant :

Can't locate Unicode/String.pm in @INC (@INC contains: /Library/Perl/5.12/darwin-thread-multi-2level /Library/Perl/5.12 /Network/Library/Perl/5.12/darwin-thread-multi-2level /Network/Library/Perl/5.12 /Library/Perl/Updates/5.12.4 /System/Library/Perl/5.12/darwin-thread-multi-2level /System/Library/Perl/5.12 /System/Library/Perl/Extras/5.12/darwin-thread-multi-2level /System/Library/Perl/Extras/5.12 .) at minigrepmultilingue-v2.2-regexp/minigrepmultilingue.pl line 10.

BEGIN failed--compilation aborted at minigrepmultilingue-v2.2-regexp/minigrepmultilingue.pl line 10.

Malgré quelques recherches sur internet, nous n'avons pas pu trouver d'explications et sommes restées bloquées là pour aujourd'hui.