Séance du 19 décembre : problèmes d'encodage sur le chinois, installation de mini-grep et du trameur

Dernière séance avant les vacances et avant-dernière séance avant la date de remise du projet. Nous avons compris d'où venait le problème d'encodage des pages du chinois : file les détectait en iso-latin, et nous nous sommes aperçues en observant les balises meta que ces pages étaient en fait pour la plupart encodées en GB2312, une est en BIG5 et une ou deux en GB18030. Pour dumper correctement les pages, il nous faut donc aller chercher l'information sur leur encodage dans les balises meta. Il nous faut donc revoir notre script et faire en sorte que la détection de l'encodage se fasse d'abord en interrogeant la balise meta, puis par file si on n'obtient pas de résultat satisfaisant. Le risque pour nous est alors de récupérer une mauvaise information et de ne pas réussir notre dump sur les autres langues si jamais certaines balises sont mal renseignées. Nous allons faire des tests et voir si une meilleure solution s'offre à nous (peut-être ajouter une condition à notre script, interroger la balise meta, dumper la page si c'est du GB2312, du BUG5 ou du GB18030 et interroger file dans le cas contraire et donc poursuivre l'exécution de notre script tel qu'il est aujourd'hui).

Lors de cette séance, nous avons aussi installé mini-grep et le trameur sur nos mac avec l'aide de nos professeurs. Leur installation nous avait causé quelques soucis cette semaine, mais nous sommes désormais prêtes pour l'analyse de nos données, dès que nous aurons fini de les récolter en faisant ce dernier réglage mentionné plus haut sur notre script.

Pour information :

- Pour installer le trameur sur mac, nous avons utilisé PlayOnMac, un logiciel qui permet d'utiliser sur mac des programmes conçus pour Windows.

- Pour installer le mini-grep, nous avons utilisé ce tutorial rédigé par nos prédécesseurs en 2007 sur leur blog. À savoir qu'il faut lancer la commande make install sur le mode administrateur, donc il nous a fallu saisir sudo make install.