‘connaissez Nanami, la mascotte (officielle) de Windows 7 ?

Fond d'écran officiel d'une édition limitée de Windows 7 Ultimate

Oui les japonais ont une tradition: celle de personnifier un peu tout. Systèmes d’exploitation, antivirus, plugins, navigateurs… On les désigne les « OS-tan ». Et bien sûr GNU/Linux ne déroge pas à la règle: Linux-tan. Beaucoup moins répandu que ses consœurs systèmes. La version actuelle représente plusieurs éléments typiques du monde Linux, tels que GRUB, LiLo, gcc, Gnome, … et les cornes du GNU.

J’avais trouvé cette image:

Et j’me suis dit qu’on peut mieux faire. J’ai renforcé contraste et saturation, corrigé les misères provoquées par JPEG et détouré sur fond transparent.

Linux-tan

Les 10% de Linuxiens (et les autres) apprécieront de l’ajouter à leurs fonds d’écran favoris, Linux-tan s’insère bien sur fond noir-bleu, marin, là où vivent les manchots.

>> les OS-tan sont souvent représentées avec un tour de poitrine proportionnel à la consommation mémoire du système représenté. Peu de RAM consommée = mascotte plate comme un tatami.

Cadeau bonus: la mascotte de Wikipedia, Wikipe-tan.

EDIT: tant qu’à faire, voici quelques OS-tan pour les distributions GNU/Linux, par juzo-kun. (licence Creative Commons by-nc)

Comme pour toute chose, l’informatique ça peut casser. Panne électrique, infection virus, café renversé sur la tour, exploitation de faille de sécurité, … bête erreur de manipulation quand vous avez la tête dans le cul après une soirée… L’informatique a aujourd’hui une importance cruciale, et une importance croissante. Avec la quantité de données et l’illusion qu’elles seront toujours disponibles, la sauvegarde est parfois souvent négligée. Et quand arrive ce qui devait arriver, vous n’avez plus que vos yeux pour pleurer si vous n’aviez rien prévu.

Je pourrais consacrer un article entier par rapport aux données stockées chez Google ou Facebook sachant que l’un comme l’autre peuvent tout vous supprimer sans prévenir; en fait on va rester dans la suite de mes articles et considérer la sauvegarde de votre blog.

Rappel de votre situation: vous avez un blog indépendant (hébergé chez vous, sur serveur dédié ou mutualisé) dans lequel vous avez commencé à rédiger et diffuser des streams. D’innombrables heures de boulot, qui peuvent disparaître en un instant en cas de négligence. Fansub Streaming par exemple, c’est en moyenne 3 heures par jour… depuis 2008. Mieux vaut avoir un système de sauvegarde fiable pour avoir l’esprit tranquille

Export WordPress

Soyez contents, WordPress dispose d’une fonction d’export vraiment utile. (Outils > Exporter)

Vous pouvez sélectionner articles et/ou pages, vous pourrez alors télécharger un fichier XML contenant tout le texte. Vous pouvez réimporter ce fichier, vos articles seront recrées. Je publie de temps en temps une copie de ce fichier d’export pour permettre aux internautes de « ressusciter » mon blog (mais attention si vous m’imitez: pensez à enlever l’adresse IP et email des commentaires !!). Si vous voulez faire de l’archivage, je vous conseille de compresser le fichier. Format zip ou mieux 7zip, il se laisse bien compresser.

Export de la base de données

Si vous avez un mutualisé alors peut être que l’hébergeur propose une fonctionnalité de dump de la base de données (comme OVH), sinon passez par l’interface de gestion (PHPMyAdmin ou autre) ou lancez cette commande dans le shell (maison/dédié):

mysqldump -h serveur -u utilisateur -pmotdepasse base_de_donnees > fichier_dump.sql

Cette méthode permet d’avoir une copie à l’identique de la base de données. Je le fais par exemple lors d’une grosse modification (substitution de texte automatique dans 1700 articles) pour qu’en cas de pépin, j’ai juste à vider la base de données cassée et réimporter le fichier de dump pour retrouver l’état précédent en quelques secondes.

Export des fichiers

Quand vous ne faites que du texte dans votre blog, vos précieuses créations sont stockées dans la base de données. Mais si vous insérez images, musiques, vidéos,… ? Il y a de bonnes chances que vous ne voulez pas les intégrer en base64 dans la base de données (sauf envie de bourrer cette dernière et tuer votre système dans la gestion d’un si gros volume) et donc vous les stockez en binaire sur le serveur. En mutualisé, vous avez sans doute un accès FTP. Maison ou dédié, un accès SSH (et donc SFTP). Avec ces 2 méthodes, vous pouvez récupérer les données du serveur vers votre propre disque dur. Vous pouvez bien sûr synchroniser les données du serveur avec votre disque dur, mais sachez qu’en cas de suppression accidentelle d’un fichier sur votre serveur, vous n’aurez plus de copie dans votre sauvegarde (en fait ça aide juste quand le serveur est complètement HS).

Miroir via flux RSS

Si vous avez plusieurs hébergements, vous pouvez mettre en place un système de miroirs, pour donner un accès temporaire aux données ou contourner une censure. Par exemple un WordPress auto-alimenté par le flux RSS, ou un plus simple autoblog. Quand il s’agit de texte, on peut aussi avoir une sorte de sauvegarde courte durée avec le cache des moteurs de recherche, ou une sauvegarde (très) longue durée avec les copies d’Archive.org. Un peu pareil.

Conservation & protection des sauvegardes

C’est bien beau de sauvegarder son blog, toujours est-il que ces sauvegardes doivent être protégées pour être utiles Pour tout ce qui est texte et dump de base de données, compressez. Gain de place assuré, et protection contre la corruption. Si vous avez beaucoup de fichiers récupérés de votre FTP/SFTP, vous pouvez vous contenter de les « empaqueter » sans compression (format tar, ou zip/7zip sans compression). Avoir juste 1 fichier à copier, vous allez voir, c’est plus pratique. Et ça protège contre les corruptions, aussi.

Garder vos sauvegardes sur disque dur interne de votre pc ? Je conseille franchement pas: entre plantages du système, corruptions et pertes en cas de panne, ça peut vite tourner au désastre. Mes recommandations:

• copie sur 2 disques durs externes (dont 1 que vous conservez précieusement et ne laissez pas branché)
• copie sur DVD-R/BD-R  (pas RW !! ça a une durée de vie beaucoup plus faible)
• copie sur clé USB / volume SSD (ça ne craint pas les chocs, c’est pas mécanique, très résistant contre les sinistres et parfait pour des sauvegardes occasionnelles)
• copie sur Freenet

Ah oui, je vais m’attarder un peu sur ce dernier point

Comme vous le savez sans doute, amis défenseurs de la liberté d’expression, Freenet est un réseau à stockage réparti: les données présentes sur Freenet sont disséminées en morceaux sur tous les disques durs des nœuds du réseau. Vu le nombre de nœuds présents et vu les caractéristiques de ce réseau, je ne pense pas mentir en disant que c’est sans doute le mécanisme de sauvegarde le plus puissant que je connaisse. Ce qui est sur Freenet reste sur Freenet: il faut attendre très longtemps pour qu’éventuellement plus aucun nœud n’a de morceaux du fichier dans son store, rendant ainsi le fichier indisponible. Chaque morceau de fichier étant chiffré, il n’y a d’ailleurs pas de risque que des indiscrets jette un œil à vos sauvegardes s’il ne possède ni identifiant ni clé de déchiffrement (pour faire simple: le lien Freenet du fichier).

L’idéal: inclure le fichier de sauvegarde dans un Freesite. L’adresse SSK/USK ne changeant pas, vous pouvez très facilement retrouver les insertions précédentes, et ainsi pérenniser la présence des fichiers de sauvegarde sur le réseau. Au final ça paraît similaire à un stockage en cloud comme Dropbox, mais en mieux Note: puisque l’insertion sur Freenet prend beaucoup de temps, privilégiez tout ce qui est texte, et compressez. Inutile de gâcher de l’espace de store des nœuds qui aurait pu être mieux utilisé.

Il existe aussi d’autres méthodes de conservation des sauvegardes, je peux citer la méthode du volume SSD (auto-alimenté par port USB) qu’on coule dans le béton, la transmission radio vers l’espace (en visant des objets à une certaine distance, on peut faire un « écho » des ondes radio revenant sur Terre des années plus tard), la gravure holographique dans du verre, quartz ou diamant (c’est ce qui résiste le mieux pour de très longues durées), le coffre fort ignifugé en manganèse dans votre chambre, la duplication sur Multiupload,…

Tout ce qu’il faut, c’est que votre sauvegarde soit récente et fiable au moment où vous en avez besoin. Et puisque l’échéance est impossible à prévoir, partez du principe que tout peut chavirer demain Ça vous aidera à aborder le problème avec sérénité.

Mon prochain article, au sujet des statistiques avec Piwik, n’arrivera sans doute qu’en 2012 Mais il arrivera, promis !

(voir page ressources pour l’arborescence des articles)

J’avais évoqué un projet sur le forum du Parti Pirate il y a de ça.. fort longtemps: collecter des infohash et afficher un lien magnet aléatoire, pour démontrer la facilité avec laquelle on peut pérenniser la disponibilité d’un contenu grâce à son URI. À l’époque, j’étais pas encore aussi avancé en Streisandages/Flambises. Bref l’autre jour j’ai relu quelques lulz avec The Pirate Bay (leur page « legal ») et puis ça aujourd’hui.

Le script que je présente ici est en bash et crée des fichiers, du nom de l’infohash, dans un dossier. J’ai d’ailleurs testé avec succès un système d’export-gestion en PHP, un peu dans le genre de la mosaïque de gravatars. Genre un appel au script « hash.php?infohash=gnagnagna », qui crée un fichier « gnagnagna » dans un dossier, ce dernier étant scanné par un autre script PHP pour générer un listing mis en forme « magnet:?xt=urn:btih:gnagnagna ». Bref !

Ce script bash génère un identifiant aléatoire, un nombre compris entre 3200000 (pas trouvé de torrents plus anciens) et 7000000 (pas de torrents plus récents). Par exemple: 4972155 (nombre aléatoire qu’il vient de me sortir).

Le script va ensuite essayer de récupérer la page « http://thepiratebay.org/torrent/4972155″. Bingo, le torrent est existant (berk, un warez à code source fermé pour Windows, où il y a ni seeds ni leechs). Le script recherche le lien magnet, ce lien est nettoyé pour ne garder que l’infohash. Ici: 64c4b48784b4f8cdbabb38caecca4dcb20d061fd. Courte vérification si l’infohash est bien long de 40 caractères, et si c’est le cas un fichier nommé « 64c4b48784b4f8cdbabb38caecca4dcb20d061fd » est crée dans le dossier.

Et ainsi de suite J’ai mis un « sleep » de 0.5 secondes, histoire de ne pas inutilement surcharger le serveur.

Sur le pastebin j’ai rajouté une section pour Isohunt, mais c’est bien moins efficace: beaucoup trop de références dont beaucoup supprimées et serveur assez lent. Place au code !

#!/bin/bash
mkdir -p "infohashes"
cd "infohashes"
while true; do
target=`shuf -i 3200000-7000000 -n 1`
hash=`wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:8.0) Gecko/20100101 Firefox/8.0" -O - http://thepiratebay.org/torrent/$target | grep -o "href=\"magnet:?xt=urn:btih:[^[:space:]]*\"" -m1 | sed -e "s/href=\"magnet:?xt=urn:btih://" | cut -c 1-40`
if [ "${#hash}"=40 ]; then echo "" >"$hash";fi
sleep 0.5
done

Télécharger (7z)

Amusez vous bien


#!/bin/bash
mkdir piratesourcil
cd piratesourcil
ANNEE=2009
while [  $ANNEE -lt 2012 ]; do
for ((MOIS=1;MOIS<=12;MOIS+=1)); do
mkdir "$ANNEE`printf "_%02d" $MOIS`"
cd "$ANNEE`printf "_%02d" $MOIS`"
wget -O - "http://piratesourcil.blogspot.com/$ANNEE`printf "_%02d" $MOIS`_01_archive.html" | grep -o src=\"[^[:space:]]*.png | sed -e "s/src=\"//" >> url.txt
puf -vvv -xg -U "Mozilla/5.0 (X11; Linux x86_64; rv:8.0) Gecko/20100101 Firefox/8.0" -i url.txt
rm "bonus.png" "croquis.png" "icone+bonus.png" "barbecue.png" "grand+gagnant.png" "barbecue+avec+du+monde.png" "barbecue+sans+personne.png" "icone+bonus+grd+jeu+concours.png" "pour+voir+ttes+les+participations.png" "100906125420525434.png" "festiblog.png" "fairepart.png" "iconebonus.png" "icone+bonus.png" "article%2Bvid%25C3%25A9o.png" "cliquezici.png" "icone%2Bbonus.png" "22481364.png" "prendstaphoto.png" "click%2Bn%2Bload%2Bpub.png" "barbecuei.png" "verylowbarbecueespace.png" "espacevide.png" "verylowsupergeanbarbecu.png" "cliqueziciw.png" "jeneseraipaspresentaufe.png" "clem+et+swell.png" "voscadeaux.png" "vos+cadeaux.png" "url.txt" "10062005180393961.png" "100418064110180624.png" "100418064303424326.png" "100418064346913681.png" "joueurdugrenier.png" "lelombrik.png" "logodbm.png" "somerights20.png"
cd ..
rm -rf "2009_07" "2009_06" "2009_05" "2009_04" "2009_03" "2009_02" "2009_01"
done
let ANNEE=ANNEE+1
done
cd ..
cd piratesourcil_pre
for mois in *; do
mv "$mois" "liste_$mois"
mkdir "$mois"
wget -P "$mois" -i "liste_$mois"
cd "$mois"
for articles in *; do
mkdir "${articles%.????}"
cat "$articles" | grep -o "href=\"http[^[:space:]]*\"><img" | sed -e "s/href=\"//" | sed -e "s/\"><img//" | sed -e "s/-h\//\//" >> "${articles%.????}-url.txt"
puf -vvv -P "${articles%.????}" -U "Mozilla/5.0 (X11; Linux x86_64; rv:8.0) Gecko/20100101 Firefox/8.0" -i "${articles%.????}-url.txt"
rm "${articles%.????}-url.txt" "$articles"
cd "${articles%.????}"
for artimg in *; do
mv "$artimg" "../${articles%.????}_$artimg"
done
cd ..
rm -rf "${articles%.????}"
done
cd ..
mv "$mois" ../piratesourcil/
done


Tel quel il fonctionnera qu’à moitié, il vous faut le bête listing d’articles d’avant 2009/08 (pas eu le temps de chercher plus efficace, désolé). Le dossier est à mettre au même endroit que le script. Après usage, si vous voulez ré-utiliser ce dossier, vous devrez renommer les fichiers contenus en enlevant le préfixe « liste_ ». Bah oui, sur GNU/Linux on ne peut pas appeler un dossier pareil qu’un fichier, et ma méthode est conne.

Pack script + dossier des refs pré-2009/08

Et voilà ce que vous obtenez une fois le script exécuté. Archive des BD de PirateSourcil (100 Mo, les lapinous)

ps: je persiste et signe, Blogspot c’est à brûler par le feu jusqu’à ce que cendres en reste.

Le répertoire Xiph, résultats pour « anime »: et si on se faisait une compil’ de ces webradios, tout dans une liste de lecture, 1 seul stream par radio ? J’ai un peu tâtonné jusqu’à obtenir exactement ce que je voulais. Mais voilà:

#!/bin/bash
wget -O page1 "http://dir.xiph.org/search?search=anime"
wget -O page2 "http://dir.xiph.org/search?search=anime&page=1"
cat page1 page2 > page
rm page1 page2
grep -o /listen/[^[:space:]]*/listen.xspf page | sed -e "s/\/listen/http:\/\/dir.xiph.org\/listen/" > radios
mkdir temp
while read line; do wget -O "temp/`date +%s%N`" "$line" ; done < radios
for file in temp/*; do grep -m 1 -o "<track><location>[^[:space:]]*</location></track>" $file >> track  ; done
streams=`cat track`
echo '<?xml version="1.0" encoding="UTF-8"?><playlist version="1" xmlns="http://xspf.org/ns/0/"><title>Mix</title><info></info><trackList>'$streams'</trackList></playlist>' > Anime_mix.xspf
rm track radios page
rm -rf temp

Une fois exécuté, ce script sort un fichier « Anime_mix.xspf » contenant 1 stream par webradio, à ouvrir dans un lecteur comme VLC Au moment où j’écris ça, c’est une playlist de 25 streams qu’on obtient.

1. on récupère les 2 pages de résultats avec wget (on peut ajouter le téléchargement de 3, 4… autant de pages de résultats qu’il faut)
2. on fusionne ces pages en 1 seule, et on enlève les 2 pages individuelles
3. on « attrape » le lien vers les listes de lecture dans la page, et on le transforme en lien absolu
4. on crée un dossier et on y récupère avec wget toutes les listes de lecture trouvées
5. pour chaque liste de lecture dans le dossier, on extrait uniquement la première référence de piste (track) car beaucoup de radios ont plusieurs pistes sur des serveurs différents
6. on « reconstruit » une liste de lecture avec toutes les références de pistes
7. et on nettoie les fichiers de travail

Le fichier de sortie est un peu barbare (pas de retour à la ligne entre les pistes, pas de titre ni info,..) mais VLC le traite sans problème Adaptez selon vos besoins (mot clé de la page de résultats, nombres de pages à scanner, type de playlist à sortir…).

Télécharger le script

Télécharger un exemple de playlist

Amusez-vous bien

Les fansubbeurs le savent, pour hardsubber (ou « burn » en anglais) des sous-titres ASS/SSA (à effets donc), les outils ne sont pas légion. Avidemux est le plus simple d’usage, en fait il exploite une fonctionnalité d’un autre outil, lui très puissant (pas autant que ffmpeg je trouve):  mencoder. (on ajouterait Avisynth+MeGUI, mais non en fait). Avidemux a une fonction d’encodage par lot, mais c’est super-fastidieux à préparer (avant je copiais-collais le script et l’éditais avec un bête éditeur de texte pour ne pas devoir me taper toutes les étapes dans Avidemux). Bon entrons dans le vif du sujet: exploitons mencoder, qui fait partie de mplayer.

#!/bin/bash
for file in *; do
mkfifo fifo.y4m
mplayer -ass -sub "sub/$file.ass" -nosound -quiet -benchmark -vo yuv4mpeg:file=fifo.y4m "$file" &
mencoder -cache 8192 -audiofile "$file" -mc 0 -oac mp3lame -lameopts cbr=1:br=128 -ovc x264 -x264encopts crf=18:frameref=8:bframes=3:b_adapt:weight_b:partitions=all:8x8dct:me=esa:subq=7:trellis=2:threads=auto -o "${file%.???}.avi" fifo.y4m
rm fifo.y4m
done

Vous avez l’impression que j’ai brûlé les étapes ?

Ce script est à placer dans un dossier avec les vidéos à encoder. Les sous-titres sont à mettre dans un sous-dossier « sub ». Si vous voulez par exemple encoder « 05.mkv », le fichier de sous-titres doit s’appeler « 05.mkv.ass ». Je n’entre pas dans les détails de la construction de fichiers MKV avec MkvMergeGUI et mon script d’extraction de pistes.

Après exécution, vous obtenez un fichier -par exemple 05.avi. Bon le conteneur de sortie peut ne pas être AVI, je l’ai mis parce que c’est un container n’acceptant que pistes audio et vidéo (preuve donc à la lecture que les sous-titres sont incrustés dans la vidéo). Oui je sais, utiliser un puissant encodeur comme x264 et un crache-bouillie comme mp3lame.. L’AVI a ses contraintes.

(les windowsiens auront beau clamer « we are the 85% sur FS », ils ne pourront qu’au mieux s’inspirer de la ligne de commande pour concocter leur propre batch   )

J’ai pas souvent à hardsubber des animes, mais souffrez de voir le résultat de ce script dans les rééditions HD de Hen Zemi (upload courant de l’après-midi)

Vraiment simple à maintenir: créer un dossier, et mettre dedans les vidéos WebM. C’est tout: PHP se charge de créer les listes, le titre de page, et afficher la vidéo, tout en 1 fichier PHP.

Je bosserai dessus de temps en temps, j’ai par exemple quelques idées comme: génération de balises meta description (ça c’est franchement facultatif, c’est pas destiné à une SEO de la mort), utiliser une image d’illustration pour la liste des dossiers, changer la couleur du dégradé CSS facilement en éditant une variable, compter et afficher à côté de la liste des dossiers le nombre de vidéos que chacun contient,… Et rationaliser le code existant (parce que là pour l’instant c’est très artisanal, même si avec le recul je me dis que ça permet à PHP de traiter juste ce qu’il faut).

Maintenant, important: remontez-moi des vulnérabilités de parcours (faire lister un autre dossier à PHP, l’ouverture de fichiers qui ne devraient pas l’être genre un WebM sur un serveur externe,…). J’ai bien fait plusieurs barrages notamment contre le listing de dossier parent, si un truc anormal est possible sans que ça sorte un code erreur 404 non trouvé ou 400 mauvaise requête, courir m’avertir Aussi si vous arrivez à obtenir des pages avec des messages d’erreur PHP (vu que le serveur retourne un état 200 ok, pas bon).

Principe de fonctionnement: le PHP a 3 « modes de fonctionnement »: si rien n’est donné, lister les dossiers. Si un dossier est donné (serie), lister le contenu du dossier. Si dossier est donné et un fichier est donné (episode), afficher la lecture de la vidéo. Dans les listings, les « - » (tirets/moins) sont remplacés par des  »  » (espaces) et le texte est capitalisé en mode titre (première lettre de chaque mot en majuscule). Le listing des fichiers montre sous la forme: dossier – fichier. Pour des raisons de sécurité, seuls les fichiers WebM peuvent être appelés via le PHP (si vous essayez de passer « index.php » en fichier, PHP retournerait un code de lecture vidéo pour « index.php.webm » – sauf que PHP vérifie la présence effective du fichier WebM).

Donc je m’adresse aussi aux non-programmeurs PHP: maltraitez-le pour trouver des bugs

Code

testing: améliorations cosmétiques CSS

07/11/2011: [ version 0.3-pre/ PDF] Forçage type string, dimensions vidéo en CSS, inversion de condition (Jerry Wham), exclusion antislash + strpos au lieu de preg match (Ludo).

31/10/2011: [version 0.2-pre / PDF] changement détection anti-point (détecte si 1er caractère = point), substitution de _ au lieu de – pour les espaces, bugfix points dans les noms de fichiers, changement de la fonction de listage dossiers, ordre alphabétique de la liste de dossiers, rajout d’un lien retour à la liste des dossiers, lien de retour au contenu d’un dossier dynamique, personnalisation plus simple de diverses variables PHP, un peu de cosmétique dans les variables.

29/10/2011: [version 0.1-pre / PDF] version publique initiale.

Dans un dossier réservé au cache, foutez un fichier « get.php » dont le contenu est:

<?php
$expire = time() -604800 ;
$hash = ereg_replace("[^a-f0-9]", "", $_GET['g'] );
$newfile = $hash.'.png';
if (isset($_GET['g']))
{
$file = 'https://secure.gravatar.com/avatar/'.$hash.'?s=60&d=wavatar';
if(file_exists($newfile) && filemtime($newfile) < $expire)
{ unlink($newfile); }
if (file_exists($newfile))
{ }
else
{ copy($file, $newfile); }
header('Location: '.$newfile.''); }
else
{ echo "erreur"; }
?>


Pour expire, mettez la durée de conservation du cache, en secondes (ici: 7 jours, le gravatar local doit être mis à jour au cas où le visiteur a changé le sien). $newfile désigne le nom du fichier local, $file le fichier original sur Gravatar.

Si le paramètre « g » est donné, définir $file. Dans la même condition, si le fichier existe et a expiré, il est supprimé. Si le fichier existe, (il se passe rien, le fichier n’a pas expiré car la condition précédente ne l’a pas supprimé), sinon le fichier est téléchargé. Une fois la condition remplie, le navigateur est redirigé vers le fichier local. Si « g » n’est pas donné, afficher un message d’erreur.

Ainsi, pour mon gravatar à moi: http://static.fansub-streaming.eu/gravatars/get.php?g=b7d5d74f0a697028afecb8055e963d50

Bon, on a donc un script qui télécharge les avatars depuis Gravatar et redirige plutôt l’utilisateur vers le fichier local Reste à configurer WordPress pour exploiter ça.

Pour ce faire, le plus simple c’est de créer une extension: en cas de mise à jour de WordPress, vos modifications sont conservées. Mettez ça dans un fichier PHP que vous uploadez dans /wp-content/plugins/. C’est du code qui modifie la fonction get_avatar de /wp-includes/pluggable.php grâce à un filtre.  Vers la fin, vous devez modifier la ligne pour qu’elle corresponde à l’URL absolue de votre site ! C’est du code testé opérationnel sur WordPress 3.2.1, vérifiez la compatibilité après mise à jour.

<?php
/*
Plugin Name: Hack Gravatar
Plugin URI: http://www.fansub-streaming.eu/
Description: Hack cache local gravatars
Version: 1.0
Author: Mitsu
Author URI: http://www.fansub-streaming.eu/
*/
add_filter('get_avatar', 'be_gravatar_filter', 10, 5);
function be_gravatar_filter($avatar, $id_or_email, $size, $default, $alt) {
$email = '';
if ( is_numeric($id_or_email) ) {
$id = (int) $id_or_email;
$user = get_userdata($id);
if ( $user )
$email = $user->user_email;
} elseif ( is_object($id_or_email) ) {
$allowed_comment_types = apply_filters( 'get_avatar_comment_types', array( 'comment' ) );
if ( ! empty( $id_or_email->comment_type ) && ! in_array( $id_or_email->comment_type, (array) $allowed_comment_types ) )
return false;
if ( !empty($id_or_email->user_id) ) {
$id = (int) $id_or_email->user_id;
$user = get_userdata($id);
if ( $user)
$email = $user->user_email;
} elseif ( !empty($id_or_email->comment_author_email) ) {
$email = $id_or_email->comment_author_email;
}
} else {
$email = $id_or_email;
}
if ( empty($default) ) {
$avatar_default = get_option('avatar_default');
if ( empty($avatar_default) )
$default = 'mystery';
else
$default = $avatar_default;
}
if ( !empty($email) )
$email_hash = md5( strtolower( $email ) );
$return = '<img hspace="5" align="left" src="http://mettez_ici_votre_site/get.php?g='.$email_hash.'" width="'.$size.'" height="'.$size.'" alt="'.$alt.'" />';
return $return;
}
?>

Ça vous donne pas envie d’apprendre le PHP, toutes ces belles couleurs ?

Bon c’est en grosse partie une reprise de la fonction get_avatar originale. Dans le cas présent, la fonction get_avatar est substituée par la fonction be_gravatar_filter (vous pouvez nommer ça différemment, j’ai juste eu la flemme de changer le morceau de code trouvé sur l’interweb). La partie intéressante c’est tout à la fin, à partir du moment où le hash est calculé à partir de l’email. La valeur de $return est affichée sur votre blog, donc c’est là où vous veillerez à entrer l’URL de votre site (à « mettez_ici_votre_site »).

Reste plus qu’à activer l’extension, et voilà le travail Là où les gravatars étaient chargés (notamment dans les commentaires), les navigateurs vont plutôt tenter de récupérer une image à travers le get.php, tandis que ce dernier se charge de télécharger le fichier (le cas échéant) et pointer vers le bon fichier.

Mission accomplie

ps: je dédicace cet article à Gnuzer, dont le HTTPS Everywhere trimera un peu moins à forcer le HTTPS à chaque image Gravatar à charger – en même temps Gravatar ne pourra pas tracer les internautes, le script get.php agissant un peu comme un proxy.

Cachez bien

edit: ah vous vouliez une jolie mosaïque de tous les gravatars cachés ?

#!/bin/bash
for file in *; do
mkvextract tracks "$file" 3:"$file.ass"
i=1
while [ $i -le 20 ]; do
mkvextract attachments "$file" $i
let $[ i+=1 ]
done
done

(dans le cas présent, la piste 3 est considérée sous-titre, et un maximum de 20 fichiers joints sont considérés polices TTF – faites attention à ça si vous avez un fichier avec plusieurs pistes audio et sous-titres, ou des id mélangés, et des fichiers joints qui ne sont pas des TTF – donc vérifiez bien la structure de votre fichier MKV avant).

Simple, rapide, efficace.

Néanmoins: lorsqu’on veut proposer du streaming sans utiliser Flash ni aucun autre module propriétaire (type Silverlight, RealVideo, …), la norme HTML 5 est déjà incontournable. Pour plus d’informations sur les formats utilisés en HTML 5 et leur intégration, voir mon précédent article sur le sujet

Petits rappels avant de commencer: Un WebM est toujours de type WEBM-VP8-VORBIS.

• WebM c’est le conteneur: il est dérivé du conteneur Matroska, connu pour sa grande flexibilité: c’est l’enveloppe permettant de « mélanger » correctement les flux audio, vidéo et sous-titres tout en gardant la chronologie et la synchronisation. (voir A Digital Media Primer for Geeks, chapitre « Containers »)
• VP8 c’est le format du flux vidéo. Dernier né de On2 avant rachat par Google, VP8 comporte beaucoup des avantages de H.264 sur les formats antérieurs. Comme la plupart des formats vidéo actuels VP8 utilise une compression DCT des images: l’animation n’est pas crée à partir d’images fixes complètes, mais à partir de certaines images fixes et des images intermédiaires « différentielles » calculées à partir des images précédentes ou suivantes: le mécanisme d’inter-trames.
• Vorbis c’est le format du flux audio. Pourfendeur du célèbre MPEG-1/2 Audio Layer 3 « MP3″ et rival de AAC. Ce format est la référence en matière de formats multimédia libres pour la compression audio à pertes, tout particulièrement pour la musique.

Pour lire les fichiers WebM, il y a de plus en plus de logiciels qui sont capables de faire le décodage. J’imagine que les logiciels les plus utiles pour ce format sont votre navigateur web (Firefox, Opera, Chrome-Chromium,..) et VideoLan VLC

C’est pour créer des fichiers WebM qu’on entre dans le vif du sujet: il n’existe encore que peu d’encodeurs, ils peuvent être lents et de mauvaise qualité.

• VLC permet d’encoder au format WebM, mais je le déconseille: encodage très lent et qualité médiocre, car débit fixe.

La meilleure solution à l’heure actuelle, c’est utiliser la librairie d’encodage officielle (libvpx) avec un très répandu et puissant encodeur: ffmpeg.

Firefogg

FFmpeg est un encodeur en ligne de commande -stop, ne vous enfuyez pas: il existe de très nombreuses interfaces pour régler les paramètres d’encodage de ffmpeg. Vous préférez ce qui est gratuit, mis à jour tout seul, léger, et même avec code source libre ? Bonne nouvelle: vous pouvez installer Firefogg dans votre navigateur Firefox Je recommande vivement à ceux qui ne sont pas experts en encodage vidéo.

Une fois le module installé, rendez-vous sur la page de création de vidéo.

• cliquez sur le bouton « select file » et choisissez le fichier à encoder
• choisissez le format (WebM). Vous pouvez utiliser un preset si applicable à votre vidéo, ou sinon choisir custom
• si vous choisissez custom, de nombreuses options vous sont présentées, comme les dimensions, le nombre d’images par seconde, le débit, la qualité, ..
• enfin, cliquez sur encode, choisissez l’emplacement d’enregistrement, et admirez le spectacle.

Dans ce processus, Firefogg passe à ffmpeg les paramètres qui vont bien et rapporte à l’utilisateur l’avancement de l’encodage (pourcentage et temps restant). La vidéo est bel et bien encodée avec votre processeur, et le résultat reste bien sur votre ordinateur. Ce n’est pas un service d’encodage en ligne.

Astuce: allez dans votre profil Firefox (local settings\application data ou appdata\roaming selon votre version de Windows, ou simplement ~/.mozilla pour GNU/Linux et MacOS), dossier extensions/firefogg@firefogg.org/bin. Là dedans vous pouvez retrouver le fameux exécutable binaire de ffmpeg Vous pouvez également voir la ligne de commande passée à ffmpeg dans le gestionnaire des tâches.

GNU/Linux: compiler ffmpeg

Puisque je suis d’un naturel paresseux, je me suis fait un script bash pour utiliser ce qu’il y a de plus récent pour mon Linux Mint Debian Les utilisateurs d’une distribution non dérivée de Debian/Ubuntu sauront adapter les commandes. Aussi: évitez d’utiliser l’option make -j 9 si vous ne possédez pas un processeur à 6 coeurs -j 5 conviendra la plupart du temps. (c’est le nombre de tâches de compilation simultanées).

Ce script nettoie les compilations précédentes, met à jour les outils de développement, récupère et compile libmp3lame, clone les projets x264, libvpx et ffmpeg, récupère mkclean, et compile le tout. En 5 minutes c’est torché

#!/bin/bash
sudo apt-get update
sudo rm -r /usr/local/src/*
sudo apt-get remove ffmpeg x264 libx264-dev lame libmp3lame-dev libvpx
sudo apt-get install git yasm checkinstall build-essential libvorbis-dev libxvidcore-dev libfaac-dev  libfaad2  libtheora-dev libdirac-dev libvdpau-dev libopenjpeg-dev libopencore-amrwb-dev libopencore-amrnb-dev libgsm1-dev libschroedinger-dev libspeex-dev libdc1394-22-dev libsdl1.2-dev libx11-dev
cd
wget http://sourceforge.net/projects/lame/files/lame/3.98.4/lame-3.98.4.tar.gz &&  tar -zxvf lame-3.98.4.tar.gz && rm lame-3.98.4.tar.gz
git clone git://git.videolan.org/x264.git
git clone http://git.chromium.org/webm/libvpx.git
git clone git://git.videolan.org/ffmpeg.git
# verifier version sur http://sourceforge.net/projects/matroska/files/mkclean/
wget http://sourceforge.net/projects/matroska/files/mkclean/mkclean-0.8.6.tar.bz2 &&  tar -jxvf mkclean-0.8.6.tar.bz2 && rm mkclean-0.8.6.tar.bz2
sudo mv ~/lame-3.98.4/ /usr/local/src/
sudo mkdir -p /usr/local/share/doc/lame/html /usr/local/share/man/man1 /usr/local/include
cd /usr/local/src/lame-3.98.4
./configure
make -j 9
sudo checkinstall --pkgversion "1:3.98.4" --backup=no --default
cd
sudo mv ~/x264/ /usr/local/src/
sudo mkdir -p /usr/local/lib/pkgconfig
cd /usr/local/src/x264
./configure --prefix=/usr --enable-shared
make -j 9
sudo checkinstall --pkgname=x264 --pkgversion "20:0.svn`git rev-list HEAD | wc -l`" --backup=no --default
cd
cd ~/libvpx_src
mkdir "`date '+%d-%m-%Y'`"
cp ~/libvpx/ ~/libvpx_src/`date '+%d-%m-%Y'`
sudo mv ~/libvpx/ /usr/local/src/
cd /usr/local/src/libvpx
./configure
make -j 9
sudo checkinstall --backup=no --default
cd
sudo mv ~/ffmpeg/ /usr/local/src/
cd /usr/local/src/ffmpeg
./configure --enable-libmp3lame --enable-libxvid --enable-libvorbis --enable-gpl --enable-libfaac --enable-libtheora --enable-zlib --disable-shared --enable-libx264 --enable-libdirac --enable-nonfree --enable-version3 --enable-libschroedinger --enable-avfilter --enable-libspeex --enable-libopenjpeg --enable-libgsm --enable-postproc --enable-pthreads --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-ffplay --enable-pthreads --prefix=/usr/local --enable-x11grab --enable-runtime-cpudetect --enable-bzlib --enable-libdc1394 --enable-libvpx --enable-librtmp --enable-openal
sudo make clean
make -j 9
sudo checkinstall --pkgname=ffmpeg --pkgversion "20:0.8" --backup=no --default
cd
sudo mv ~/mkclean-0.8.6/ /usr/local/src/
cd /usr/local/src/mkclean-0.8.6
./configure
make -j 9 -C mkclean
sudo checkinstall --backup=no --default

Le ffmpeg obtenu est très gros du coup: il contient plein de librairies.

L’encodage avec ffmpeg

• Méthode standard:

ffmpeg -i "video" "video.webm"

• Profil ancien de Fansub Streaming: encodage à partir des fichiers d’archive:

ffmpeg -i "video" -rc_lookahead 16 -keyint_min 0 -g 360 -skip_threshold 0 -level 116 -qmax 40 -threads 0 "video.webm"

• Profil LD ancien de Fansub Streaming: encodage à partir des fichiers originaux (avec redimensionnement, tout le dossier):

#!/bin/bash
redimensionner() {
dimension="$(ffmpeg -i "$1" 2>&1 | grep Video: | sed 's/.*Video:.*, \([0-9]*x[0-9]*\).*/\1/')"
local hauteur=${dimension#*x}
local largeur=${dimension%x*}
let "result=640*${hauteur}/${largeur}"
echo "-s 640x$result";
}
for file in *; do
dim=`redimensionner "$file"`;
ffmpeg -i "$file" $dim -sws_flags lanczos -ac 2 -ar 48000 -rc_lookahead 16 -keyint_min 0 -g 360 -skip_threshold 0 -level 116 -qmax 40 -threads 0 "${file%.???}.webm"
done

• Profil HD version 1 de Fansub Streaming à partir du fichier original (HD 720p) avec optimisation mkclean, tout le dossier:

#!/bin/bash
for file in *; do
ffmpeg -i "$file" -vcodec libvpx -vb 800k -rc_lookahead 16 -keyint_min 0 -g 120 -skip_threshold 0 -level 116 -quality best -speed 0 -slices 4 -threads 6 -acodec libvorbis -ac 2 "${file%.???}.webm"
mkclean --optimize --remux "${file%.???}.webm" "${file%.???}c.webm"
rm "${file%.???}.webm"
mv "${file%.???}c.webm" "${file%.???}.webm"
done

• Profil HD version 2 de Fansub Streaming pour AMV à partir du fichier original (HD 720p), 2 passes qualité haute avec optimisation mkclean, tout le dossier:

#!/bin/bash
for file in *; do
ffmpeg -i "$file" -vcodec libvpx -vb 2000k -rc_lookahead 16 -keyint_min 0 -g 120 -skip_threshold 0 -level 116 -quality best -speed 0 -slices 4 -threads 6 -pass 1 -passlogfile pass1.fpf -an "${file%.???}.webm"
ffmpeg -i "$file" -vcodec libvpx -vb 2000k -rc_lookahead 16 -keyint_min 0 -g 120 -skip_threshold 0 -level 116 -quality best -speed 0 -slices 4 -threads 6 -pass 2 -passlogfile pass1.fpf -acodec libvorbis -ac 2 -y "${file%.???}.webm"
rm pass1.fpf-0.log
mkclean --optimize --remux "${file%.???}.webm" "${file%.???}c.webm"
rm "${file%.???}.webm"
mv "${file%.???}c.webm" "${file%.???}.webm"
done

(les séries sont encodées avec le profil HD v2, mais avec -vb 800k)

Inspirez-vous des paramètres pour déterminer ce qui correspond le mieux à vos besoins Testez, testez, testez. Jouez avec la variable « -vb » , essayez avec -quality good, comparez les temps d’encodage,..

D’autres encodeurs

Il existe pas mal d’encodeurs ou d’interfaces pour encodeur, capables de faire des fichiers WebM (Miro, Arista, ..). Ou sinon il y a une autre méthode: utiliser un service d’encodage en ligne (encoding.com, zencoder,..) ou carrément un portail vidéo pour récupérer la vidéo ensuite (Youtube). Mais je préviens: niveau qualitatif, c’est pas top

Avant de mettre le fichier WebM en ligne, vérifiez s’il est joué correctement par les navigateurs web.

Voilà, à présent vous savez créer et intégrer des streams WebM Prochain article: la sauvegarde

(voir page ressources pour l’arborescence des articles)