[Résolu] Créer un miroir d'un répertoire HTTP

Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[Résolu] Créer un miroir d'un répertoire HTTP

Cylae

Bonjour,

Bon, premièrement, je sais que le titre n'est peut être pas forcement très clair, mais c'est le meilleur que j'ai trouvé !

J'aimerai savoir s'il était possible de configurer un software ou un script sous Debian 8 pour qu'il aille récupérer les fichiers d'un répertoire HTTP (sans supprimer les précédents fichiers).

Quand je parle de répertoire HTTP, il s'agit de ça : http://download.crpalmer.org/nightlies/Z00A-cm-13.0/

J'aimerai donc récupérer le .zip du jour, tous les jours à 11h par exemple, sans supprimer les précédentes builds.
Je souhaiterai faire ça car le serveur de notre cher crpalmer a du mal juste après la compilation. Ainsi, je pourrai proposer un miroir pour ceux qui, comment moi, galèrent à récupérer ces builds.

J'ai chercher sur le net, a peu près avec les mêmes mots que j'ai utilisé dans ce post mais je n'ai rien trouvé à part pour créer un miroir de sources Debian...

Merci d'avance pour votre aide !

Edit : J'ai essayé la commande suivante :

wget -mk -w 60m http://download.crpalmer.org/nightlies/Z00A-cm-13.0/

Mais pour le moment, le serveur à l'air HS, donc j'attends de voir si ça fonctionne...

Edit 2 : Bon, ça dépasse le temps d'attente, je ne sais pas si c'est moi ou si c'est son serveur. De mon côté la connexion est totalement libre.

J'ai lancé la commande suivante dans un screen, je vais patienter...

wget -r -nH -w 60m -e robots=off --cut-dirs=2 --no-parent --reject="index.html*" http://download.crpalmer.org/nightlies/Z00A-cm-13.0/

ex_rat

Tu peux tenter comme ça peut-être pour récupèrer seulement le fichier du jour

#!/bin/bash
#
# récup' date du jour au format YYYYMMDD
DATE=$(date +%Y%m%d)
# on passe dans le bon dossier en local
cd /ton/dossier
wget http://download.crpalmer.org/nightlies/Z00A-cm-13.0/cm-13.0-"$DATE"-UNOFFICIAL-Z00A.zip

rendre le script executable:

chmod a+x chemin/du/script/toto.sh

et tu fais un cron

crontab -e

(je suis pas sûr du cron mais ça doit être ça...)

0 11 * * * sh /chemin/du/script/toto.sh > /dev/null 2>&1

à tester quoi ! après tu peux développer plein de verif, menage etc.. derrière pour faire une chouette usine à gaz !

Ex.

Cylae

Je n'ai qu'une chose à dire : excellent ! Le script est fonctionnel, j'ai bien ajouté l'entrée cron, du coup on verra demain à 11h

Merci beaucoup !

Le souci est donc résolu mais j'aimerai maintenant savoir comment créer un dossier /Z00A qui soit disponible. Comme celui de notre collègue. J'ai essayé d'ajouter un Z00A.conf, mais, doué comme je suis, nginx ne voulait plus démarrer...

J'ai installé la seedbox via le script complet, si ça peut vous aider à me mettre sur la piste...

Encore merci

Edit : J'ai ajouté ces lignes à la fin du script. Elles permettent de vérifier si le fichier est identique via le md5sum.
Ca permet d'éviter les doublons :

declare -A arr
shopt -s globstar

for file in **; do
  [[ -f "$file" ]] || continue

  read cksm _ < <(md5sum "$file")
  if ((arr[$cksm]++)); then 
    echo "rm $file"
  fi
done

ex_rat

Vu que t'es sur le script auto, utilise le dossier /base.

mkdir /var/www/base/Z00A
chown -R www-data:www-data /var/www/base/Z00A

Pour le script plus haut, ajoute le chown, ça fera pas de mal en plus du chemin /var/www/base/Z00A

!/bin/bash
#
# récup' date du jour au format YYYYMMDD
DATE=$(date +%Y%m%d)
# on passe dans le bon dossier en local
cd /var/www/base/Z00A
wget http://download.crpalmer.org/nightlies/Z00A-cm-13.0/cm-13.0-"$DATE"-UNOFFICIAL-Z00A.zip
chown www-data:www-data cm-13.0-"$DATE"-UNOFFICIAL-Z00A.zip

Dans ton rutorrent.conf, tu modifies comme ça:

        ## début config accueil serveur ##

        location ^~ / {
            root /var/www/base;
            include /etc/nginx/conf.d/php.conf;
            include /etc/nginx/conf.d/cache.conf;
            satisfy any;
            allow all;
        }

        location ^~ /Z00A {
            root /var/www/base;
            include /etc/nginx/conf.d/php.conf;
            include /etc/nginx/conf.d/cache.conf;
            satisfy any;
            allow all;
            autoindex on;
        }


        ## fin config accueil serveur ##

et tu relances nginx bien sur. Ca devrait marcher pour que tes visiteurs voient la liste des fichiers à dl
Ex.

Cylae

Mmh. C'est où qu'on signe pour les dons ?

Tout fonctionne parfaitement, merci, merci et encore merci !