[Discussion] Seedbox: Rapatriement automatique de torrents sur NAS

Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[Discussion] Seedbox: Rapatriement automatique de torrents sur NAS

Jedediah

Pour ce tuto : http://mondedie.fr/d/6169

Merci de me rapporter les erreurs, et d'apporter vos suggestions.
Vous pouvez me poser des questions par rapport au développement et comment y participer.

Jedediah

Hello

Je me permets de répondre moi-même en citant la fin du tuto :

C'est relativement simple mais je n'avais pas vu de telles solutions toutes faites sur internet

Tu n'as pas du bien chercher car ça existe et ici même :
http://mondedie.fr/d/5433/1

Par contre, l'utilisation du schedule est une putain de bonne idée

adaur

Salut,

Sois assuré que ton topic est l'une des premières solutions que j'ai vérifiées!

Je n'ai pas creusé plus ta solution car j'ai cru - à tort apparemment - qu'elle était réservée aux NAS Synology, et que je voulais une synchro "instantanée". Je pensais également que l'interface de la première image était Synology, mais il doit s'agir de ton script. Auquel cas, avoir codé une interface graphique de synchronisation, bravo

D'ailleurs, le tien ne fait bien que l'envoi de fichiers téléchargés sans les répliquer si le répertoire de destination a changé non?

Je verrai éventuellement pour allier le meilleur des deux mondes 😉.

Bonne soirée.

Zabie

Salut,

Je rejoins Jedediah sur l'utilisation des événements.

J'ai mis du temps à capter le but du lien symbolique, peut-être pourrais tu commenter un peu plus le script et notamment expliquer la création du lien symbolique temporaire. Si on lit en diagonale, et qu'on fonce tete baisser, je pense que beaucoup d' /home/$user/torrents vont sauter

Les avantages de cette méthode sont sa légère (pas de cron sur le NAS), sa compatibilité, totale entre serveurs possédant un accès SSH et sa rapidité, puisque le fichier est envoyé dès que le téléchargement est fini.

Je pense que tu voulais dire légèreté

Et un grand merci pour ce partage grandement utile

Zab'

adaur

@Zabie: mon clavier a effectivement fourché.

Le lien symbolique, c'est la solution la plus "bête" que j'ai trouvée pour ne télécharger que les nouveaux fichiers sans toucher aux anciens, quelque soit l'état du dossier de réception.

J'ai légèrement modifié le tuto en conséquence, dis-moi si tu trouves mieux à faire.

Merci à toi!

jean-luc

Bonsoir,
@adaur

Je viens de tester ton tuto, qui m'intéresse vivement; je ne vois pas ce que j'ai pu zapper, mon rtorrent.rc me crée bien mon lien symbolique; ma connexion ssh a bien lieu, et l'envoi aussi, mais côté réception je ne reçois qu'un lien symbolique sur le nas (et qui de plus est cassé...ce qui est normal d'ailleurs !!); par contre ça n'envoie pas le fichier au le dossier correspondant au lien symbolique côté kimsufi :

Côté kimsufi, rtorrent me crée bien le lien symbolique correspondant à mon download de test :

côté nas (cubieboard) je reçois ça :

Mon fichier sync.sh :

#!/bin/bash
# Rsync déjà lancé: stop
if [ -e $HOME/backup/rsync.lock ]
then
    echo Rsync deja lance, on quitte
    exit
fi

# Création d'un fichier .lock pour ne pas lancer deux instances de rsync en parallèle
touch $HOME/rsync.lock

# Let the show begin
rsync -av --progress --inplace --rsh='ssh -p59291' /home/jean-luc/downloads/export/*  user1@macubieboard:/home/user1/downloads/racine/import/
if [ $? == 0 ]; then
    # Transferts OK: liens symboliques supprimés. Dans /complete ne se trouvent que les liens symbolique, pas les fichiers en eux-mêmes
    rm -rf /home/jean-luc/downloads/export/*
echo
fi

# Suppression du fichier lock
rm $HOME/rsync.lock

Si quelqu'un pouvait m'éclairer...merci.

Edit : je viens de trouver, il y a une omission dans le tuto : rsync -av ...il faut : rsync -avL

Salut

jean-luc

Bonsoir;

Après plusieurs essais sur ce tuto, qui sur le principe fonctionne, je viens de constater qu'il y a néanmoins un problème important avec plusieurs torrents en téléchargement simultané.

Exemple :

1: J'ai le torrent "A" faisant par exemple 2 Go qui se termine , rtorrent me crée mon lien symbolique..tout à fait normal..

2 : il déclenche rsync via le script sync.sh....jusque là pas de problèmes..

3 : Ensuite, j'ai un 2° torrent "B" de 100 Mo par exemple qui se termine (mais le rsync du torrent A n'est pas encore terminée) ...le lien est rajouté ....normal..

4 : rsync termine l'envoi vers le nas du torrent "A" ....mais bien sur ensuite cette ligne du script sync.sh :

rm -rf /var/www/rutorrent/downloads/complete/*

supprime le lien du torrent "A" ...mais aussi le lien du torrent "B" qui lui n'a pas été envoyé....et bien sur tous les liens rajoutés avant la fin de la synchro du torrent "A" : torrents C;D,E..etc..

L'idée de ce tuto est bonne (envoi auto dès la fin du téléchargement)...mais si quelqu'un avait une idée pour l'améliorer, et surtout palier à ce problème; car rsync crée sa liste de transferts au lancement, et ne tient pas compte de ce qui est rajouté durant son exécution.

jean-luc

Bonjour;
La nuit portant conseils...je me répond a moi même!!

Je radote

Mais espérant que ça serve à d'autres surtout.
J'ai résolu les divers problèmes cités plus haut du tuto : http://mondedie.fr/d/6169.
Voic mes lignes du .rtorrent.rc :

system.method.set_key = event.download.finished,move_complete,"execute=ln,-s,$d.get_base_path=,/home/jean-luc/downloads/export"
system.method.set_key = event.download.finished,notify_me,"execute=/home/jean-luc/sync.sh,$d.get_name="

Voici mon sync.sh :

#!/bin/bash
##source :
sce="/home/jean-luc/downloads/export"
###destination :
dst="user1@macubieboard:/home/user1/downloads/racine/import/"
##journal des torrents terminés:
if [[ $1 ]]
then
echo $(date +"%d/%m/%Y %H:%M:%S") $1 >> ~/downloaded
fi
# Rsync déjà lancé: stop
if [ -e $HOME/backup/rsync.lock ]
then
    echo Rsync deja lance, on quitte
    exit
fi
# Création d'un fichier .lock pour ne pas lancer deux instances de rsync en parallèle
touch $HOME/backup/rsync.lock
vid=$(ls -a $sce| sed -e "/\.$/d" | wc -l) #nombre de liens présents dans export
#Boucle vérifiant que le nombre de liens restant dans export est supérieur à 0
while [ $vid -ne 0 ]; do
# Let the show begin
rsync -avL --progress --inplace --rsh='ssh -p59291' $sce/*  $dst
if [ $? == 0 ]; then
    # Transferts OK: boucle ne supprimant seulement que les liens symboliques présents dans le dossier export au lancement de rsync
for i in `seq 1 $vid`;
do
sup=$(ls -t $sce| tail -1) #nom du lien le plus ancien
rm -rf "$sce/$sup"
done
vid=$(ls -a $sce| sed -e "/\.$/d" | wc -l)#nombre de liens restants après suppression ...si 0 : fin de boucle
fi
done
# Suppression du fichier lock et on quitte
rm $HOME/backup/rsync.lock

J'ai testé, ça a l'air de fonctionner, mais suis ouvert à toute remarque d'amélioration.

adaur

Salut jean-luc, merci de ton intérêt.

L'omission du -L pour télécharger le contenu des liens symboliques est grossière, j'aurais du relire le script présent sur mon serveur.

Le problème que tu soulèves est intéressant, et je ne pensais pas qu'il se poserait: sur les quelques tests empiriques que j'ai faits sur mon serveur, tous les fichiers se téléchargeaient bien en intégralité même si un autre lien symbolique était ajouté pendant une synchronisation. J'aurais cru que rsync était assez intelligent pour vérifier que tout était copié, mais apparemment non.

Merci pour ta correction

adaur

Je te remercie de ta contribution mais je confirme que sur mon serveur, ma version fonctionne bien telle quelle pour des torrents ajoutés alors que le script est déjà lancé (Debian Wheezy).

Sans doute lié à la distribution/version de rsync en place.

jonathanmf

Bonjour,

Déjà un grand merci pour ce tuto ! Clair et précis et efficace, enfin moins pour moi 😛
J'ai besoin d'un coup de main je m'explique. Rtorrent, à la fin d'un téléchargement créé bien le lien symbolic dans mon dossier complete. Le Rsync fonctionne bien en manuel, il fait le taff! En revanche, le notify.me ne fonctionne pas. En effet, il ne lance pas le script ... Pourtant je ne vois pas ce qui cloche. Quelqu'un peut m'aider?

system.method.set_key = event.download.finished,move_complete,"execute=ln,-s,$d.get_base_path=,/home/jonathan/torrents/complete"
system.method.set_key = event.download.finished,notify_me,"execute=/home/jonathan/sync.sh,$d.get_name="

Mon script Rsync

#!/bin/bash
# Rsync déjà lancé: stop
if [ -e $HOME/rsync.lock ]
then
echo Rsync deja lance, on quitte
exit
fi

# Création d'un fichier .lock pour ne pas lancer deux instances de rsync en parallèle
touch $HOME/rsync.lock

# Let the show begin
rsync -avLP --progress --inplace /home/jonathan/torrents/complete/* jose@pedro.faitduvelo.fr:/volume1/Media/films
if [ $? == 0 ]; then
# Transferts OK: liens symboliques supprimés. Dans /complete ne se trouvent que les liens symbolique, pas les fichiers en eux-mêmes
rm -rf /home/jonathan/torrents/complete/*
fi

# Suppression du fichier lock
rm $HOME/rsync.lock

Petite question bonus, j'aimerais que le script synchronise le fichier téléchargé sur deux serveurs distants différents. Quelqu'un sait comment faire par hasard pour rajouter ça au script?

Merci d'avance pour votre aide. Je me prends la tête depuis deux jours sur ça et je bloque.

Bonne journée! Jonathan

jonathanmf

D'ailleurs étonnement mon rtorrent ne lance plus automatiquement le .torrent depuis ce soir ... Le fichier a beau être dans watch plus rien.

Voilà mon fichier :

scgi_port = 127.0.0.1:5001
encoding_list = UTF-8
port_range = 45000-65000
port_random = no
check_hash = no
directory = /home/jonathan/torrents
session = /home/jonathan/.session
encryption = allow_incoming, try_outgoing, enable_retry
schedule = watch_directory,1,1,"load_start=/home/jonathan/watch/*.torrent"
schedule = untied_directory,5,5,"stop_untied=/home/jonathan/watch/*.torrent"
schedule = espace_disque_insuffisant,1,30,close_low_diskspace=500M
system.method.set_key = event.download.finished,move_complete,"execute=ln,-s,$d.get_base_path=,/home/jonathan/torrents/complete"
system.method.set_key = event.download.finished,notify_me,"execute=/home/jonathan/sync.sh,$d.get_name="
use_udp_trackers = yes
dht = off
peer_exchange = no
min_peers = 40
max_peers = 100
min_peers_seed = 10
max_peers_seed = 50
max_uploads = 15
execute = {sh,-c,/usr/bin/php /var/www/rutorrent/php/initplugins.php jonathan &}

EDIT : Bon cela semble refonctionner sans raison... Reste mon problème de déclenchement du script !

jonathanmf

Je tourne en rond je comprends pas...
J'ai rajouté ça pour obtenir des notifications pushbullet et ça fonctionne très bien aussi.

method.set_key=event.download.finished,push_me,"execute=/home/jonathan/rtorrentpush.sh,$d.get_name="

En revanche, impossible qu'il déclenche sync.sh ! A l'AIDE

EDIT : Quel c** !!! J'avais établi la connexion SSH avec clés sur le compte root ... au lieu d'utilisateur ... Donc j'arrivais à le lancer, j'avais les droits, mais pas rtorrent qui utilise mon compte utilisateur... Ca marche ! MERCI

Maintenant si quelqu'un à la solution pour synchroniser sur deux serveurs distants je prends!