• Ressources Scripts
  • [Script-Ansible] Install Seedbox docker avec rclone-plexdrive5-unionfs-mergerfs

zorgade merci zorgade je vais d'abord commencé par me documenter sur docker car je l'avoue j'ai quelques trains de retards encore merci de vos réponses à tous les deux.

Tu peux par exemple t'orienter vers le post de @zer qui te permettra très rapidement de monter une Seedbox docker, en quelques minutes. Par contre je te recommande de potasser le sujet pour au moins comprendre ce que tu mets en place sinon ca n'a guère d'intérêt.
https://mondedie.fr/d/10278-docker-recette-seedbox-for-dummies-emby-medusa-watcher

@zorgade Si tu as quelques minutes pour me décrire ton architecture perso, ca m'intéresse😉

C'est surtout la structure des dossiers qui diffèrent, avec plexdrive et rclone, il y en a tellement que je préfère utiliser le mien vu que je le connais, entre le dossier google de rclone, celui de plexdrive chiffré, celui de plexdrive déchiffré avec rclone, le dossier Pre, et le Union, ça fait pas mal mine de rien. J'ai tout mis dans le dossier home de l'utilisateur dans un dossier Media, c'est suite à mon problème de ce mois avec le serveur que j'ai déplacé dans /home, ça m'évite de réflechir où c'est '.
Sinon, j'ai tout dockerisé, sauf rclone-plexdrive-filebot, je préfère quand même avoir un contrôle physique et non émulé de ces applications, juste une préférence.
J'ai deux serveurs plex, un sur la seedbox pour moi et un autre pour la famille à ma compagne. J'utilise filebot pour rappatrier les fichiers de la seedbox chez moi "au cas où" il y a un souci avec Gsuite par la suite, comme c'était le cas avec Amazon.
Sonarr et Radarr sont connectés à Plex et update la bibliothèque dans Union, ça m'évite d'utiliser plex_autoscan. Ca marche bien, les fichiers sont mis à jour par plex automatiquement. Je sasi juste pas si ça fait un scan complet de la bibliothèque ou juste de la série. Dans tous les cas, des gens avec 20TB font des scans complets tous les 15min et ils n'ont jamais eu de problèmes 🙂
D'ailleurs je me demande si on ne peut pas tout simplement activer la mise à jour de plex lorsqu'il découvre une nouvelle série (ça marche si les fichiers sont sur le disque, mais pas si c'est un disque monté). Vu qu'au tout début, Suitarr copie les fichiers dans Union qui sont en fait dans le dossier Pre, sur le disque donc. Ca fonctionne peut-être, je n'ai pas testé.
Et aussi, j'ai pas mal d'application, et en ajoute/supprime aussi beaucoup, et ne pas utiliser de scripts, ça permet de connaitre la gestion des ports utilisés/libres. Par exemple, j'ai installé hier Airsonic, mais soit j'ai mal rédigé le fichier compose, soit il est lent...

Il se passe quoi si on est en train de regarder un fichier après que unionfs_cleaner commence l'upload? J'ai vu que tu as mis à 1GB la taille du dossier et le check toutes les minutes.

    hello

    pas de risque de voir son compte illimité disparaître du jour au lendemain ?

      zorgade De ce qu'il me semble avoir lu est

      zorgade Sonarr et Radarr sont connectés à Plex et update la bibliothèque dans Union, ça m'évite d'utiliser plex_autoscan. Ca marche bien, les fichiers sont mis à jour par plex automatiquement. Je sasi juste pas si ça fait un scan complet de la bibliothèque ou juste de la série. Dans tous les cas, des gens avec 20TB font des scans complets tous les 15min et ils n'ont jamais eu de problèmes 🙂

      De mémoire je crois que concernant Sonarr, Plex scanne uniquement la série concernée, par contre pour radarr il semble que ce soit la bibliothèque entière qui soit scannée, c'est un vague souvenir de ce que j'ai pu lire mais je peux me tromper, à vérifier.

      Scanner une bibliothèque de 20T, juste pour rajouter un média, reste pour moi risqué, quand bien même certain le fasse sans problèmes. En considérant qu'il aient plusieurs téléchargements à des heures différentes de la journée, cela signifie que Plex peut être amené à scanner tous ces Tera à plusieurs reprises. Perso je ne serai pas serein 😋 mais bon pourquoi pas.

      Plex_autoscan a le mérite d'exister et fonctionne super bien, alors pourquoi ne pas l'utiliser.

      zorgade Il se passe quoi si on est en train de regarder un fichier après que unionfs_cleaner commence l'upload? J'ai vu que tu as mis à 1GB la taille du dossier et le check toutes les minutes.

      Si tu lances le media avant que unionfs_cleaner démarre , le fichier est mis en stand bye par unionfs_cleaner. même chose si le fichier est en cours de postprocess par radarr ou sonarr ou que le fichier est en cours de scan par plex_autoscan.

      A l'inverse si le fichier est en cours d'upload par unionfs_cleaner je ne sais pas s'il reste lisible par plex mais c'est pareil si tu lances un rclone move classique je pense.

      pour Unionfs_cleaner J'ai mis 1mn et 1Go juste pour les tests de manière à vérifier rapidement que cela fonctionne, par défault @l3uddz a mis 30mn et 450go, tu règles comme tu veux. Pour plex_autoscan le déclenchement par défault est 180 mn, pareil tu mets ce que tu veux.

      Cognotte C'est déja arrivé pour des comptes achetés sur ebay (l'année dernière) par contre les comptes officiels n'ont pas été impactés. Après oui le risque est présent, l'idée étant de multiplier les sauvegardes amazon ou autre mais ça fini par couter. Ces données restent de toute façon volatiles, en ce qui me concerne je l'accepte et j'en profite tant que ça fonctionne.

      @zorgade, j'ai compris que ta structure est personnalisée et complexe en mme temps, par contre mon script te permet de tout mettre également dans le dossier home rclone en clair, crypté, union et pre. tu peux meme utiliser des sous dossiers.. juste pour infos 🙃

      16 jours plus tard
      • [supprimé]

      • Modifié

      Salut, ayant voulu essayer ton script et n'ayant pas été tourner vers plexdrive mais par rclone cache je suis bloqué à des étapes
      Il faut lancer le script en root? Pas obligé d'utiliser un utilisateur?
      Pour la config du docker-compose, je ne sais pas quoi mettre pour ces étapes:

      Remote crypté, doit pointer vers /home/plexdrive dans votre fichier rclone.conf (Modifier le fichier rclone.conf en conséquence) :
      Remote crypté dans rclone.conf, celui qui est solicité pour les transferts:

      Je ne sais pas quoi mettre vu que je n'utilise pas plexdrive.
      Voici mon fichier rclone.conf (y a des remotes qui servent à rien) :

      Pour l'organisation des dossiers en local j'ai pas trop compris, sur mon drive la structure est la suivante:
      Un dossier 'Medias' (nom en clair) avec comme sous-dossiers Animes, Shows, Movies (noms des dossiers cryptés)
      C'est par rapport à cette explication que j'avais pas compris:

      exemple: Films ou Media/Films (sans "/" devant Media) et sans ACCENTS

      Merci beaucoup!

      Bonjour,

      Oui tu lances le script en root
      Voila à quoi doit ressembler ton rclone.conf

      [gdrive]
      type = drive
      token = {"access_token":"ya29.Glw9BnGvfv1Wr_lcILNhDc8rZXMr82dyGwycf7aQ_C-X55KDcQrQqW4zJ-qzuNuZAAQBqaikwGP_o63NiJHVqcAORdwxOUB6c9wFYehwfP7Mr8Ei5Ie_PiZQSIVLCQ","token_type":"Bearer","refresh_token":"1/3YslciiODxqP34ivoswKdYmL420642mjawIkn95bzBAxYbBl5pfIT_WGc139SZiT","expiry":"2018-10-21T23:13:33.801063865+02:00"}
      client_id = 
      client_secret = 
      
      [gcrypt]
      type = crypt
      remote = gdrive:Medias
      filename_encryption = standard
      directory_name_encryption = true
      password = XXXX
      password2 = XXXX
      
      [google]
      type = crypt
      remote = /home/plexdrive/Medias
      filename_encryption = standard
      directory_name_encryption = true
      password = XXXX
      password2 = XXXX

      Essaye cette config en sauvegardant au préalable ton ancien rclone.conf. Tu fais un simple copier/coller de mon exemple dans ton fichier. Avant de poursuivre plus loin, vérifie que ce rclone.conf te donne bien accès a tes données.

      Je t'invite pour ta compréhension à consulter l'article de @Aerya sur la création de remote crypté
      https://upandclear.org/2016/11/16/rclone-stockage-chiffre-amazon-cloud-drive-pour-embyplexkodicloud/
      En considérant que la version actuelle rclone diffère de celle que @Aerya a utlisé mais dans l'esprit ca reste pareil.

      Je me suis complètement inspiré de son article pour mon script notamment la config rclone.conf et les dossiers utilisés
      https://upandclear.org/2017/01/19/rclone-utiliser-unionfs-fuse-pour-permettre-a-couchpotato-et-sickrage-de-lireecrire-sur-un-cloud-amazon/

      Dans cet exemple :
      - RemotePath = google:/
      - RemoteLocal = gcrypt:/ (c'est ce remote qui sera utilisé pour rclone move par unionfs_cleaner)

      Donc vu ton organisation en Local, lorsque le script te demande de définir tes dossiers tu tapes Animes, Shows, Movies. Appuie sur Entrer après chaque saisie de dossier.

      Quoiqu'il en soit si tu veux recommencer le script, tu supprimes simplement les containers avec
      docker-compose rm -fs plexdrive torrent ... en te posistionnant dans /mnt
      Et tu supprimes également les volumes créés précédemment.

      Apres on voit pour la config de plexdrive, commence deja par ca 😉

      Je n'ai pas discord 😗 , mais je reste dispo

        • [supprimé]

        laster13 Merci pour ton aide, pour la configuration de rclone quand je copie colle le fichier conf j'ai plein de messages qui apparaissent:
        capture

        Du coup je ne peux pas lancer les applications vu que rclone n'est pas monté

        Tu as lancé la config rclone avant de configurer le docker-compose ? si c est le cas le dossier rclone n'etait pas crée. Soit tu procèdes dans l'ordre du script soit tu crees le chemin du dossier rclone
        mkdir -p /mnt/docker/plexdrive/config/.config/rclone et tu colles ton rclone.conf dedans.

        Je modifierai le script de manière a faire face a cette éventualité bien que la logique serait d'abord de commencer par le choix 2 du menu principal

          • [supprimé]

          laster13 Justement j'ai fais étape par étape même à la configuration du docker-compose j'ai eu le message comme quoi tout c'était bien déroulé.
          En sortant du script et en tapant juste docker il dit que la command docker n'existe pas.
          J'ai bien créer le chemin pour le rclone.conf:image

          2

          Je te propose de reprendre choix 1 menu principal pour l installation Docker qui visiblement ne s est pas déroulé correctement.

          Si message d erreur tu peux les poster?

          Ce que tu me montres sur ton screen, c est qu il n'a pas trouvé de fichier rclone.conf dans '/root/.config/rclone' donc rien de forcément anormal si tu n avais pas d installation rclone antérieure, le script recherche uniquement dans '/root/.config/rclone' pour le choix 1 mais il ne vérifie pas effectivement que tu as un rclone.conf déjà présent dans /mnt/Docker/plexdrive/config/.config/rclone.
          Le déroulé logique du script est d abord de créer le docker-compose, le dossier rclone est créé a ce moment la et ensuite faire la config rclone

          Après ton expérience me servira pour améliorer la gestion des erreurs😉

            Si tu veux on peut passer sur le Tchat.

            • [supprimé]

            • Modifié

            laster13
            Pas de soucis je suis sur le tchat 😉

            oups apparemment j'ai oublié le package unzip dans le script, installe le, je fais la rectif dans le script
            apt install unzip

            je suis aussi sur le tchat

            • [supprimé]

            Salut tout fonctionne bien pour ma part!
            Par contre j'aimerais savoir pour la configuration de plex_autoscan et tout le reste il ne faut pas toucher aux fichiers on peut laisser comme ça?

              [supprimé] Oui tu les laisses comme ca, tout est paramétré en fonction des variables que tu as définis dès le départ notamment les noms de dossiers et leur path respectifs

              Par contre pour sonarr, radarr il faut configurer un webhook tout est bien expliqué sur le wiki de cloudbox
              https://github.com/Cloudbox/Cloudbox/wiki/Install%3A-Sonarr

              Les seuls paramètres que tu peux modifier dans plex_autoscan sont le delai de scan et la quantité de gigas a partir de laquelle le script se déclenche.

              Pour visualiser les logs
              docker logs -f plex
              docker logs -f plexdrive

              Par ailleurs le script a modifié le rutorrent de @xataz de manière a ce que plex_autoscan fonctionne également si tu choisissais d'ajouter manuellement un torrent renommé a ce moment là par filebot. Sinon c'est radarr, sonarr avec le webhook configuré et une fois le postprocessing terminé qui déclenchent plex_autoscan.

              Unionfs_cleaner aussi tu peux régler le délais de déclenchement.

              N'oublie pas dans plex de désactiver les scans automatiques 😉

                • [supprimé]

                laster13 Ok merci, je suis sur le tchat pour quelque questions 🙂

                6 jours plus tard
                laster13 a renommé le titre en [Script] Auto-install seedbox docker avec rclone-plexdrive-unionfs.
                un mois plus tard

                Salut,

                Pour ce type d’usage (seedbox et plex familiale), est ce que vous pensez qu’il vaut mieux un serveur dédié type ks-7 (core i3 2130, 8giga et 2 to) en 100m, ou un atom c2750 (2,4 GHz 8 coeurs, 8giga, 1to) mais en giga.

                J’ai les 2 config mais je dois en résilier une.

                Merci d’avance pour vie conseils 😊