• Serveurs
  • Rclone Gdrive 403 Rate Limit Exceeded

Pour compléter, voici mon script "move.sh"

#!/bin/bash
LOG="/home/bot2/rclone-gd2.log"
EXC1="/SD/**"
EXC2="/Ratio/**"
EXC3="/PreSeries/**"
EXC4="/PreFilms/**"
EXC5="/Repost/**"


sleep 30
while true
do
  echo "$(date "+%d.%m.%Y %T") UPLOAD STARTED" | tee -a "$LOG"
rclone move -c -v --bwlimit 15M --tpslimit 6 --exclude='**partial~' --exclude="**_HIDDEN~" --exclude=".unionfs/**" --exclude=".unionfs-fuse/**" --exclude="$EXC1" --exclude="$EXC2" --exclude="$EXC3" --exclude="$EXC4" --exclude="$EXC5" --min-age 10m --no-traverse --checkers=16 --max-size 99G --log-level INFO --stats 5s --log-file="$LOG" /mnt/move gcrypt:/
sleep 480
  echo "$(date "+%d.%m.%Y %T") UPLOAD ENDED" | tee -a "$LOG"
done

Et le service qui va avec

[Unit]
Description=Move Service Daemon
After=multi-user.target

[Service]
Type=simple
User=0
Group=0
ExecStart=/bin/bash /home/bot2/scripts/move.sh
TimeoutStopSec=20
KillMode=process
RemainAfterExit=yes
Restart=always

[Install]
WantedBy=multi-user.target

Idées piquées chez https://plexguide.com

    Aerya Génial, depuis le temps que je devais me pencher sur le sujet, tu me fournis une solution clée en main. Merci beaucoup @Aerya

    Juste une précision, tu es sur rclone cache ou avec plexdrive ?

    Par ailleurs j'ai du mal à saisir ta config .. c est le dossier Union qui est transféré ou le dossier cache de rclone ?

    Ce sont toutes ces exclusions qui me turlupinent.

    Édit : non ça y est j' ai capté, ce sont tous les nouveaux médias dans les dossiers /pré. En plus j' ai suivi ton tuto sur unionfs, j aurais dû percuter 😋

      Aerya Merci ça m'intéressait d'avoir ton avis sur rclone cache

      Ce que j'ai oublié de préciser c'est que dans un premier temps je voudrais utiliser la commande"rclone sync" car j'ai environ 5To à synchroniser avec mon autre compte.

      Est ce que rajouter --bwlmit est également adapté ?

      Oui tu peux, c'est une commande liée à Rclone directement et on tel ou tel hébergeur.

      Bonjour,

      Sympa comme commande, je vais l’ajouter à mon script aussi.

      Sinon j’utilise aussi Gsuite avec 1 utilisateur. Pour le moment j’ai presque 10To et pas encore limité. Si Google se met à appliqué la limite je passerais aussi à 50€/ mois. C’est pas excessif pour du vrai illimité.

      Sinon j’ai une autre question par rapport à éclore : est-ce qu’il est possible lors de la commande move de mettre en pause le transfer pendant 5 min tout les 2Go transféré (par exemple) ?

      Merci

        Aerya Garrus Désolé de déborder mais de quelle offre parlez vous 50€ / mois illimité ?

        Google GSuite qui permet de payer pour stocker des contenus, via un compte Business, pour stocker 1To pour 8$/mois. Et à partir de 5 comptes payés connectés sur le même espace de travail le stockage est alors illimité.
        Soit, à la louche, environ 50€/mois pour de l'illimité. A savoir que pour l'instant ils n'appliquent pas la limite de 1To par compte, tu peux donc n'en payer qu'un seul et stocker ce que tu veux.

        Un thread interessant sur le forum de rclone. Avec la nouvelle version 1.41, une nouvelle commande serait disponible et permettrait de lancer plex directement dans le remote sans passer par plexdrive ou rclone cache. L'auteur du post a une librairie de 200 T et n'a eu aucun ban!!

         --vfs-read-chunk-size
         --vfs-read-chunk-size-limit

        Ce qui donnerait par exemple :

        rclone mount \
          --dir-cache-time 48h \
          --buffer-size 64M \
          --vfs-read-chunk-size 128M \
          --vfs-read-chunk-size-limit 2G \
          gsuite-crypt: /mnt/gsuite

        Sa config :

        [gsuite]
        type = drive
        client_id = my.client_id.apps.googleusercontent.com
        client_secret = my_client_secret
        token = {...}
        
        [gsuite-crypt]
        type = crypt
        remote = gsuite:data
        filename_encryption = standard
        password = password
        password2 = password2

        Source : https://forum.rclone.org/t/new-feature-vfs-read-chunk-size/5683

        A suivre ..

          laster13 Hum intéressant.

          Si ça fonctionne vraiment ça permettrait d'avoir un intermédiaire de moins...

          laster13 Ben je vais tester du coup que j'ai pris la vente flash, et que j'ai retrouvé le mot de passe d'un compte GSuite que j'avais pris sur ebay.
          Ca doit être également compatible avec la synchronisation, j'imagine? Histoire de synchroniser les deux comptes si un est shooté.

          Alors je viens de tester. Sans vouloir faire le noob, chez moi, je n'ai pas l'argument

          2018/05/27 17:56:51 Fatal error: unknown flag: --vfs-read-chunk-size
          

          Et J'ai bien la version 1.41

            oui, plutôt bien. Mais faut pas être pressé et une fois lancée, prier pour que ça plante pas, parce que j'ai utilisé les arguments d'Aerya et avec les

             -c, --checksum: Skip based on checksum & size, not mod-time & size

            ça prend une plombe à tout controller. Je me demande même si pour un si gros volume (pour l'instant que les séries, 1.3To) ça n'irait pas plus vite de tout supprimer et relancer...

            J'utilise ça:

            rclone sync /mnt/GDriveEnc/TV_Shows/ /mnt/GDriveEnc2/TV_Shows/ -c -v --bwlimit 15M --tpslimit 6
            Répondre…