• Serveurs

  • Rclone Gdrive 403 Rate Limit Exceeded

Bonjour à tous

Concernant la limite d'upload de 750GB vers Gdrive est ce que vous auriez un script pour stopper la synchro des données lorsque le seuil est atteint, afin d'éviter un ban ?

Un script ou tout autre solution serait la bienvenue.

Par ailleurs Google drive devient prochainement Google note et profite de l'occasion pour revoir ses tarifs. Est ce que vous pensez que les comptes gsuites sont concernés ?

Dernière question : Quelle solution de stockage en ligne compatible rclone utilisez vous ?

Merci à vous

Salut,
Ajoute l'option --bwlimit 15M dans ton script Rclone, de cette manière tu ne pourras dépasser le quota journalier. J'utilise rClone avec Google pour le multimédia et Amazon pour le backup des documents perso.
De ce que j'ai lu les tarifs US ont déjà été revus. GSuite étant un service pro je doute que ça évolue, au pire ils appliqueront la limite de 1To (2 ?) par compte payé. Perso ça ne me dérangerait pas de payer 50€/mois pour stocker même si je préfère que ce soit moins cher 🙂

    Pour compléter, voici mon script "move.sh"

    #!/bin/bash
LOG="/home/bot2/rclone-gd2.log"
EXC1="/SD/**"
EXC2="/Ratio/**"
EXC3="/PreSeries/**"
EXC4="/PreFilms/**"
EXC5="/Repost/**"


sleep 30
while true
do
  echo "$(date "+%d.%m.%Y %T") UPLOAD STARTED" | tee -a "$LOG"
rclone move -c -v --bwlimit 15M --tpslimit 6 --exclude='**partial~' --exclude="**_HIDDEN~" --exclude=".unionfs/**" --exclude=".unionfs-fuse/**" --exclude="$EXC1" --exclude="$EXC2" --exclude="$EXC3" --exclude="$EXC4" --exclude="$EXC5" --min-age 10m --no-traverse --checkers=16 --max-size 99G --log-level INFO --stats 5s --log-file="$LOG" /mnt/move gcrypt:/
sleep 480
  echo "$(date "+%d.%m.%Y %T") UPLOAD ENDED" | tee -a "$LOG"
done

    Et le service qui va avec

    [Unit]
Description=Move Service Daemon
After=multi-user.target

[Service]
Type=simple
User=0
Group=0
ExecStart=/bin/bash /home/bot2/scripts/move.sh
TimeoutStopSec=20
KillMode=process
RemainAfterExit=yes
Restart=always

[Install]
WantedBy=multi-user.target

    Idées piquées chez https://plexguide.com

      Aerya Génial, depuis le temps que je devais me pencher sur le sujet, tu me fournis une solution clée en main. Merci beaucoup @Aerya

        Juste une précision, tu es sur rclone cache ou avec plexdrive ?

        Par ailleurs j'ai du mal à saisir ta config .. c est le dossier Union qui est transféré ou le dossier cache de rclone ?

        Ce sont toutes ces exclusions qui me turlupinent.

        Édit : non ça y est j' ai capté, ce sont tous les nouveaux médias dans les dossiers /pré. En plus j' ai suivi ton tuto sur unionfs, j aurais dû percuter 😋

          Aerya Merci ça m'intéressait d'avoir ton avis sur rclone cache

            Ce que j'ai oublié de préciser c'est que dans un premier temps je voudrais utiliser la commande"rclone sync" car j'ai environ 5To à synchroniser avec mon autre compte.

            Est ce que rajouter --bwlmit est également adapté ?

            Oui tu peux, c'est une commande liée à Rclone directement et on tel ou tel hébergeur.

            Bonjour,

            Sympa comme commande, je vais l’ajouter à mon script aussi.

            Sinon j’utilise aussi Gsuite avec 1 utilisateur. Pour le moment j’ai presque 10To et pas encore limité. Si Google se met à appliqué la limite je passerais aussi à 50€/ mois. C’est pas excessif pour du vrai illimité.

            Sinon j’ai une autre question par rapport à éclore : est-ce qu’il est possible lors de la commande move de mettre en pause le transfer pendant 5 min tout les 2Go transféré (par exemple) ?

            Merci

              Aerya Garrus Désolé de déborder mais de quelle offre parlez vous 50€ / mois illimité ?

                  Google GSuite qui permet de payer pour stocker des contenus, via un compte Business, pour stocker 1To pour 8$/mois. Et à partir de 5 comptes payés connectés sur le même espace de travail le stockage est alors illimité.
                  Soit, à la louche, environ 50€/mois pour de l'illimité. A savoir que pour l'instant ils n'appliquent pas la limite de 1To par compte, tu peux donc n'en payer qu'un seul et stocker ce que tu veux.

                  Un thread interessant sur le forum de rclone. Avec la nouvelle version 1.41, une nouvelle commande serait disponible et permettrait de lancer plex directement dans le remote sans passer par plexdrive ou rclone cache. L'auteur du post a une librairie de 200 T et n'a eu aucun ban!!

                   --vfs-read-chunk-size
 --vfs-read-chunk-size-limit

                  Ce qui donnerait par exemple :

                  rclone mount \
  --dir-cache-time 48h \
  --buffer-size 64M \
  --vfs-read-chunk-size 128M \
  --vfs-read-chunk-size-limit 2G \
  gsuite-crypt: /mnt/gsuite

                  Sa config :

                  [gsuite]
type = drive
client_id = my.client_id.apps.googleusercontent.com
client_secret = my_client_secret
token = {...}

[gsuite-crypt]
type = crypt
remote = gsuite:data
filename_encryption = standard
password = password
password2 = password2

                  Source : https://forum.rclone.org/t/new-feature-vfs-read-chunk-size/5683

                  A suivre ..

                    laster13 Hum intéressant.

                    Si ça fonctionne vraiment ça permettrait d'avoir un intermédiaire de moins...

                      laster13 Ben je vais tester du coup que j'ai pris la vente flash, et que j'ai retrouvé le mot de passe d'un compte GSuite que j'avais pris sur ebay.
                      Ca doit être également compatible avec la synchronisation, j'imagine? Histoire de synchroniser les deux comptes si un est shooté.

                        Alors je viens de tester. Sans vouloir faire le noob, chez moi, je n'ai pas l'argument

                        2018/05/27 17:56:51 Fatal error: unknown flag: --vfs-read-chunk-size

                        Et J'ai bien la version 1.41

                          oui, plutôt bien. Mais faut pas être pressé et une fois lancée, prier pour que ça plante pas, parce que j'ai utilisé les arguments d'Aerya et avec les

                           -c, --checksum: Skip based on checksum & size, not mod-time & size

                          ça prend une plombe à tout controller. Je me demande même si pour un si gros volume (pour l'instant que les séries, 1.3To) ça n'irait pas plus vite de tout supprimer et relancer...

                          J'utilise ça:

                          rclone sync /mnt/GDriveEnc/TV_Shows/ /mnt/GDriveEnc2/TV_Shows/ -c -v --bwlimit 15M --tpslimit 6
                          Répondre…