Hello,
Sans parlé des plugins, l'installation de rutorrent n'est pas longue du tout...
Après si tu as suivi une autre procédure, difficile de savoir si il y a une partie configuration que tu as suivi et qui pose problème avec celle du tuto.
Pour ton problème d'authentification, ca peux venir de plusieurs choses pour le coup.
Vérifier le fichier /etc/nginx/nginx.conf
Verifier que ton vhost est bien configuré par l'édition du fichier /etc/nginx/sites-enabled/seedbox.conf
avec ce passage notament:
auth_basic "seedbox";
auth_basic_user_file "/etc/nginx/passwd/rutorrent_passwd";
A ce propos, quand tu as la boite de dialogue qui te demande de t'authentifier, elle indique quelque part: "seedbox" ?
Sous firefox comme ceci:

il faudrait également vérifier que la propriété et les droits sur les fichiers sous /etc/nginx/passwd ont été correctement effectué par un ls -la
C'est ces 2 commandes du tuto le font
chmod 640 /etc/nginx/passwd/*
chown --changes www-data:www-data /etc/nginx/passwd/*
Pense bien a redemarrer nginx pour qu'il prenne bien les modifications.
Voilà pour la piste à laquelle je pense.
Fais aussi un "status" sur nginx et lis bien si il t'indique pas une erreur quelque part, même si le service tourne.
Je suis débutant aussi, si jamais vous avez d'autres idées c'est à vous! 😉