J'ai aussi un serveur chez OP, je suis parfois un peu bridé sur mes DL, SFTP via filezilla mais je suis les 3/4 du temps a 110mo/s. Il y a du fair use, peut-être que les utilisateurs de la baie ou ce situe ton serveur sont très demandeur en débit.
Essaye en SFTP via filezilla, et en HTTP via un outil de type nextcloud par exemple.