A quoi pourrait bien te servir un Windows Server ? J'ai du mal à comprendre son utilité, surtout quand on voit la différence de fiabilité avec linux.
Si je ne me trompe pas les NAS Synology possède déjà un client torrent donc Quickbox n'est plus nécessaire, et puis si ce n'est pas le cas tu peux toujours l'installer par la suite.
Mais si tu as besoin d'un max de puissance pour plex le mieux que je peux te conseiller c'est d'utiliser un ordinateur ou serveur maison avec une GTX 1060 par exemple, que tu utiliseras pour le transcodage.
Le CPU des cartes graphique est beaucoup performant que ceux des ordinateurs, donc pas besoin d'avoir un pc de compétition, tu met un ssd pour l'os, une alim de 500w minimum, un i5 par exemple, Debian, Seedbox + Plex et tu lui colle 6 Disques de 4To que tu fou en RAID 0 en utilisant le LVM pour cumulé les disque dur (au lieu d'avoir 6x4To tu auras 1x24To directement et tu gagneras en vitesse d'écriture également).
Je prend cet exemple mais tu met ce que tu veux, si t'as l'envie et le moyen tape direct dans des disques dur de 10To avec 3 cartes graphiques en SLI pour le transcodage
Par contre forcément entre le nombres de disque dur et la carte graphique pour le transcodage forcément tu vas consommer plus qu'un NAS mais le NAS a un cpu assez bas je trouve, j'ai jamais test mais je doute qu'il tienne longtemps pour le transcodage.