Pour limiter le nombre de login il faut regarder du coté de fail2ban.
C'est un petit programme qui check les log nginx. Au bout de x échec sur une période de temps que tu définis dans la configuration fail2ban ban l'ip concerné. ça c'est pour le principe.
Pour limiter le nombre de connexion simulané à mon avis c'est possible aussi avec fail2ban mais faudra bidouiller la configuration de fail2ban pour arriver à s'approcher du résultat que tu veux.
On en parle un peu partout sur le forum. Regardes ici la fonction recherche du forum n'est pas très performante pour le moment.
ps : y a peut être d'autres solutions plus élégante mais là je vois pas trop.