Le problème est résolu.
Pour information si quelqu'un rencontre le même problème, le délai provenait bien du passage en IP V6.
Le dédié essayait en priorité de se connecter sur l'IP V6 ce qui ne fonctionnait pas, puis après un timeout de 2 minutes passait sur l'IP V4 et la connexion se faisait.
****@******:/home/*******/synchro# ssh -vvv *****@*******.synology.me
OpenSSH_6.7p1 Debian-5+deb8u3, OpenSSL 1.0.1t 3 May 2016
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for
debug2: ssh_connect: needpriv 0
debug1: Connecting to **.synology.me [ip V6] port 22.
debug1: connect to address [ip V6] port 22: Connection timed out
debug1: Connecting to ***.synology.me [ip V4] port 22.
debug1: Connection established.