Hello đ,
Je dois mettre en place une infrastructure capable de logguer 1 milliard de requĂȘtes HTTP par jour (Ca represente environ 1TB de donnĂ©e), en conservant ces donnĂ©es pendant 3 jours.
Pendant cette période, je dois les agréger selon certaines dimensions comme le domain, device ou le pays de l'IP.
Je pensais à utiliser ElasticSearch pour les logs puis Postgre pour les data aggrégés.
Cependant, je ne suis pas sĂ»r qu'Elastic soit conçu pour gĂ©rer cette quantitĂ©e de donnĂ©es et s'il n'existe pas de meilleures solutions qui consommeraient peut ĂȘtre moins et seraient donc moins couteuses...
De plus, je ne sais pas exactement quelle est la meilleure solution pour envoyer ces logs Ă Elastic ou Ă une autre solution. Je ne pense pas qu'envoyer chaque requĂȘte HTTP Ă log par API a elastic soit la meilleure solution de procĂ©der. Pensez-vous qu'il soit prĂ©fĂ©rable d'enregistrer les logs dans un fichier et d'envoyer les fichiers pĂ©riodiquement au systĂšme de logs (Peut etre logstash pour ca) ?
Merci beaucoup pour votre aide !
