Bonjours les mondediens ! Je me tourne vers vous car je désespère à pouvoir mettre le contenue d’un ancien projet sur un gitlab fraichement installé. En effet je me suis dit que ce serais propre de mettre ça sur un git plutôt qu’un bête ftp. Mais il se trouve que je n’arrive pas à uploader dessus, enfin si mais y’aurais une limite de taille ? J’ai tester la 1er fois l’upload avec un petit projet d’html (une StartPage) Là j’ai rencontré aucun souci. Les symptômes que je rencontre sont : un freeze complet quand j’essaye de push & comit en ssh. J’ai donc vite monté une vm pour tester avec un client GUI, voici le résultat : On peut dire qu'elle à chaud ... Pis je pense pas que ce soit une si bonne idée la vm .... La taille de mon projet : root@server /m/Pending# find /media/Pending/ -name "*.zip" -ls | awk '{total += $7} END {print total}' 4.89488e+10 Décompresser on est vers les 70G J'aimerai si possible qu'on puisse me venir en aide afin de pouvoir mettre ça sur gitlab, sinon bon ben tampio je ferais un bete zip sur un bete ftp ... 🙁 ++ En espérant vous lire très prochainement.

Besoin d'aide avec GitLab CE

Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Besoin d'aide avec GitLab CE

hydrog3n

Salut,

Git n'est pas fait pour gérer des fichiers de 70Go.

Si non je comprend pourquoi tu veux le sauvegarder sur git qui plus est sur un vm de ton ordinateur.

C'est un projet avec du code source ? Car si non il doit y avoir moyen de le réduire.

Erusaris

hydrog3n Salut, c'est cool que je tombe sur toi. Non l'archive pèse 48GB mais décompresser je suis a 70+ GB

C'est des milliers de fichier concernant un vieux projet sur cs-source. Du coup tu a de tout, des fichier avec du code, des map, des plugin etc etc .

Et moi je push pas le tout en archive mais "normalement" fichier par fichier. Je précise que j'ai fait une vm direct sur le dedie pour profiter de sa vitesse d'upload.

Erusaris

Y’aurais pas moyen de feinter? Genre je me rend ou est situer mon projet git

/opt/machin

Je me débrouille pour mettre ce que je veux dedans ? Y'aurais une chance que mes fichiers apparaisse comme par enchantement ?

Je fait la même chose quand nextcloud est récalcitrant et il bronche pas d'un poil
Je suis ouvert à tte sorte d'idée, pour autant que je puisse mettre ces satané fichier.

xataz

Erusaris Ba non, tu peux pas feinter, car il faut construire le .git.

As-tu essayé de faire le commit en ligne de commande, je connais pas smartGit, mais c'est peux être lui qui merdouille avec des gros repo. Après effectivement git n'est pas fait pour des gros fichier, et/ou des gros repos.

Erusaris

xataz J'ai même éssayer avec GitHub Desktop, mais la aussi sans succes. La ligne de command elle freeze, genre, mon serv répond plus :o

Mouai je suis vraiment entrain de me dire que comme vous le dites Hydro et toi git n'est pas fait pour aussi lourd.
Du coup pour vous ce serais mieux de carrément pas insister, et de me trouver un autre moyen pour partager mon "machin" ?

zer

Je rejoins @xataz : tu as testé en ligne de commandes ?
Certes, Git n'est pas prévu pour gérer des fichiers de plusieurs Go (pour quelques 100aines de Mo, ça passe bien), mais XX milliers de petits fichiers, si... C'est même son terrain de jeux !

Après, suivant le nombre de fichiers, c'est normal que ton CPU explose le temps de la construction de l'index !
Et oui, ça peut être long si tu as des centaines de milliers de fichiers.

ça ne me surprendrai pas qu'il passe 24h sur un projet de 70Go en 480 000 fichiers par exemple. Faut bien tout indexer 😉

Erusaris

zer yop oui bien sur j'ai test en cli mais comme écris plus haut, j'avais le serv qui freezé.

SmartGit a l'aire de s'en sortir tout doucement

Erusaris

Mais une idée de ce qu'il écris et où? Je vois pas d'upload dans iftop et mon last comit sur gitlab date de ya ~ 20h

xataz

Là il semble faire le commit, donc tu verras les objects dans le .git dans le répertoire de ton repo.
Le truc c'est qu'il calcule le checksum de chaque fichier, pour gérer le version, et créer son arbre. Si c'est le premier commit, c'est long, très long même, par la suite ça devrait être plus rapide si tu n'as que quelques fichiers modifié.

Erusaris

xataz Ok super, merci. Je vais du coup le laisser faire et attendre patiemment 🙂

zer

Côté serveur, et si je ne dis pas de bêtise; tu ne verra rien. Il me semble que tout est stocké en BDD.

Erusaris

zer Du coup je vais aller voir si des tables se sont crée

xataz

zer Je pense qu'il doit quand même garder ça en local (mais pas visible via l'interface), car quand tu clone ou pull via ssh, il check pas la base.

zer

xataz Je ne sais pas : J'utilise gitlab avec docker et quand je cherche un fichier présent dans un de mes dépôts git sur l'hôte, je ne le trouve pas.

Donc soit il est stocké en dur et est chiffré, soit il est en base. En tout cas, il n'est pas simplement accessible.

zer

A priori, c'est la première hypothèse 😃

root@Adunaphel /data/git/files/git/data/git-data/repositories/zer/bash_scripts.git/objects/1d# ll
total 4,0K
   0 drwxr-xr-x 1 998 998   76 mars  19 09:59 .
   0 drwxr-xr-x 1 998 998   52 avril 16 14:02 ..
4,0K -r--r--r-- 1 998 998 2,8K mars  19 09:59 a3785bd1d1198b3249a35989d6b32e5c5957be

Il s'agit d'un dépôt public, donc pas de distinction public/private : tout est chiffré.

Erusaris

Quand j'ai installé GitLab CE, j'ai tweaké un peu les fichier de conf en m'inspirant de ça, dans le cas présent j'aurais pas du ?
Mon gitlab.rb.

zer

Erusaris Dur à dire si tu aurais dû ou pas.. Je ne suis pas expert postgreSQL 😃
Perso, comme je l'ai installé avec docker, je limite les ressources CPU et RAM au niveau du container directement. Mais même sans ça, je n'ai pas remarqué de problème de charge.

Après, c'est sûr que je n'ai pas de dépôt de 70Go 😃

hydrog3n

@Erusaris En vrais git c'est fait pour des projet de grand max de 10Go avec tout l'historique (je sais plus ou j'ai lu qu'il faudrait des repo de moins de 2Go)

Si non tu peux regarder vers git-lfs (git large file systeme)

Après a voir si tu peux pas combiner les deux pour mettre les map et élement binaire en git-lfs et le text (codes, etc) en git classique.

Si non pourquoi c'est cool 😃