Problème script MySql et AWK

Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Problème script MySql et AWK

Cyprien

Salut tout le monde ! C'est encore moi ^^

J'ai un problème avec un script mysql pour ajouter automatiquement des données dans une table.

Voici mon script :

#!/bin/bash
mysql -uuser -ppwd -e "INSERT INTO \`bdd\`.\`table\` (\`nom\`,\`categorie\`, \`info_url\` , \`download_url\`) VALUES ('"$1"','"$2"','"$3"','"$4"');"

Le script fonctionne tant que les arguments dans le script ne sont pas pas une chaine :

Exemple :

bash scriptSQL.sh nom cat info url // cela fonctionne mais

bash scriptSQL.sh "nom espace" dt info url // ne fonctionne pas meme avec ces guillemets ' '

Voici l'erreur SQL :

ERROR 1049 (42000): Unknown database 'espace','dt','info','url');'

Pourtant la commande

 INSERT INTO \`bdd\`.\`table\` (\`nom\`,\`categorie\`, \`info_url\` , \`download_url\`) VALUES ('nom espace','dt','info','url');

fonctionne dans phpmyadmin.

2eme problème avec un script AWK :

#!/bin/bash
awk -F"|" '{system("echo "$1 $2)}' fichier.txt

le fichier texte :

C827BEDFBB059C20B88E5AF6EC97784FBFF5B177|Unity Asset - Ferr2D Terrain Tool v1.0.9[AKD]
009B5AE44CD63A2E31A3B128D0ACC8A70B1404AB|The Bold And The Beautiful - S28 Ep7149 - 2015-08-25
8F1DC8155FEABE922919ABEF5C998FDC30CB2616|Unity Asset - Mesh Baker v3.10.2[AKD] (2015)

Si une ligne du fichier texte contient une parenthèse voici l'erreur que j'obtiens :

sh: -c: line 0: syntax error near unexpected token `('
sh: -c: line 0: `echo 8F1DC8155FEABE922919ABEF5C998FDC30CB2616Unity Asset - Mesh Baker v3.10.2[AKD](2015)'

Merci pour votre aide

xataz

On va commencer par le awk, personnellement j'utiliserai comme ceci :

#!/bin/bash

awk -F"|" '{print $1,$2}' fichier.txt

Le résultat est le même, après cela dépends l'utilité que tu auras derrière.

Pour mysql :

#!/bin/bash

mysql -upwd -ppwd -hlocalhost -Dbdd -e "INSERT INTO test (nom,categorie,info_url,down_url) VALUES ('$1','$2','$3','$4')"

Mysql aime pas le nom des table "tables"

Cyprien

Merci d'avoir pris le temps de m'aider.

Pour mySQL :

xataz wrote:Mysql aime pas le nom des table "tables"

C'etait un exemple pour ici mais en réalité, ma bdd et ma table ont un autre nom 😉.

Et comme je l'ai dit le script fonctionne tant que les arguments ne comprennent pas d'espace.

Exemple :

bash scriptSQL.sh nom cat info url // cela fonctionne mais

bash scriptSQL.sh "nom espace" dt info url // ne fonctionne pas meme avec ces guillemets ' '

Pour awk :

Oui cela fonctionne avec print en effet.

Mais en fait ce que je veux faire c'est executer le script mysql avec awk. C'est pour ca que j'utilise l'action system. J'utilise echo pour tester le script en fait.

xataz

Normalement avec mon script pour sql, ça marche avec les espaces, je viens de tester :

xataz@xataz-laptop:~$ ./test.sh "te2st test" "t2est" "tes2t" "test2"
xataz@xataz-laptop:~$ mysql -uusr -ppwd -Dbdd
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.44-0ubuntu0.14.04.1 (Ubuntu)

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select * from test;
+----+------------+-----------+----------+----------+
| id | nom        | categorie | info_url | down_url |
+----+------------+-----------+----------+----------+
|  1 | test       | test      | test     | test     |
|  2 | test       | test      | test     | test     |
|  3 | te2st      | t2est     | tes2t    | test2    |
|  4 | te2st test | t2est     | tes2t    | test2    |
+----+------------+-----------+----------+----------+
4 rows in set (0.00 sec)

Pour awk couplé avec mysql, si je comprend bien tu récupère un truc de cet forme :

C827BEDFBB059C20B88E5AF6EC97784FBFF5B177|Unity Asset - Ferr2D Terrain Tool v1.0.9[AKD]
009B5AE44CD63A2E31A3B128D0ACC8A70B1404AB|The Bold And The Beautiful - S28 Ep7149 - 2015-08-25
8F1DC8155FEABE922919ABEF5C998FDC30CB2616|Unity Asset - Mesh Baker v3.10.2[AKD] (2015)

Pour le mettre dans ta base.

Dans ce cas j'aurais plutôt tendance a utilisé une boucle sans le awk :

inputfile="fichier.txt"
cat $inputfile | while IFS="|" read hashs name; do
    echo "INSERT INTO test (nom,categorie) VALUES ('$name', '$hashs');"
done | mysql -uusr -ppwd -Dbdd;

Ce qui donne comme resultat (tester et approuvé ^^) :

xataz@xataz-laptop:~$ ./test.sh 
xataz@xataz-laptop:~$ mysql -uusr -ppwd -Dbdd
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 77
Server version: 5.5.44-0ubuntu0.14.04.1 (Ubuntu)

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select * from test;
+----+--------------------------------+--------------------------------+----------+----------+
| id | nom                            | categorie                      | info_url | down_url |
+----+--------------------------------+--------------------------------+----------+----------+
|  1 | test                           | test                           | test     | test     |
|  2 | test                           | test                           | test     | test     |
|  3 | te2st                          | t2est                          | tes2t    | test2    |
|  4 | te2st test                     | t2est                          | tes2t    | test2    |
|  5 | Unity Asset - Ferr2D Terrain T | C827BEDFBB059C20B88E5AF6EC9778 | NULL     | NULL     |
|  6 | The Bold And The Beautiful - S | 009B5AE44CD63A2E31A3B128D0ACC8 | NULL     | NULL     |
|  7 | Unity Asset - Mesh Baker v3.10 | 8F1DC8155FEABE922919ABEF5C998F | NULL     | NULL     |
+----+--------------------------------+--------------------------------+----------+----------+
7 rows in set (0.00 sec)

mysql>

Cyprien

Ah merci bcp ca fonctionne 😀.

Par contre parfois dans le nom il y a des guillemets :

 ' ou "

et cela genere des erreurs. Comment je puis je faire pour echapper ces caracteres ?

Merci encore

xataz

Non tester mais je dirais :

inputfile="fichier.txt"
sed -e 's#"#\\"#g;s#'\''#\\'\''#g' $inputfile | while IFS="|" read hashs name; do
    echo "INSERT INTO test (nom,categorie) VALUES ('$name', '$hashs');"
done | mysql -uusr -ppwd -Dbdd;

Ceci remplacera les " et ' par \" et \'.

Cyprien

Ca n a pas l air de fonctionner

EDIT : la commande sed fonctionne correctement mais cela ne plait toujours pas a MySql

EDIT 2 : La solution temporaire est de modifier le caractere par un autre qui ne pose pas de probleme.

xataz

J'ai trouvé un sed qui marche :

sed -e "s/'/''/g" $inputfile

Ce n'est pas un double quote, mais deux simple quote, ceci permets de l'échapé.
Pas besoin d'échapper le double quote puisque les strings sont dans un simple quote.

Tester et ça marche.

Cyprien

Qu'est ce que je ferais sans ce forum

Merci beaucoup Xataz

Cyprien

Bon j'ai un autre problème 😀.

Le script fonctionne nickel mais il est un peu lent 😀.

Voici le script complet :

inputfile="dailydump.txt"
sed -e "s/'/''/g" $inputfile | while IFS="|" read torrent_info_hash torrent_name torrent_category torrent_info_url torrent_download_url size category_id files_count seeders leechers upload_date verified ; do
if [ "$verified" = 1 ] && [ "$seeders" -gt 0 ] && [ "$torrent_category" != "XXX" ]; then
   echo "INSERT INTO torrents (hash, nom, categorie, info_url, download_url, size, categorie_id, nb_fichiers, seeders, leechers, upload_date, verified) VALUES ('$torrent_info_hash', '$torrent_name', '$torrent_category', '$torrent_info_url', '$torrent_download_url', '$size', '$category_id', '$files_count', '$seeders', '$leechers', TIMESTAMP('$upload_date'), '$verified');"
fi
   done | mysql -uuser -ppwd -Dbdd;

Mon fichier texte fait 1.8 Gb donc c'est vraiment long.

Je l'ai fait tourner toute la nuit mais il a du planter à un moment donné puisqu'il n'y a que 800 000 lignes dans la base de données. Mais en plus il y a un bug à chaque fois que j´actualise la page dans phpmyadmin le nombre change et il y a un ~ devant le nombre.

Le moteur par defaut est innoDB.
Ne serait ce pas plus rapide de créer le fichier .sql directement ?
Quelqu'un s'y connait en BDD ?

Merci

xataz

C'est un très gros fichier.

Afin d'en mesurer les performances sans l'écriture dans la base, essai ceci :

inputfile="dailydump.txt"
TIMESTART=$(date +%s)
NBLINE=$(wc -l $inputfile)
CRLINE=1
sed -e "s/'/''/g" $inputfile | while IFS="|" read torrent_info_hash torrent_name torrent_category torrent_info_url torrent_download_url size category_id files_count seeders leechers upload_date verified ; do
    if [ "$verified" = 1 ] && [ "$seeders" -gt 0 ] && [ "$torrent_category" != "XXX" ]; then    
          echo "Traitement de la ligne ${CRLINE} sur ${NBLINE}"
          echo "INSERT INTO torrents (hash, nom, categorie, info_url, download_url, size, categorie_id, nb_fichiers, seeders, leechers, upload_date, verified) VALUES ('$torrent_info_hash', '$torrent_name', '$torrent_category', '$torrent_info_url', '$torrent_download_url', '$size', '$category_id', '$files_count', '$seeders', '$leechers', TIMESTAMP('$upload_date'), '$verified');" >> request.sql
fi
    CRLINE=$(($CRLINE+1))
    if [ $CRLINE -eq 10000 ]; then
        break
    fi
done
TIMEEND=$(date +%s)
TIMEEXEC=$(($TIMEEND-$TIMESTART))
echo "Génération du fichier en $TIMEEXEC secondes"

Echo "Insertion en base"
TIMESTART=$(date +%s)
mysql -Dbdd -uusr -ppwd < request.sql
TIMEEND=$(date +%s)
TIMEEXEC=$(($TIMEEND-$TIMESTART))
echo "Enregistrement en base en $TIMEEXEC secondes"

Essai ça pour voir si c'est mieux, si tu as l'impression, enlève ceci :

    if [ $CRLINE -eq 10000 ]; then
        break
    fi

Cyprien

Alors verdict : ^^
Pour 10 000 lignes :

20 secondes pour ecrire le fichier.
60 secondes pour ajouter dans la base.

Pour 20 000 lignes :

30 secondes et bah ca fait plus de 10 min que ca tourne

(et la premiere fois je l'ai arreté je pensais que ca déconnait ... EDIT : ca déconne en fait, ma connexion ssh se déconnecte ...)

Bizarre qu'en doublant le nombre de lignes, ca mette autant de temps.
Il n'y pas une histoire de cache dans mysql que l'on peut augmenter ?
Quand je regarde sur Ajenti je vois qu'il n'utilise qu'un coeur a fond aussi.

EDIT : Et innoDB est-il fait pour avoir 6 millions de lignes ?
EDIT : Meme avec 10 000 lignes il bug maintenant. Ma table fait 900 000 lignes cest peut etre pour ca ....

EDIT nème : je suis con je ne supprimais pas le fichier request.sql entre chaque essai mais du coup même pour 30 000 lignes ca prend plus de dix minutes. bizarre de passer de 1 minutes a 10 minutes ...

CRLINE=1
CRAJOUT=1
sed -e "s/'/''/g" $inputfile | while IFS="|" read torrent_info_hash torrent_name torrent_category torrent_info_url torrent_download_url size category_id files_count seeders leechers upload_date verified ; do
    if [ "$verified" = 1 ] && [ "$seeders" -gt 0 ] && [ "$torrent_category" != "XXX" ]; then    
          echo "Traitement de la ligne ${CRLINE} sur ${NBLINE}"
          echo "INSERT INTO torrents (hash, nom, categorie, info_url, download_url, size, categorie_id, nb_fichiers, seeders, leechers, upload_date, verified) VALUES ('$torrent_info_hash', '$torrent_name', '$torrent_category', '$torrent_info_url', '$torrent_download_url', '$size', '$category_id', '$files_count', '$seeders', '$leechers', TIMESTAMP('$upload_date'), '$verified');" >> request.sql
	CRAJOUT=$(($CRAJOUT+1))
	fi
    CRLINE=$(($CRLINE+1))
    if [ $CRLINE -eq 10000 ]; then
        break
    fi
done
TIMEEND=$(date +%s)
TIMEEXEC=$(($TIMEEND-$TIMESTART))
echo "Génération du fichier en $TIMEEXEC secondes pour $CRLINE lignes"  
echo "Nombre d'ajouts : $CRAJOUT "

Pourquoi quand j'affiche CRLINE et CRAJOUT, il m'affiche 1 ? EDIT : les {} ...

xataz

Juste une question :
C'est l'initialisation de la table qui fait 900 000 lignes, tu n'auras pas autant de ligne à ajouter tous les jours ?

C'est quoi qui plante, la génération du fichier ou l'insertion en base ?

Perso j'aurais tendance à dire que MySQL/innoDB gère bien les grosses bases/tables, mais moins le chargement de masse.

Cyprien

xataz wrote:Juste une question :
C'est l'initialisation de la table qui fait 900 000 lignes, tu n'auras pas autant de ligne à ajouter tous les jours ?

C'est quoi qui plante, la génération du fichier ou l'insertion en base ?

Perso j'aurais tendance à dire que MySQL/innoDB gère bien les grosses bases/tables, mais moins le chargement de masse.

Oui en fait c'est la base de donnée de KickAssTorrent qui a plus de 6 millions de torrents mais comme j'en retire pas mal ca doit en faire un ou 2 millions.

Ensuite y en a 2-3000 par jour mais faut que je réfléchisse pour gérer les doublons. Parce que sur 2 millions ca doit être long cette requete non ? :

DELETE t1 
FROM torrents AS t1, torrents AS t2
WHERE t1.id < t2.id
AND t1.hash = t2.hash