[Linux] Serveur qui gèle si on y copie un fichier trop grand ?
Jean-Marc Libs
jeanmarc.libs@::1
Jeu 23 Aou 02:42:01 CEST 2018
Salut Cyril,
On Wed, Aug 22, 2018 at 3:47 PM Cyril Chaboisseau <cyril.chaboisseau@::1>
wrote:
> Salut JM,
>
> * Jean-Marc Libs <jeanmarc.libs@::1> [2018-08-21 17:31 +0200]:
>
> > On Mon, Aug 20, 2018 at 10:36 PM Christophe Courtois
> <christophe@::1>
> > >
> > > À tout hasard :
> > > - tester avec scp -v
> > > - ou scp -C (une histoire de compression ?)
> > > - 256 Mo, c'est beaucoup par rapport à la mémoire du serveur cible et
> à
> > > ses IO ? je pense à un cache qui sature (et que scp traiterait de
> > > manière plus agressive ?). Il se passe quoi si tu réduis la bande
> > > passante avec scp -l ?
> > > - quand ça fige, c
> > > - en parallèle, que disent (par exemple ) iftop, vmstat, free -m ?
> > > - tu as laissé combien de temps à scp avant d'abandonner le
> transfert ?
>
> suite aux conseils de Christophe, comme j'ai l'impression que tu n'as
> pas tester l'option limitation de la BP par scp, peux-tu voir si ça
> passe avec la commande suivante :
>
> scp -l 8192 dbdump/20180727_all-databases.sql xx.xx.xx.xx:
>
J'ai pas bien vu l'intérêt car c'est xx.xx.xx.xx qui gèle.
Il faudrait empêcher que d'autres membres de la communauté (oui, j'espère
ne pas le gérer seul, ce serveur) le plantent en faisant un scp. Que moi je
connaisse une astuce, c'est pas bien utile :-(
Pour ce qui est de transférer le fichier, je peux passer par rsync qui
fonctionne à merveille. J'ai migré 270 Go en rsync, et ça fait la
foultitude de fichiers que tu peux imaginer avec environ 590 instances de
Tiki avec source, librairies tierces, répertoire .svn et fichiers caches.
C'est incroyablement puissant rsync.
>
> (idéalement, le faire aussi depuis un compte non-root pour voir si ça
> change qque chose)
>
Oui, ben l'hébergeur me permet un reboot via l'interface de gestion par 30
minutes… je peux pas enchaîner les tests. D'autant qu'au départ faut
surtout le mettre en prod :-(
Il faut donc choisir les tests stratégiquement :-)
> autres pistes :
>
> changer ton MTU sur ton lan
>
> ifconfig eth0 mtu 1492
> ou bien
> ip link set dev eth0 mtu 1492
>
> (dans l'hypothèse où tu serais à 1500 ou +)
>
Effectivement, j'ai 1500 sur eth0.
Après avoir fait « ifconfig eth0 mtu 1492 »
*J'ai transféré 5 fois le fichier sans rien geler ! Victoire !*
Après reboot, je vois que c'est revenu à MTU 1500
et je fais un contre-test avec un iostat 1 et un sar 1 dans des fenêtres
qui ont gelé.
Voilà les résultats, je sais pas trop interpréter, mais au cas où ça parle
à quelqu'un…
iostat 1 :
avg-cpu: %user %nice %system %iowait %steal %idle
4.55 0.00 4.04 0.00 0.00 91.41
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
md1 0.00 0.00 0.00 0 0
md3 0.00 0.00 0.00 0 0
md4 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
3.05 0.00 2.79 0.00 0.00 94.16
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
md1 0.00 0.00 0.00 0 0
md3 0.00 0.00 0.00 0 0
md4 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
3.02 0.00 4.53 0.25 0.00 92.19
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 5.00 0.00 20.00 0 20
sdb 5.00 0.00 20.00 0 20
md1 3.00 0.00 12.00 0 12
md3 0.00 0.00 0.00 0 0
md4 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
4.28 0.00 6.05 0.00 0.00 89.67
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
md1 0.00 0.00 0.00 0 0
md3 0.00 0.00 0.00 0 0
md4 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
4.31 0.00 5.33 0.00 0.00 90.36
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
md1 0.00 0.00 0.00 0 0
md3 0.00 0.00 0.00 0 0
md4 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
5.85 0.00 6.36 0.00 0.00 87.79
Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
md1 0.00 0.00 0.00 0 0
md3 0.00 0.00 0.00 0 0
md4 0.00 0.00 0.00 0 0
sar 1 :
00:26:44 all 0.25 0.00 0.00 0.00 0.00
99.75
00:26:45 all 2.76 0.00 2.51 0.00 0.00
94.74
00:26:46 all 14.65 0.00 3.28 0.25 0.00
81.82
00:26:47 all 4.57 0.00 5.84 0.00 0.00
89.59
00:26:48 all 8.01 0.00 8.79 0.00 0.00
83.20
00:26:49 all 5.10 0.00 5.36 0.00 0.00
89.54
00:26:50 all 4.87 0.00 6.67 1.03 0.00
87.44
00:26:51 all 6.12 0.00 7.40 0.00 0.00
86.48
00:26:52 all 4.82 0.00 4.57 0.00 0.00
90.61
00:26:53 all 3.79 0.00 5.81 0.00 0.00
90.40
00:26:54 all 5.33 0.00 7.87 0.00 0.00
86.80
00:26:55 all 7.20 0.00 8.48 0.51 0.00
83.80
00:26:56 all 4.90 0.00 3.35 0.00 0.00
91.75
00:26:57 all 3.57 0.00 6.12 0.00 0.00
90.31
00:26:58 all 3.78 0.00 4.28 0.00 0.00
91.94
00:26:59 all 4.28 0.00 7.05 0.00 0.00
88.66
00:27:00 all 4.77 0.00 5.78 0.25 0.00
89.20
00:27:01 all 6.60 0.00 5.33 0.00 0.00
88.07
00:27:02 all 4.60 0.00 5.12 0.00 0.00
90.28
00:27:03 all 5.29 0.00 6.30 0.00 0.00
88.41
00:27:04 all 3.53 0.00 2.52 0.00 0.00
93.95
00:27:05 all 3.05 0.00 3.81 0.25 0.00
92.89
00:27:06 all 3.77 0.00 5.78 0.00 0.00
90.45
00:27:07 all 3.81 0.00 4.82 0.00 0.00
91.37
00:27:08 all 5.34 0.00 6.11 0.00 0.00
88.55
00:27:09 all 6.84 0.00 6.33 0.00 0.00
86.84
00:27:10 all 5.13 0.00 5.70 0.00 0.00
89.17
00:27:11 all 0.00 0.00 0.33 0.00 0.00
99.67
00:27:11 CPU %user %nice %system %iowait %steal
%idle
00:27:12 all 0.33 0.00 0.00 0.00 0.00
99.67
00:27:13 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:14 all 0.00 0.00 0.33 0.00 0.00
99.67
00:27:15 all 0.33 0.00 0.00 0.00 0.00
99.67
00:27:16 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:17 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:18 all 0.00 0.00 0.33 0.00 0.00
99.67
00:27:19 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:20 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:21 all 0.00 0.00 0.33 0.00 0.00
99.67
00:27:22 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:23 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:24 all 0.00 0.00 0.33 0.00 0.00
99.67
00:27:25 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:26 all 0.33 0.00 0.00 0.00 0.00
99.67
00:27:27 all 0.00 0.00 0.33 0.00 0.00
99.67
00:27:28 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:29 all 0.00 0.00 0.00 0.00 0.00
100.00
00:27:30 all 0.33 0.00 0.33 0.00 0.00
99.33
00:27:31 all 0.00 0.00 0.00 0.00 0.00
100.00
Bon, y a un truc magique pour que le MTU reste à 1492 après reboot ?
Un script de boot ? Une valeur à changer dans un fichier ?
Un message à passer à l'hébergeur concernant la config du lan (qui est pas
*mon lan*, en fait) ?
Du coup, pas testé la suite :
dernière piste, désactiver TCP SACK
>
> sudo sysctl -w net.ipv4.tcp_sack=0
>
>
Merci à tous !
En plus, j'ai re/découvert plein de commandes :-)
Jean-Marc Libs
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <https://strasbourg.linuxfr.org/pipermail/linux/attachments/20180823/113649db/attachment-0001.html>
Plus d'informations sur la liste de diffusion linux