[Linux] miller/mlr csvtool OpenRefine...

Cyril Chaboisseau cyril.chaboisseau@::1
Mar 24 Nov 07:53:31 CET 2015


Salut,

certains d'entre vous sont sont probablement fans de
sed/awk/grep/cut/join/perl/(m)sort et autres commandes très pratiques
pour travailler des fichiers textes mais dès qu'il s'agit de parser du
CSV, il n'y avait plus guère que csvtool qui pouvait faire un boulot
correct

et bien je viens de découvrir miller (mlr) qui va encore plus loin et
remplace avantageusement plusieurs des commandes susmentionnées tout en
étant capable de travailler avec les pipes/tubes (en entrée comme en
sortie)
https://github.com/johnkerl/miller (en paquet Debian depuis 2 mois)

et pour ceux qui veulent aller encore _beaucoup_ plus loin dans la
manipulation / conversion / nettoyage / rapprochement (reconciliation)
des fichiers tableaux/feuilles, le must étant Open Refine (anciennement
Google refine)
http://openrefine.org/
essayez le une fois et plus jamais vous ne voudrez utiliser un tableau
pour des traitements un peu sioux


bien sûr il existe pléthore d'autres outils qui sont plus ou moins
équivalents :

python-rows
https://github.com/turicas/rows/
bibliothèque Python pour le traitement des fichiers lignes/colonnes de
type CSV/XLS[X]/JSON/TXT...
(avec détection automatique du format d'entrée)

ffe
http://ff-extractor.sourceforge.net/
semble identique à csvtool ou miller mais je n'ai pas essayé


-- 
	Cyril Chaboisseau


Plus d'informations sur la liste de diffusion linux