Pętla bash nad plikami w katalogu hdfs

Question

Potrzebuję pętli nad wszystkimi plikami csv w systemie plików Hadoop. Mogę listę wszystkich plików w katalogu HDFS z

> hadoop fs -ls /path/to/directory 
Found 2 items 
drwxr-xr-x - hadoop hadoop   2 2016-10-12 16:20 /path/to/directory/tmp 
-rwxr-xr-x 3 hadoop hadoop 4691945927 2016-10-12 19:37 /path/to/directory/myfile.csv 

i pętla może ponad wszystkie pliki w standardowym katalogu z

for filename in /path/to/another/directory/*.csv; do echo $filename; done 

ale jak mogę połączyć dwa? Próbowałem

for filename in `hadoop fs -ls /path/to/directory | grep csv`; do echo $filename; done 

ale to daje mi jakieś bzdury jak

Found 
2 
items 
drwxr-xr-x 

hadoop 
hadoop 
2  
2016-10-12 
.... 

Answer 1

To powinno działać

for filename in `hadoop fs -ls /path/to/directory | awk '{print $NF}' | grep .csv$ | tr '\n' ' '` 
do echo $filename; done