Pobieranie plików ze zdalnego HDFS

Question

Moje lokalne urządzenie nie ma instalacji hdfs. Chcę pobrać pliki ze zdalnego klastra hdfs. Jaki jest najlepszy sposób, aby to osiągnąć? Czy muszę get pliki z hdfs do jednego z maszyn klastra fs, a następnie użyć ssh, aby je odzyskać? Chcę móc to zrobić programowo poprzez wypowiedzenie skryptu bash.

Answer 1

Oto kroki:

• Upewnij się, że łączność pomiędzy hostem a gromady docelowej
• Konfiguracja hosta jako klient, trzeba zainstalować kompatybilne pliki binarne Hadoop. Również twój host musi być uruchomiony przy użyciu tego samego systemu operacyjnego.
• Upewnij się, że te same pliki konfiguracyjne (core-site.xml, HDFS-site.xml)
• można uruchomić komendę hadoop fs -get aby pobrać pliki bezpośrednio

Ponadto istnieją alternatywy

• Jeśli skonfigurowano Webhdfs/httpFS, możesz faktycznie pobierać pliki za pomocą curl lub nawet przeglądarki. Możesz napisać scrashpy bash jeśli skonfigurujesz Webhdfs.

Jeśli Twój komputer nie może mieć zainstalowanych plików binarnych Hadoop jako klienta, możesz użyć poniższych instrukcji.

• umożliwić hasło mniej logowanie z hosta do jednego węzła w klastrze
• polecenie uruchomienia ssh <user>@<host> "hadoop fs -get <hdfs_path> <os_path>"
• następnie polecenie scp do kopiowania plików
• można mieć powyżej 2 komendy w jednym skrypcie