Skonstruowałem środowisko Hadoop z jednym węzłem na CentOS przy użyciu repozytorium Cloudera CDH. Gdy chcę skopiować plik lokalny do HDFS użyłem komendy:komenda hadoop fs -put
sudo -u hdfs hadoop fs -put /root/MyHadoop/file1.txt/
Ale wynik depresji mnie:
put: '/root/MyHadoop/file1.txt': No such file or directory
Jestem pewien, że ten plik nie istnieje.
Proszę, pomóżcie mi, dzięki!
Jako użytkownik hdfs, czy masz prawa dostępu do /root/ (w lokalnym hdd) ?. Zwykle nie. Musisz skopiować file1.txt do miejsca, w którym użytkownik ma prawa do odczytu.
Spróbuj:
cp /root/MyHadoop/file1.txt /tmp
chown hdfs:hdfs /tmp/file1.txt
sudo -u hdfs hadoop fs -put /tmp/file1.txt/
--- edit:
miałem taką samą sytuację i tu jest moje rozwiązanie:
HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt/
Zalety:
sudo.Podoba mi się to rozwiązanie, ale zawsze zapominam, jaka jest nazwa zmiennej środowiskowej: P +1 –
próby utworzenia dir w HDFS przez usig: $ hadoop fs -mkdir your_dir a następnie umieścić go w nim $ hadoop fs -put -put /root/MyHadoop/file1.txt your_dir
Dzięki, ale starałem się przenieść ten plik do innego miejsca, należy wpisać następującą komendę: {sudo - u hdfs hadoop fs -put /home/skfeng/Downloads/hadoop-book-master/test-data/ch1/file1.txt /} nadal nie działa i ma takie same wyniki: {put: '/ home/skfeng /Downloads/hadoop-book-master/test-data/ch1/file1.txt ': Brak takiego pliku lub katalogu } – skfeng
A czy użytkownik 'hdfs' ma prawa dostępu do domu użytkownika' skfeng'? –
Zaktualizowana odpowiedź. Wypróbuj listę poleceń i skrzyżuj palce. –