Poniżej znajduje się zrzut dziennika jednego z kontenerów. Dostałem wyjątek z informacją, że nie można utworzyć folderu z powodu pewnych uprawnień. Rozwiązywałem problemy w różnym czasie, ale wciąż istnieje.Nie można utworzyć katalogu temp z odpowiednim zezwoleniem:/mnt1/s3
16/12/19 09:44:05 WARN ConfigurationUtils: Nie można utworzyć katalogu TEMP z odpowiedniego zezwolenia:/mnt1/s3
java.nio.file.AccessDeniedException:/mnt1 na słońcu. nio.fs.UnixException.t tutaj ranslateToIOException (UnixException.java:84) w sun.nio.fs.UnixException.rethrowAsIOException (UnixException.java:102) w sun.nio.fs.UnixException.rethrowAsIOException (UnixException. java: 107) pod adresem sun.nio.fs.UnixFileSystemProvider.createDirectory (UnixFileSystemProvider .java: 384) w pliku java.nio.file.Files.createDirectory (Files.java:674) pod adresem java.nio.file.Files.createAndCheckIsDirectory (Files.java:781) pod adresem java.nio.file.Files .createDirectories (Files.java:767) pod adresem com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths (ConfigurationUtils.java:224) pod adresem com.amazon.ws.emr.hadoop.fs. s3n.S3NativeFileSystem.initialize (S3NativeFileSystem.java:449) w com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize (EmrFileSystem.java:111) w org.apache.hadoop.fs.FileSystem. createFileSystem (FileSystem.java:2717) at org.apache.hadoop.fs.FileSystem.access 200 $ (FileSystem.java:93) at org.apac he.hadoop.fs.FileSystem $ Cache.getInternal (FileSystem.java:2751) at org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:2733) pod adresem org.apache.hadoop.fs. FileSystem.get (FileSystem.java:377) pod adresem org.apache.hadoop.fs.Path.getFileSystem (Path.java:295) pod adresem org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus (FileInputFormat.java:230) na org.apache.hadoop.mapred.FileInputFormat.listStatus (FileInputFormat.java:201)
Czy kiedykolwiek coś naprawiono? Występuje ten sam problem. Zobacz także https://forums.aws.amazon.com/thread.jspa?threadID=57967, która wygląda podobnie – scubbo
Nie mam konkretnej odpowiedzi na to. Ponieważ problem ten został rozwiązany automatycznie po utworzeniu nowego klastra. Dla mnie był to problem specyficzny dla klastra. Myślę, że możesz porównać wszystkie pliki konfiguracyjne hadoopu i przędzy. Próbowałem, że znalazłem kilka różnic. Ale dawno temu nie pamiętam tego teraz –