jak wyczyścić dzienniki hadoop-hdfs w katalogu/var/log/hadoop-hdfs

Mój węzeł nazwy w klastrze hadoop został zmieniony na zły stan, ponieważ "Katalog dziennika ról nie jest systemem plików z mniej niż 4 GB wolnego miejsca ./var/log/hadoop-hdfs (bezpłatny: 2,4 GB (11,12%), pojemność: 21,7 GB "jak wyczyścić dzienniki hadoop-hdfs w katalogu/var/log/hadoop-hdfs

Zajrzałem do tego folderu i odkryłem, że mam 5,5 GB plików dziennika o nazwie" hdfs-audit.log " .0 "-" hdfs-audit.log.20 "w nim. Czytam te pliki i naprawdę nie muszę zapisywać tych dzienników. Zastanawiam się, czy istnieje sposób na ich trwałe usunięcie i nigdy więcej ich nie wygenerować? (Próbowałem usunąć je ręcznie, ale wygląda na to, że wróciły po kilku godzinach.)

Próbowałem również dodać "log4j.logger.org.ap ache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN, NullAppender "w moim /etc/hadoop/conf/log4j.properties. Ale nie uniemożliwiło to plikom "powrotu".

Z góry dziękujemy za pomoc!

Źródło

2013-08-12 Heidi Qiao

jaka wersja Hadoop biegasz? Czy zrestartowałeś namenode po wprowadzeniu zmiany w pliku log4j.properties? –

@ChrisWhite Właśnie uruchomiłem go ponownie, a pliki dziennika kontroli 5.5G nadal znajdują się w katalogu/var/log/hadoop-hdfs. Czy mogę ręcznie usunąć, a następnie ponownie uruchomić? –

A wersja to Hadoop 2.0.0-cdh4.3.0. Dziękuję Ci! –

Po pierwsze, Hadoop jest przeznaczony do znacznie większej pojemności niż te, o których wspomniałeś, co oznacza, że dzienniki o pojemności 5,5 GB nie są zbyt często. To wyjaśnia, dlaczego domyślne ustawienia nie są odpowiednie w twoim przypadku.

Można:

zmniejszyć liczbę plików dziennika, które zostały zatrzymane ze zmienną navigator.audit_log_max_backup_index (zwykle 10)
lub max pliku dziennika wielkości z navigator.audit_log_max_file_size

Źródło

2015-02-21 22:24:59 Pixou

Dzięki! Minęło trochę czasu, odkąd opublikowałem problem, ale myślę, że w końcu zmieniliśmy log_max_file_size, aby naprawić problem. Tak, eksperymentowaliśmy coś na małej grupie, więc maszyny nie miały dużych pojemności. –

gdzie ustawić te zmienne? Czy muszę ponownie uruchomić datanode, aby te zmiany odzwierciedlały? – amey91

jak wyczyścić dzienniki hadoop-hdfs w katalogu/var/log/hadoop-hdfs

Odpowiedz

Powiązane problemy