Jak wyciszyć komunikaty diagnostyczne Apache'a zookeepera (AWS EMR)?

Question

Jak wyciszyć komunikaty DEBUG na węźle AWS Elastic MapReduce?

hbase(main):003:0> list 
TABLE                            
mydb                             
1 row(s) in 0.0510 seconds 

hbase(main):004:0> 00:25:17.104 [main-SendThread(ip-172-31-14-206.ec2.internal:2181)] DEBUG org.apache.zookeeper.ClientCnxn - Got ping response for sessionid: 0x1493a5c3b78001b after 1ms 

hbase(main):005:0* 00:26:17.165 [main-SendThread(ip-172-31-14-206.ec2.internal:2181)] DEBUG org.apache.zookeeper.ClientCnxn - Got ping response for sessionid: 0x1493a5c3b78001b after 1ms 

Answer 1

Nie wiem, czy jest jakaś opcja w interfejsie sieci Web do zmiany szczegółowości logu. Ale musi istnieć Heca w zoo (który używa Log4j) folderu konfiguracyjnego $ {ZOOKEEPER_HOME}/conf, w którym można edytować plikowi logj4.properties i określić:

zookeeper.console.threshold=WARN 

Ale myślę, że te zmiany muszą Zróbmy to nie bezpośrednio w Zookeeperze, ale w konfiguracji dziennika HBase - $ {HBASE_HOME}/conf (HBase również używa Log4j), ponieważ HBase może zarządzać Zookeeper. Istnieje kilka parametrów, które mogą być edytowane tam:

# Define some default values that can be overridden by system properties 
hbase.root.logger=INFO,console 
hbase.security.logger=INFO,console 

# Main log level 
log4j.threshold=ALL 

# Zookeeper log level 
log4j.logger.org.apache.zookeeper=INFO 

Aby znaleźć ten plik można spróbować kolejną komendę:

$ find /* -name "log4j.properties" | grep -E "zookeeper|hbase" 
/hadoop/zookeeper/conf/log4j.properties 
/hadoop/hbase/conf/log4j.properties 

Answer 2

Akceptowane odpowiedź na this question pomaga tłumić wiadomości dziennika debugowania nie tylko dla hbase shell ale dla wszystkich innych demonów działających w hbase (np. serwer regionalny, zookeeper). Wszystko czego potrzebujesz to dodać:

<configuration> 
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> 
    <encoder> 
     <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern> 
    </encoder> 
    </appender> 
    <root level="error"> 
     <appender-ref ref="STDOUT" /> 
    </root> 
</configuration> 

do ~/hbase/conf/logback.xml i ponowne uruchomienie wszystkich usług lub HBase powłokę.