Jak pozbyć się derby.log, metastore_db ze Spark Shell

Question

Po uruchomieniu spark-shell tworzy plik derby.log i folder metastore_db. Jak skonfigurować iskry, aby umieścić je gdzie indziej?

Dla dziennika derby wypróbowałem Getting rid of derby.log podobnie jak spark-shell --driver-memory 10g --conf "-spark.driver.extraJavaOptions=Dderby.stream.info.file=/dev/null" z kilkoma różnymi właściwościami, ale iskra ignoruje je.

Czy ktoś wie, jak się ich pozbyć lub podać dla nich domyślny katalog?

Answer 1

Używanie hive.metastore.warehouse.dir jest przestarzałe od Spark 2.0.0, see the docs.

Jak zasugerował przez this answer, prawdziwym winowajcą zarówno katalog metastore_db a plik derby.log tworzone w każdym podkatalogu pracy jest własnością derby.system.home zalegających do ..

Zatem Domyślna lokalizacja zarówno można określić dodając następującą linię do spark-defaults.conf:

spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby 

gdzie /tmp/derby może być zastąpiony przez wybranego katalogu.

Answer 2

Użyj właściwości hive.metastore.warehouse.dir. From docs:

val spark = SparkSession 
    .builder() 
    .appName("Spark Hive Example") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 

Dla dziennika derby: Getting rid of derby.log może być odpowiedź. W ogóle tworzyć derby.properties plik w katalogu roboczym z następującej treści:

derby.stream.error.file=/path/to/desired/log/file 

Answer 3

Spróbuj ustawić derby.system.home do innego katalogu jako właściwość systemu przed rozpalania skorupę zapłonową. Derby utworzy tam nowe bazy danych. Wartością domyślną tej właściwości jest .

referencyjny: https://db.apache.org/derby/integrate/plugin_help/properties.html

Answer 4

iskry-shell, aby uniknąć konieczności katalog metastore_db i uniknąć robi to w kodzie (od kontekstu/sesja jest już stworzony i wygrał” t zatrzymaj je i odtwórz je za każdym razem za pomocą nowej konfiguracji), musisz ustawić jego lokalizację w pliku hive-site.xml i skopiować ten plik do katalogu iskrobrzenia.
Próbkę hive-site.xml plik do lokalizacji metastore_db w /tmp (patrz moją odpowiedź here):

<configuration> 
    <property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:derby:;databaseName=/tmp/metastore_db;create=true</value> 
    <description>JDBC connect string for a JDBC metastore</description> 
    </property> 
    <property> 
    <name>javax.jdo.option.ConnectionDriverName</name> 
    <value>org.apache.derby.jdbc.EmbeddedDriver</value> 
    <description>Driver class name for a JDBC metastore</description> 
    </property> 
    <property> 
     <name>hive.metastore.warehouse.dir</name> 
     <value>/tmp/</value> 
     <description>location of default database for the warehouse</description> 
    </property> 
</configuration> 

Po tym można rozpocząć spark-shell jako następujące pozbyć derby.log także

$ spark-shell --conf "spark.driver.extraJavaOptions=-Dderby.stream.error.file=/tmp"