Spark SQL zawiedzie z java.lang.NoClassDefFoundError: org/codehaus/commons/compiler/UncheckedCompileException

Question

Uruchamianie programu Spark SQL (v2.1.0_2.11) w Javie natychmiast kończy się niepowodzeniem z następującym wyjątkiem, tak szybko jak pierwsza akcja nazywa na dataframe:

java.lang.ClassNotFoundException: org.codehaus.commons.compiler.UncheckedCompileException 

Pobiegłem go w Eclipse, poza środowiskiem spark-submit. Używam następujący Spark SQL Maven zależność:

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.1.0</version> 
    <scope>provided</scope> 
</dependency> 

Answer 1

winowajcą jest biblioteka commons-compiler. Tu jest konflikt:

Aby obejść ten problem, należy dodać następujące wpisy do pom.xml:

<dependencyManagement> 
    <dependencies> 
     <dependency> 
      <groupId>org.codehaus.janino</groupId> 
      <artifactId>commons-compiler</artifactId> 
      <version>2.7.8</version> 
     </dependency> 
    </dependencies> 
</dependencyManagement>