Jak przesłać topologię w klastrze produkcji burzowej za pomocą IDE

Question

Mam do czynienia z problemem Must submit topologies using the 'storm' client script so that StormSubmitter knows which jar to upload podczas przesyłania topologii do klastra produkcyjnego przy użyciu IDE, podczas gdy to samo, jeśli wykonuję w wierszu poleceń przy użyciu polecenia storm jar, jego działanie jak w niebie. Widziałem przykłady tego samego z githublink.

składania topologię używam te zestaw linii

conf.put(Config.NIMBUS_HOST, NIMBUS_NODE); 
    conf.put(Config.NIMBUS_THRIFT_PORT,6627); 
    conf.put(Config.STORM_ZOOKEEPER_PORT,2181); 
    conf.put(Config.STORM_ZOOKEEPER_SERVERS,ZOOKEEPER_ID); 
    conf.setNumWorkers(20); 
    conf.setMaxSpoutPending(5000); 
    StormSubmitter submitter = new StormSubmitter(); 
    submitter.submitTopology("test", conf, builder.createTopology()); 

Proszę zasugerować mi, czy to jest prawidłowe podejście do pracy?

Answer 1

Dobrze znalazłem rozwiązanie. Kiedy uruchomiliśmy "jar burzowy", wywołuje on flagę właściwości dla pliku storm.jar w przesłanym słoju. Więc jeśli chcemy programowo złożyć słoik po prostu ustawić flagę tędy

System.setProperty("storm.jar", <path-to-jar>);

na przykład:

System.setProperty("storm.jar", "/Users/programming/apache-storm-1.0.1/lib/storm-core-1.0.1.jar"); 
StormSubmitter.submitTopology("myTopology", config, builder.createTopology()); 

Answer 2

nie uruchomić kod Java składania sobie, ale sprawdziłem polecenie Storm - i jest to plik python, który uruchamia java i http://nathanmarz.github.com/storm/doc/backtype/storm/StormSubmitter.html klasę

Jedyną rzeczą, myślę, że powinieneś martwić - jest m.in. wszystkie potrzebne biblioteki, podczas jej wykonywania.

Answer 3

składania topologię do zdalnego klastra burzy, trzeba przesłać ten słoik na maszynę nimbus, a następnie przesłać ten jar do Cluster za pomocą NimbusClient.
można to zrobić tak:

Map storm_conf = Utils.readStormConfig(); 
storm_conf.put("nimbus.host", "<Nimbus Machine IP>"); 
Client client = NimbusClient.getConfiguredClient(storm_conf) 
           .getClient(); 
String inputJar = "C:\\workspace\\TestStormRunner\\target\\TestStormRunner-0.0.1-SNAPSHOT-jar-with-dependencies.jar"; 
NimbusClient nimbus = new NimbusClient(storm_conf, "<Nimbus Machine IP>", 
           <Nimbus Machine Port>); 
// upload topology jar to Cluster using StormSubmitter 
String uploadedJarLocation = StormSubmitter.submitJar(storm_conf, 
           inputJar); 

String jsonConf = JSONValue.toJSONString(storm_conf); 
nimbus.getClient().submitTopology("testtopology", 
         <uploadedJarLocation>, jsonConf, builder.createTopology()); 

Oto przykład praca: Submitting a topology to Remote Storm Cluster

Answer 4

mam rozwiązać ten problem na podstawie @abhi i odpowiedzi @Nishu Tayal za chciałabym aby umieścić mój kod tutaj:

public static void submitLocalTopologyWay1(String topologyName, Config topologyConf, 
     StormTopology topology, String localJar) { 
    try { 
     //get default storm config 
     Map defaultStormConf = Utils.readStormConfig(); 
     defaultStormConf.putAll(topologyConf); 

     //set JAR 
     System.setProperty("storm.jar",localJar); 

     //submit topology 
     StormSubmitter.submitTopology(topologyName, defaultStormConf, topology); 

    } catch (Exception e) { 
     String errorMsg = "can't deploy topology " + topologyName + ", " + e.getMessage(); 
     System.out.println(errorMsg); 
     e.printStackTrace(); 
    } 
} 

public static void submitLocalTopologyWay2(String topologyName, Config topologyConf, 
     StormTopology topology, String localJar) { 
    try { 
     //get nimbus client 
     Map defaultStormConf = Utils.readStormConfig(); 
     defaultStormConf.putAll(topologyConf); 
     Client client = NimbusClient.getConfiguredClient(defaultStormConf).getClient(); 

     //upload JAR 
     String remoteJar = StormSubmitter.submitJar(defaultStormConf, localJar); 

     //submit topology 
     client.submitTopology(topologyName, remoteJar, JSONValue.toJSONString(topologyConf), topology); 

    } catch (Exception e) { 
     String errorMsg = "can't deploy topology " + topologyName + ", " + e.getMessage(); 
     System.out.println(errorMsg); 
     e.printStackTrace(); 
    } 
} 

to tutaj jest test, i musisz najpierw zbudować swój kod do pliku JAR.

public void testSubmitTopologySubmitLocalTopologyWay1() { 
    Config config = new Config(); 
    config.put(Config.NIMBUS_HOST,"9.119.84.179"); 
    config.put(Config.NIMBUS_THRIFT_PORT, 6627); 
    config.put(Config.STORM_ZOOKEEPER_SERVERS, Arrays.asList("9.119.84.177","9.119.84.178","9.119.84.176")); 
    config.put(Config.STORM_ZOOKEEPER_PORT,2181); 

    config.put(Config.TOPOLOGY_WORKERS, 3); 

    RemoteSubmitter.submitLocalTopologyWay1("word-count-test-1", config, 
      WordCountTopology.buildTopology(), // your topology 
      "C:\\MyWorkspace\\project\\storm-sample-0.0.1-SNAPSHOT-jar-with-dependencies.jar");//the JAR file 
}