C++ Tensorflow, jak zrobić sesję-> Uruchom() z multithread lub spędzić mniej czasu

Question

Uruchom wszystkie poniższe procesory. Uruchomiłem przykład ensorflow/examples/label_image przez 7 ~ 8 sekund. Jak wiem, python spędza około 0,5 sekundy, aby przetworzyć tę samą próbkę, a to dlatego, że "obiekt TensorFlow Session jest wielowątkowy, więc wiele wątków może z łatwością korzystać z tej samej sesji i uruchamiać operacje równoległe.". ALE, jak ustawić multithread na Session z C++.

Co staram ... I ciężko linia kodu 81 w "tensorflow/tensorflow/core/common_runtime/direct_session.cc": "const NUM_THREADS Int32 = 16;" Jednak to nie działa.

Jak ustawić konfigurację lub co mam zrobić?

Answer 1

Co powiesz na usiung multiple threads?

std::vector<std::thread> threads; 

for (std::size_t i = 0; i < 10; ++i) { 
    threads.push_back(std::thread([&]{ session->Run(); })); 
} 


for (std::size_t i = 0; i < 10; ++i) { 
    threads[i].join(); 
}