Czy wątek bezpieczny podczas korzystania z tf.Session w usługach wnioskowania?

Question

Teraz użyliśmy TensorFlow do szkolenia i eksportu modelu. Możemy wdrożyć usługę wnioskowania z tym modelem, podobnie jak robi to tensorflow/serving.

Mam pytanie dotyczące tego, czy obiekt tf.Session jest wątkowy, czy nie. Jeśli jest to prawda, możemy zainicjować obiekt po uruchomieniu i użyć obiektu singleton do przetwarzania współbieżnych żądań.

Answer 1

Obiekt tf.Session jest wątkowo bezpieczny dla połączeń Session.run() z wielu wątków.

Przed modyfikacją wykresu TensorFlow 0.10 nie była wątkowo bezpieczna. Zostało to naprawione w wersji 0.10, więc możesz dodawać węzły do ​​wykresu jednocześnie z rozmowami Session.run(), chociaż nie jest to zalecane ze względu na wydajność; zamiast tego zaleca się wywołanie sess.graph.finalize() przed użyciem sesji z wielu wątków, aby zapobiec przypadkowym wyciekom pamięci.