Tensorflow: Jak uzyskać wszystkie zmienne z rnn_cell.BasicLSTM i rnn_cell.MultiRNNCell

Question

Mam konfigurację, w której muszę zainicjować LSTM po głównej inicjalizacji, która używa tf.initialize_all_variables(). To znaczy. Chcę zadzwonić tf.initialize_variables([var_list])

Czy istnieje sposób, aby zebrać wszystkie wewnętrzne zmienne wyszkolić dla obu:

• rnn_cell.BasicLSTM
• rnn_cell.MultiRNNCell

tak, że mogę zainicjować WŁAŚNIE te parametry?

Głównym powodem tego chcę, ponieważ nie chcę ponownie zainicjować niektórych wyszkolonych wartości wcześniej.

Answer 1

Najprostszym sposobem rozwiązania problemu jest użycie zakresu zmiennego. Nazwy zmiennych w zakresie będą poprzedzone prefiksem z jego nazwą. Oto krótki urywek:

cell = rnn_cell.BasicLSTMCell(num_nodes) 

with tf.variable_scope("LSTM") as vs: 
    # Execute the LSTM cell here in any way, for example: 
    for i in range(num_steps): 
    output[i], state = cell(input_data[i], state) 

    # Retrieve just the LSTM variables. 
    lstm_variables = [v for v in tf.all_variables() 
        if v.name.startswith(vs.name)] 

# [..] 
# Initialize the LSTM variables. 
tf.initialize_variables(lstm_variables) 

Działałoby to tak samo z MultiRNNCell.

EDIT: zmienił tf.trainable_variables do tf.all_variables()

Answer 2

Można również użyć tf.get_collection():

cell = rnn_cell.BasicLSTMCell(num_nodes) 
with tf.variable_scope("LSTM") as vs: 
    # Execute the LSTM cell here in any way, for example: 
    for i in range(num_steps): 
    output[i], state = cell(input_data[i], state) 

    lstm_variables = tf.get_collection(tf.GraphKeys.VARIABLES, scope=vs.name) 

(częściowo skopiowany z odpowiedzią Rafała)

Zauważ, że ostatnia linia jest równoważna listowego w Kod Rafała.

Zasadniczo tensorflow przechowuje globalną kolekcję zmiennych, które można pobrać przez tf.all_variables() lub tf.get_collection(tf.GraphKeys.VARIABLES). Jeśli podasz scope (nazwa zakresu) w funkcji tf.get_collection(), wtedy pobierzesz tylko tensory (w tym przypadku zmienne) w kolekcji, której zakresy są w określonym zakresie.

EDYTOWANIE: Możesz także użyć tf.GraphKeys.TRAINABLE_VARIABLES, aby uzyskać tylko zmienne do trenowania. Ale ponieważ vanilla BasicLSTMCell nie inicjuje żadnej nieprzyłączalnej zmiennej, oba będą funkcjonalnie równoważne. Aby uzyskać pełną listę domyślnych kolekcji wykresów, sprawdź: this.