Proste LSTM w PyTorch z modułem sekwencyjnym

Question

W PyTorch możemy definiować architektury na wiele sposobów. Tutaj chciałbym stworzyć prostą sieć LSTM przy użyciu modułu Sequential.

W palniku Lua ja zwykle iść z:

model = nn.Sequential() 
model:add(nn.SplitTable(1,2)) 
model:add(nn.Sequencer(nn.LSTM(inputSize, hiddenSize))) 
model:add(nn.SelectTable(-1)) -- last step of output sequence 
model:add(nn.Linear(hiddenSize, classes_n)) 

Jednak w PyTorch, nie znaleźliśmy równowartość SelectTable dostać ostatnią wyjście.

nn.Sequential(
    nn.LSTM(inputSize, hiddenSize, 1, batch_first=True), 
    # what to put here to retrieve last output of LSTM ?, 
    nn.Linear(hiddenSize, classe_n)) 

Answer 1

Według LSTM cell documentation wyjść parametr ma kształt (seq_len, partii, hidden_size * num_directions), dzięki czemu można łatwo wziąć ostatni element sekwencji w ten sposób:

rnn = nn.LSTM(10, 20, 2) 
input = Variable(torch.randn(5, 3, 10)) 
h0 = Variable(torch.randn(2, 3, 20)) 
c0 = Variable(torch.randn(2, 3, 20)) 
output, hn = rnn(input, (h0, c0)) 
print(output[-1]) # last element 

Manipulacja tensorami i projektowanie sieci neuronowych w PyTorch jest niesamowicie łatwiejsza niż w Latarce, więc rzadko trzeba używać pojemników. W rzeczywistości, jak stwierdzono w tutorialu PyTorch for former Torch users PyTorch jest zbudowany wokół Autogradu, więc nie musisz już martwić się o pojemniki. Jeśli jednak chcesz użyć swojego starego kodu Lua Torch, możesz rzucić okiem na Legacy package.