Python/Keras/Theano niewłaściwe wymiary Deep Autoencoder

Question

Staram się śledzić Głębokie Autoencoder Keras example. Dostaję wyjątek niedopasowania wymiarów, ale dla mojego życia nie mogę zrozumieć dlaczego. Działa, gdy używam tylko jednego zakodowanego wymiaru, ale nie wtedy, gdy je stosuję.

Wyjątek: wejściowy 0 jest niezgodna z warstwy dense_18:
oczekiwany kształt = (brak, 128), znaleziono kształt = (brak, 32) *

Błąd jest na linii decoder = Model(input=encoded_input, output=decoder_layer(encoded_input))

from keras.layers import Dense,Input 
from keras.models import Model 

import numpy as np 

# this is the size of the encoded representations 
encoding_dim = 32 

#NPUT LAYER 
input_img = Input(shape=(784,)) 

#ENCODE LAYER 
# "encoded" is the encoded representation of the input 
encoded = Dense(encoding_dim*4, activation='relu')(input_img) 
encoded = Dense(encoding_dim*2, activation='relu')(encoded) 
encoded = Dense(encoding_dim, activation='relu')(encoded) 

#DECODED LAYER 
# "decoded" is the lossy reconstruction of the input 
decoded = Dense(encoding_dim*2, activation='relu')(encoded) 
decoded = Dense(encoding_dim*4, activation='relu')(decoded) 
decoded = Dense(784, activation='sigmoid')(decoded) 

#MODEL 
autoencoder = Model(input=input_img, output=decoded) 


#SEPERATE ENCODER MODEL 
encoder = Model(input=input_img, output=encoded) 

# create a placeholder for an encoded (32-dimensional) input 
encoded_input = Input(shape=(encoding_dim,)) 

# retrieve the last layer of the autoencoder model 
decoder_layer = autoencoder.layers[-1] 

# create the decoder model 
decoder = Model(input=encoded_input, output=decoder_layer(encoded_input)) 

#COMPILER 
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy') 

Answer 1

Dzięki za podpowiedź z Marcinem. Okazuje się, że wszystkie warstwy dekodera muszą zostać rozwinięte, aby mogło działać.

# retrieve the last layer of the autoencoder model 
decoder_layer1 = autoencoder.layers[-3] 
decoder_layer2 = autoencoder.layers[-2] 
decoder_layer3 = autoencoder.layers[-1] 

# create the decoder model 
decoder = Model(input=encoded_input, output=decoder_layer3(decoder_layer2(decoder_layer1(encoded_input)))) 

Answer 2

problem polega na:

# retrieve the last layer of the autoencoder model 
decoder_layer = autoencoder.layers[-1] 

W poprzednim modelu - ostatnia warstwa była jedyną warstwą dekodera. Więc wejście to było również wejściem do dekodera. Ale teraz masz 3 warstwę dekodującą, więc musisz wrócić do pierwszej, aby uzyskać pierwszą warstwę dekodera. Więc zmieniając tę ​​linię na:

# retrieve the last layer of the autoencoder model 
decoder_layer = autoencoder.layers[-3] 

Powinien wykonać pracę.

Answer 3

Musisz zastosować transformację z każdej warstwy dekodera do poprzedniej. Można ręcznie rozwinąć i trudno je jako kod w przyjętym odpowiedź, lub następująca pętla powinna dbać o to:

# create a placeholder for an encoded (32-dimensional) input 
encoded_input = Input(shape=(encoding_dim,)) 

# retrieve the decoder layers and apply to each prev layer 
num_decoder_layers = 3 
decoder_layer = encoded_input 
for i in range(-num_decoder_layers, 0): 
    decoder_layer = autoencoder.layers[i](decoder_layer) 

# create the decoder model 
decoder = Model(encoded_input, decoder_layer)