Jak ustawić siłę ciężaru w TensorFlow?

Question

Próbuję użyć TensorFlow z moim projektem głębokiego uczenia się.

Kiedy używam Momentum Gradient Descent, w jaki sposób ustalana jest siła ciężaru?
(λ w tym formula.)

Answer 1

Pojęcie kosztu/rozkładu wagi nie jest częścią optymalizatora w TensorFlow.

Łatwo to jednak poprzez dodanie dodatkowej kary do funkcji kosztu z utratą L2 o masach:

C = <your initial cost function> 
l2_loss = tf.add_n([tf.nn.l2_loss(v) for v in tf.trainable_variables()]) 
C = C + lambda * l2_loss 

tf.nn.l2_loss(v)link jest po prostu 0.5 * tf.reduce_sum(v * v) i gradienty dla poszczególnych wag będzie równa do lambda * w, które powinny być równoważne z połączonym równaniem.