Dropout

Ters dropout, tohum ve train/eval davranışı.

2 dk okumav1.0.0C++20

Doğrudan uygulamadaninclude/nexus_model/layers/dropout.hpp

01Kurucu#

Dropout(probability=0.5f,seed=0xD1CEU), probability ∈ [0,1]. Maske her eğitim forward çağrısında değişir. Aynı tohum ve çağrı sırası tekrarlanabilir dizi verir. init::manual_seed bu ayrı seed alanını değiştirmez.

02Beklenen değeri koruma#

Tutulan değerler 1/(1−p) ile ölçeklenir. p=1 özel durumunda çıktı ve türev sıfır; eval veya p=0 için kimlik dönüşümüdür.

m_i\sim Bernoulli(1-p),\qquad y_i=\frac{x_im_i}{1-p},\qquad dx_i=\frac{g_im_i}{1-p}

03Kaydedilen ileri mod#

training_at_forward saklanır; backward son forward maskesini ve modunu kullanır. Attention dropout ayrı uygulanır ve p<1 gerektirir.

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.

NEXUSMODEL

DocsKatman referansı

NEXUSMODEL / 16

Dropout

Ters dropout, tohum ve train/eval davranışı.

2 dk okumav1.0.0C++20

Doğrudan uygulamadaninclude/nexus_model/layers/dropout.hpp

01Kurucu#

02Beklenen değeri koruma#

Tutulan değerler 1/(1−p) ile ölçeklenir. p=1 özel durumunda çıktı ve türev sıfır; eval veya p=0 için kimlik dönüşümüdür.

m_i\sim Bernoulli(1-p),\qquad y_i=\frac{x_im_i}{1-p},\qquad dx_i=\frac{g_im_i}{1-p}

03Kaydedilen ileri mod#

training_at_forward saklanır; backward son forward maskesini ve modunu kullanır. Attention dropout ayrı uygulanır ve p<1 gerektirir.

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.