Linear

Tam bağlı katman, ağırlık düzeni ve analitik türevler.

2 dk okumav1.0.0C++20

Doğrudan uygulamadaninclude/nexus_model/layers/linear.hpp

01Kurucu ve parametreler#

Linear(in_features,out_features,use_bias=true). Boyutlar pozitif olmalıdır. weight() [out,in] Parameter, bias() [out] Parameter döndürür; bias kapalıysa nullptr olur. Ağırlık Kaiming uniform, bias sıfır ile başlar.

1Linear layer(64,128,true);2auto x=Tensor::zeros({4,16,64});3auto y=layer.forward(x); // [4,16,128]

02İleri geçiş#

Son eksen in_features ile eşleşir. Önceki eksenler düzleştirilmiş satırlar olarak işlenir ve çıktıda korunur. W=[out,in] düzeni fiziksel ağırlık transpozisyonu gerektirmez.

Y=XW^T+\mathbf1b^T

03Analitik geri geçiş#

dY=[M,O], X=[M,I], W=[O,I]. Katman dX tamponunu sıfırlar, dW/db mevcut birikime eklenir. requires_grad=false yalnız ilgili parametre katkısını kapatır.

dX=dY\,W,\qquad dW\mathrel{+}=dY^TX,\qquad db\mathrel{+}=\sum_m dY_m

04Hesap maliyeti#

İleri çarpım yaklaşık 2MIO FLOP, ağırlıklar bias hariç 4IO bayt gerektirir. Eğitimde gradyanlar ve önbellekler ek bellek tutar. Aynı modülde yeni forward eski backward önbelleğini değiştirir.

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.

01Kurucu ve parametreler#

1Linear layer(64,128,true);2auto x=Tensor::zeros({4,16,64});3auto y=layer.forward(x); // [4,16,128]