Transformer blokları

Konumsal kodlama, post-norm encoder ve decoder.

2 dk okumav1.0.0C++20

Doğrudan uygulamadaninclude/nexus_model/layers/attention.hpp

01PositionalEncoding#

PositionalEncoding(embed,max_len=512,learnable=false) sinüs/kosinüsü [B,T,E] girdisine ekler. Sabit tablo büyür; learnable parametre tablosu ilk boyutta kalır, T≤max_len koruyun. Öğrenilebilir tablo sinüsoidal başlar ve batch boyunca gradyan toplar.

PE_{p,2i}=\sin(p/10000^{2i/E}),\quad PE_{p,2i+1}=\cos(p/10000^{2i/E})

02TransformerEncoderLayer#

TransformerEncoderLayer(embed,heads,ff=0,dropout=0.1); ff≤0 ise 4·embed. Self-attention→dropout→residual→LayerNorm; Linear→GELU→Linear→dropout→residual→LayerNorm. Post-norm mimarisidir.

u=LN(x+D(A(x))),\qquad y=LN(u+D(FFN(u)))

1Sequential encoder({2  std::make_shared<PositionalEncoding>(64,128),3  std::make_shared<TransformerEncoderLayer>(64,4,256,0.1f)4});5auto y=encoder.forward(Tensor::zeros({4,32,64}));

03TransformerDecoderLayer#

TransformerDecoderLayer(embed,heads,ff=0,dropout=0.1) maskeli self-attention, cross-attention ve FFN içerir. Önce forward(target,memory) çağırın. Tek argümanlı forward daha önce kaydedilmiş memory ister; ilk çağrıda ModelError üretir.

04Memory türevi sınırı#

Decoder backward yalnız target türevi döndürür. İç cross-attention’ın dk/dv türevleri dönüşe eklenmez ve decoder public API’sinde sunulmaz. Tam encoder-decoder eğitimi için bu aktarımı ekleyen genişletme veya açık cross-attention akışı gerekir.

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.

01PositionalEncoding#

PE_{p,2i}=\sin(p/10000^{2i/E}),\quad PE_{p,2i+1}=\cos(p/10000^{2i/E})

02TransformerEncoderLayer#

u=LN(x+D(A(x))),\qquad y=LN(u+D(FFN(u)))

1Sequential encoder({2  std::make_shared<PositionalEncoding>(64,128),3  std::make_shared<TransformerEncoderLayer>(64,4,256,0.1f)4});5auto y=encoder.forward(Tensor::zeros({4,32,64}));