Açık geri yayılım

Analitik türev ve katman-lokal teyp kararı.

2 dk okumav1.0.0C++20

Doğrudan uygulamadaninclude/nexus_model/core/details.txt

01Yol B#

MatrixFlash Variable::backward kökü birlerle başlatır, dış dL/dy kabul etmez. Kardeş kütüphaneler aynı teybi paylaşmaz. NexusModel açık gradyan girişli backward kullanır.

Linear, Conv, Pool, Norm, Dropout, Embedding, aktivasyonlar ve RNN/LSTM/GRU analitik vektör-Jacobian çarpımı uygular. Sequential ters sırada dolaşır. Attention softmax/matmul zinciri MicroTape kullanır.

\frac{\partial L}{\partial x_i}=\sum_j\frac{\partial y_j}{\partial x_i}\frac{\partial L}{\partial y_j}

03Önbellek ve biriktirme#

Parametreler birden fazla yoldan katkı alır; türevleri toplanır. Giriş türevi o backward çağrısına aittir. Aynı katman nesnesini grafikte tekrar forward etmek önbelleği ezer. Her kullanıma ayrı modül veya ayrı replika ayırın.

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.

02Jacobian saklamadan türev#

\frac{\partial L}{\partial x_i}=\sum_j\frac{\partial y_j}{\partial x_i}\frac{\partial L}{\partial y_j}