Eğitim döngüsü

Kayıp, gradyan biriktirme ve NexusOptim.

2 dk okumav1.0.0C++20

Doğrudan uygulamadanexamples/train_end_to_end_example.cpp

01Bir adımın sırası#

zero_grad → forward → loss.backward → model.backward → optimizer.step. Gradyanlar backward çağrıları boyunca toplanır. Mikro-batch biriktirmede bu istenir; bağımsız adımlar arasında temizlenmezse yanlış güncelleme olur.

\theta_{t+1}=\theta_t-\eta\nabla_\theta L

02Ödünç parametre köprüsü#

as_param_group yalnız requires_grad=true parametrelerin veri ve gradyan işaretçilerini aktarır. Optimizer yaşarken parametre depolamasını değiştirmeyin veya modeli yok etmeyin. Adaptör çekirdekten ayrı include edilir.

1#include <nexus_model/adapters/nexus_optim.hpp>2#include <nexus_optim/algorithms/adamw.hpp>3nexus_optim::ParamGroupOptions group;4group.learning_rate = 1e-2;5nexus_optim::AdamW<float>::Options options;6options.lr = 1e-2;7options.weight_decay = 1e-2;8nexus_optim::AdamW<float> optimizer(9  {nexus_model::as_param_group(model, group)}, options);

03Logitlerden gradyana#

Örnekte CrossEntropyLoss<float> her satır için çağrılır. backward sonucu bir sonraki satırdan önce kopyalanır ve batch boyutuna bölünür. CrossEntropy’ye logit verin; önceden Softmax eklemeyin.

L=-\frac1B\sum_b\log p_{b,y_b},\qquad \frac{\partial L}{\partial z_{b,c}}=\frac{p_{b,c}-\mathbf1[c=y_b]}B

04Uçtan uca örnek#

NexusData, NexusLoss ve NexusOptim aynı üst klasörde bulunmalı. Örnek 96 sentetik örnek, 8 özellik, 3 sınıf ve 8 epoch AdamW kullanır. Bu bir entegrasyon kontrolüdür.

1cmake -S . -B build-e2e -DNEXUS_MODEL_BUILD_EXAMPLES=ON2cmake --build build-e2e --config Release3.\build-e2e\Release\train_end_to_end.exe

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.