Matematikten eğitime

Sayısal bir türev hesabı ve y=2x+1 öğrenen tam program.

2 dk okumav1.0.0C++20

Doğrudan uygulamadaninclude/nexus_model/layers/linear.hpp

01Bir örneği elle hesaplayın#

x=[1,2], W=[3,4], b=0 için tek çıkışlı Linear y=11 verir. Hedef t=10 ve L=(y−t)²/2 olsun; kayıp 0.5, dış gradyan dy=1 olur. backward’a 1 vermek bu belirli kaybın doğru türevidir.

y=1\cdot3+2\cdot4=11,\quad L=\tfrac12(11-10)^2=0.5,\quad dy=y-t=1

dW=[1,2], db=1 ve dx=[3,4]. η=0.1 ile SGD ağırlıkları [2.9,3.8], bias −0.1 yapar. Aynı girdiyle yeni y=10.4 ve yeni kayıp 0.08 olur. Türev, parametrede küçük bir değişimin kaybı hangi yönde değiştireceğini söyler.

W\leftarrow W-0.1dW,\qquad b\leftarrow b-0.1db

03Batch ortalaması#

Aşağıdaki program MSE=(1/B)Σ(y−t)² kullanır; önceki yarım-kare örneğinden farklı olarak 2/B çarpanı gerekir. Batch ortalamasını yalnız bir kere uygulayın. Her adımın başında zero_grad birikimi temizler.

\frac{\partial L}{\partial y_i}=\frac{2(y_i-t_i)}B

04Tam çalışan eğitim örneği#

Bu örnek yalnız NexusModel kullanır; MSE ve sade SGD eğitim amacıyla açık yazılmıştır. Genel optimizer özellikleri için NexusOptim entegrasyonunu kullanın. Program 200 adım sonra kayıp 1e−3 altında ise başarı koduyla çıkar.

1#include <nexus_model/nexus_model.hpp>2#include <iostream>3using namespace nexus_model;4int main() {5  init::manual_seed(42);6  Linear model(1,1);7  auto x=Tensor::from_values({5,1},{-2,-1,0,1,2});8  auto target=Tensor::from_values({5,1},{-3,-1,1,3,5});9  auto dy=Tensor::zeros({5,1});10  float loss=0;11  for(int step=0;step<200;++step) {12    model.zero_grad();13    auto y=model.forward(x);14    loss=0;15    for(std::size_t i=0;i<y.numel();++i) {16      float e=y[i]-target[i];17      loss+=e*e/5.f;18      dy[i]=2.f*e/5.f;19    }20    model.backward(dy);21    // Educational SGD; use NexusOptim for production optimizers.22    for(auto* p:model.parameters())23      for(std::size_t i=0;i<p->data.numel();++i)24        p->data[i]-=0.03f*p->grad[i];25  }26  std::cout<<"MSE: "<<loss<<"\n";27  return loss<1e-3f ? 0 : 1;28}

◆Kaynak kodla birlikte okuyun. API davranışı mevcut uygulamayı esas alır.

01Bir örneği elle hesaplayın#

x=[1,2], W=[3,4], b=0 için tek çıkışlı Linear y=11 verir. Hedef t=10 ve L=(y−t)²/2 olsun; kayıp 0.5, dış gradyan dy=1 olur. backward’a 1 vermek bu belirli kaybın doğru türevidir.

y=1\cdot3+2\cdot4=11,\quad L=\tfrac12(11-10)^2=0.5,\quad dy=y-t=1

02Gradyanın anlamı#

W\leftarrow W-0.1dW,\qquad b\leftarrow b-0.1db

03Batch ortalaması#

\frac{\partial L}{\partial y_i}=\frac{2(y_i-t_i)}B

04Tam çalışan eğitim örneği#

1#include <nexus_model/nexus_model.hpp>2#include <iostream>3using namespace nexus_model;4int main() {5  init::manual_seed(42);6  Linear model(1,1);7  auto x=Tensor::from_values({5,1},{-2,-1,0,1,2});8  auto target=Tensor::from_values({5,1},{-3,-1,1,3,5});9  auto dy=Tensor::zeros({5,1});10  float loss=0;11  for(int step=0;step<200;++step) {12    model.zero_grad();13    auto y=model.forward(x);14    loss=0;15    for(std::size_t i=0;i<y.numel();++i) {16      float e=y[i]-target[i];17      loss+=e*e/5.f;18      dy[i]=2.f*e/5.f;19    }20    model.backward(dy);21    // Educational SGD; use NexusOptim for production optimizers.22    for(auto* p:model.parameters())23      for(std::size_t i=0;i<p->data.numel();++i)24        p->data[i]-=0.03f*p->grad[i];25  }26  std::cout<<"MSE: "<<loss<<"\n";27  return loss<1e-3f ? 0 : 1;28}