Ağırlık başlatma
Kaiming, Xavier, orthogonal ve tekrar üretim.
01Tohum ve temel işlemler#
init::manual_seed(uint64_t) thread-local mt19937 motorunu tohumlar; seed result_type’a dönüştürülür. constant_, zeros_, ones_, uniform_(low,high), normal_(mean,stddev) yerinde doldurur. Seed yeni parametreler oluşturulmadan önce verilmelidir.
02Fan-in ve fan-out#
[out,in,spatial...] için fan_in=in·çekirdek_hacmi ve fan_out=out·çekirdek_hacmi. rank<2 için max(numel,1). Başlatma, aktivasyon ve türev ölçeğinin derinlik boyunca büyüyüp küçülmesini azaltmayı amaçlar.
03Kaiming#
kaiming_uniform_/kaiming_normal_(tensor,negative_slope=0,fan_out=false). Gain √(2/(1+a²)); normal std=gain/√fan, uniform sınır=√3·gain/√fan. Linear ve Conv varsayılanı uniform.
04Xavier ve orthogonal#
xavier_uniform_/xavier_normal_(tensor,gain=1) fan_in+fan_out kullanır. orthogonal_(tensor,gain=1) rank-2 kabul eder; normal örnekleri Gram–Schmidt ile ortogonalleştirir. Recurrent varsayılan gain=1; farklı gain için kendi sayısal testinizi yapın.