深度学习网络初始化trick


网络权重初始化

TODO

  • Initialization of deep networks
  • nninit pytorch中常见的初始化策略,包括uniform、normal、constant、xavier_uniform、xavier_normal、kaiming_uniform、kaiming_normal、orthogonal、sparse等。