Investigating Relations between Regularization and Weight Initialization in Artificial Neural Networks
Artificiella Neurala Nätverk (ANN) är en form av maskininlärning som är populär just nu. Den har många användningsområden inom dagens teknik, till exempel som bildigenkänning. Att programmera ett sådant nätverk är dock inte det lättaste man kan göra. Ett vanligt problem som uppstår när ett ANN byggs upp är överträning, vilket sker när nätverket är för kraftfullt för problemet det ska lösa. En vanlL2 regularization is a common method used to prevent overtraining in artificial neural networks. However, an issue with this method is that the regularization strength has to be properly adjusted for it to work as intended. This value is usually found by trial and error which can take some time, especially for larger networks. This process could be alleviated if there was a mathematical relationsh