Terms

Epoch

Usually the training set is divided into batches, each epoch go through the whole training set. Each iteration goes through on batch.

Local Response Normalization

使用ReLU f(x)=max(0,x)後，你會發現激活函數之後的值沒有了tanh、sigmoid函數那樣有一個值域區間，所以一般在ReLU之後會做一個normalization，LRU就是其中一種方法

這個方法具體作用是為了使計算加快，執行雙邊抑制，靈感來自神經科學的「Lateral inhibition」，它鼓勵靠近的神經元之間的相互競爭，但是也有人指出實際上它的作用不大，在Krizhevsky, Sutskever, and Hinton, ImageNet Classification with Deep Convolutional Neural Networks,NIPS 2012這篇文章中提出Relu可以不需要這個歸一化。

LRN對局部輸入區域進行歸一化，有兩種模式：

1.相鄰通道間歸一化模式，局部區域範圍在相鄰通道間，沒有空間拓展，尺寸為local_size×1×1，local_size為求和的通道數

2.通道內歸一化模式，局部區域在空間上擴展，但只針對獨立通道進行，尺寸為1×local_size×local_size，local_size為求和區間的邊長。

具體計算就是將每一個輸入值都除以：

其中n為local_size，α為縮放因子，β為指數項。

Dropout

防止NN的過擬合。 相對於一般如線性模型使用正則的方法來防止模型過擬合，而在NN中Dropout通過修改NN本身結構來實現。對於某一層神經元，通過定義的概率來隨機刪除一些神經元，同時保持輸入層與輸出層神經元的個人不變，然後按照NN的學習方法進行參數更新，下一次迭代中，重新隨機刪除一些神經元，直至訓練結束

Data Augmentation

其實，最簡單的增強模型性能，防止模型過擬合的方法是增加數據，但是其實增加數據也是有策略的，paper當中從256*256中隨機提出227*227的patches(paper裡面是224*224)，還有就是通過PCA來擴展數據集。這樣就很有效地擴展了數據集，其實還有更多的方法視你的業務場景去使用，比如做基本的圖像轉換如增加減少亮度，一些濾光算法等等之類的，這是一種特別有效地手段，尤其是當數據量不夠大的時候。