코딩걸음마

Loss Function을 계산할 때 전체 Train-Set을 사용하는 것을 Batch Gradient Descent라고 합니다. 그러나 이렇게 계산하면 한번 계산할 때 전체 데이터에 대해 Loss Function을 계산해야 하므로 너무 많은 계산이 필요합니다. 이를 방지하기 위해 Stochastic Gradient Desenct(SGD)를 사용합니다. 이 방법에서는 Loss Function을 계산할 때, 전체 데이터(Batch) 대신 일부 데이터의 모음(Mini-Batch)를 사용하여 Loss Function을 계산합니다. (Mini-Batch의 기대값은 전체 train-set을 계산한 값과 같다는 가정) Batch Gradient Descent보다 다소 부정확할 수는 있지만, 계산 속도가 훨씬 빠르기..