코딩걸음마

98% ,100%정확도를 가지고 있는 모델은 정말 좋은 모델일까? 이 모델만 있으면 세상의 진리를 깨우친거라고 말할 수 있을까? 아쉽게도 모델의 정확도가 이렇게 높다면 train_set data에 대해서 충분히 학습이 되어 과적합일 확률이 높다. 즉, 우물안 개구리인 모델이라는 뜻이다. 정말 좋은 모델은 우리가 아직 알지 못하는 미래 즉, Unseen data에 대한 정확도가 높은 것을 의미한다. 그렇다면 아래의 과정으로 모델의 Unseen Data에 대한 정확도를 확인하고, 과적합을 줄이는 방법에 대해서 이야기해보자. import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklear..

import torch def mse(x_hat, x): # |x_hat| = (batch_size, dim) # |x| = (batch_size, dim) y = ((x - x_hat)**2).mean() return y x = torch.FloatTensor([[1, 1], [2, 2]]) x_hat = torch.FloatTensor([[0, 0], [0, 0]]) print(x.size(), x_hat.size()) torch.Size([2, 2]) torch.Size([2, 2]) mse(x_hat, x) tensor(2.5000) MSE in PyTorch import torch.nn.functional as F F.mse_loss(x_hat, x) tensor(2.5000) reduction..

1. 행렬의 곱셈 행렬의 곱셈은 내적(inner product, Dot product)이라고한다. 딥러닝 과정에서 중요한 연산 중 하나이다. 행렬의 곱셈의 조건이 있다. 다음과 같은 두개의 행렬이 있다고 가정해보자 x = torch.size([ a , b ]) y = torch.size([ c , d ]) 라고 할 때 b = c 조건이 성립되어야하며, 내적 결과는 torch.size([ a , d ])가 나온다. import torch x = torch.FloatTensor([[1, 2], [3, 4], [5, 6]]) y = torch.FloatTensor([[1, 2], [1, 2]]) print(x.size(), y.size()) torch.Size([3, 2]) torch.Size([2, 2]) ..

1. expand expand는 Tensor를 복사하여 원하는 차원으로 만드는 방법이다. import torch x = torch.FloatTensor([[[1, 2]], [[3, 4]]]) print(x.size()) torch.Size([2, 1, 2]) 이 tensor를 복사하여 [2, 4, 2] 형태로 바꿔보자 y = x.expand(*[2, 4, 2]) print(y) print(y.size()) tensor([[[1., 2.], [1., 2.], [1., 2.], [1., 2.]], [[3., 4.], [3., 4.], [3., 4.], [3., 4.]]]) torch.Size([2, 4, 2]) 물론 cat을 활용해서 붙힐 수 있다. y = torch.cat([x, x, x, x], dim=..