(Pytorch) Pytorch에서 학습 및 테스트 시 GPU VRAM이 계속 증가하는 이유

학습 시 지속적으로 GPU VRAM이 증가할 때

• 학습 시 데이터나 배치 사이즈가 너무 커서 처음부터 발생하는 Out of Memory 문제가 아니라, 조금 조금씩 GPU VRAM이 쌓일 때!
• 십중팔구 다른 프레임워크(a.k.a. tensorflow) 와 다르게  pytorch의 특성인 데이터를 GPU에 올리고 해제하지 않아서임. (ex, data.cpu()와 같은 작업을 하지 않아서)
• 매번 실수 하는 나 자신을 탓하기 위해 작성..

검증 또는 테스트 시 GPU VRAM이 증가할 때

• 아래와 같이 검증 또는 테스트를 할 때 GPU VRAM이 증가할 때

for _ in range(10000):
	preds = model(data)

• with torch.no_grad()로 감싸서 gradient를 계산하지 않도록 해야함.

with torch.no_grad():
	for _ in range(10000):
		preds = model(data)