Trouble shooting

GPUUtil

• nvidia-smi같은 모듈
• gpu, mem 통계를 지속적으로 콘솔에 찍어준다.

!pipi install GPUtil
import GPUtil
GPUtil.showUtilization()

tensor의 누적

gpu 메모리를 사용하는 tensor 변수들이 있다. (대부분)

이런 변수들의 값이 지속적으로 누적되는 loop문이 있다면 gpu의 메모리가 금방 고갈될 것이다.

e.g.,

total_loss = 0
for i in range(10):
	optim.zero_grad()
    output = model(input)
    loss = criterion(output)
    loss.backward()
    optim.step()
    total_loss += loss ## here!!!    

이렇게 누적되거나, 한번만 사용하거나, 간단한 tensor의 경우는 되도록 python 기본 객체로 변환해서 처리하자.

Out of memory(OOM)

• batch size = 1로 해보고 이것저것 실험해보며 메모리를 확인해보자.

torch.no_grad()

inference(추론) 시점에서는 반드시 사용하자. 당연한건데, 사용하지 않으면 학습 과정과 동일하게 backward pass가 쌓인다.

model의 사이즈

가령 LSTM은 메모리를 꽤 많이 잡아먹으니, 모델 자체의 사이즈도 고려하자.

tensor dtype

float precision을 16bit로도 사용 가능.