Python/기타
[Google Colab Error] Your session crashed after using all available RAM
all_sound
2022. 11. 20. 14:44
구글 코랩에서 딥러닝 모델을 돌리는 와중에 지속적으로 커널이 죽는 현상이 발생했다.
에러 메세지는 'Your session crashed after using all available RAM'
구글링 해보니 결국 메모리 문제였다.
구글 코랩에서 기본적으로 제공되는 램은 약 12GB이다. 때문에 복잡하고 방대한 신경망 모델을 돌리 경우에는 세션이 중단될 수 밖에 없는 것이다.
해결책은 두 가지.
1. 매월 구독료를 내고 구글 Pro 버전을 사용한다.
2. train 및 test 데이터 세트를 줄이거나 모델을 간소화시킨다.
유튜브 강의 교안으로 공부하기 위해 코랩을 사용 중이었는데, 강사님은 아마 Pro 버전이라 아무 문제가 없었던 것 같다.
사용 중이던 데이터는 imdb 10,000개
from tensorflow.keras.datasets import imdb
import numpy as np
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
데이터는 그렇게 많진 않은 거 같은데 아마 깊은 layer들을 쌓다보니 문제가 생긴 거 같다.
model_3 = Sequential([Dense(1024, activation='relu', input_shape=(10000,), name='input3'),
Dense(1024, activation='relu', name='hidden3'),
Dense(1, activation='sigmoid', name='output3')])
model_3.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
model_3.summary()
복잡한 레이어와 간단한 레이어를 비교하는 게 강의의 목적이라 레이어를 줄일 수는 없었고, 그냥 데이터를 5000개만 가져오는 걸로 코드를 수정했다. 그러자 무사히 잘 돌아갔다.
음... jupyter에서는 더 많은 용량도 잘 돌아가겠지!!... 아마..?
점점 공부 범위가 늘어날 수록 좋은 사양의 PC가 절실해 지는 요즘이다...ㅎㅎ
돈 벌면 노트북부터 좋은 거로 사고 싶다..ㅠㅠ