[Google Colab Error] Your session crashed after using all available RAM

구글 코랩에서 딥러닝 모델을 돌리는 와중에 지속적으로 커널이 죽는 현상이 발생했다.
에러 메세지는 'Your session crashed after using all available RAM'

구글링 해보니 결국 메모리 문제였다.

구글 코랩에서 기본적으로 제공되는 램은 약 12GB이다. 때문에 복잡하고 방대한 신경망 모델을 돌리 경우에는 세션이 중단될 수 밖에 없는 것이다.

해결책은 두 가지.

1. 매월 구독료를 내고 구글 Pro 버전을 사용한다.

2. train 및 test 데이터 세트를 줄이거나 모델을 간소화시킨다.


유튜브 강의 교안으로 공부하기 위해 코랩을 사용 중이었는데, 강사님은 아마 Pro 버전이라 아무 문제가 없었던 것 같다.
사용 중이던 데이터는 imdb 10,000개

from tensorflow.keras.datasets import imdb
import numpy as np

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

데이터는 그렇게 많진 않은 거 같은데 아마 깊은 layer들을 쌓다보니 문제가 생긴 거 같다.

model_3 = Sequential([Dense(1024, activation='relu', input_shape=(10000,), name='input3'),
                      Dense(1024, activation='relu', name='hidden3'),
                      Dense(1, activation='sigmoid', name='output3')])

model_3.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
model_3.summary()

복잡한 레이어와 간단한 레이어를 비교하는 게 강의의 목적이라 레이어를 줄일 수는 없었고, 그냥 데이터를 5000개만 가져오는 걸로 코드를 수정했다. 그러자 무사히 잘 돌아갔다.

음... jupyter에서는 더 많은 용량도 잘 돌아가겠지!!... 아마..?

점점 공부 범위가 늘어날 수록 좋은 사양의 PC가 절실해 지는 요즘이다...ㅎㅎ
돈 벌면 노트북부터 좋은 거로 사고 싶다..ㅠㅠ