조금씩 꾸준히 완성을 향해

git에 대용량 파일 업로드하기 (git lfs) github에 파일을 올릴 때 100MB 이상 파일은 업로드할 수 없다!!! 이 사실을 몰랐던 나는 대용량의 CNN model을 올리려 했고, push 과정에서 에러를 마주했다ㅠㅠ commit 을 되돌리고 git lfs를 사용하는 과정에서 애를 많이 먹었기 때문에 다음부턴 업로드 전에 반드시 꼭! 파일 용량을 확인하겠노라 굳게 다짐했다... git lfs를 사용법 자체는 아주 간단하다. 1. git lfs 설치 $ git lfs install 2. 대용량 파일 추적 현재 폴더에 특정 확장자를 가진 모든 파일을 올리고 싶을 경우 아래와 같이 입력해 주면된다. - 업로드 하고 싶은 폴더로 꼭! 이동한 후 진행해야 한다. - (확장자) 부분에는 파일의 확장자를..

본격적으로 프로젝트를 시작하면서 생각지 못한 변수들을 마주하게 됐다. 그 중 하나가 직접 수집한 대용량의 이미지 데이터를 다루는 것이었다. 혼자 공부하면서 다루던 샘플 데이터들과는 차원이 다른 용량에 깜짝 놀랐다. 아직 1차 수집만 완료된 상태인데... 각설하고, 내가 저장하고 싶은 데이터는 (320, 180, 3) 픽셀값을 가진 이미지들이었다. 일단 해당 폴더에서 jpg 파일을 다 가져와서 flatten을 한 후 list에 저장하였다. 평소에 흔히 하던 대로 csv 파일로 저장을 하려는데, 웬걸 커널이 계속 돌아갔다. 오랜 시간을 기다린 끝에 csv를 마주하게 되었는데, 문제는 이 파일이 전혀 읽히지가 않는단 것이었다.... 메모리 에러가 자꾸 뜨길래 구글링을 해서 대책을 강구하기 시작했다. chunk..

dictionary가 여러개 담긴 list인 'all_db'를 json 파일 형식으로 변경하던 중 몇 가지 에러가 발생했다. 아래는 제일 먼저 내가 실했했던 코드이다. import json def write_to_json(dictionary_data): with open('db.json', 'w', encoding='UTF8') as file: json.dump(dictionary_data, file) write_to_json(all_db) TypeError: Object of type int64 is not JSON serializable 다음과 타입 에러가 떴고 인코딩이 잘못 됐음을 알아챘다. class NumpyEncoder(json.JSONEncoder): def default(self, obj)..

구글 코랩에서 딥러닝 모델을 돌리는 와중에 지속적으로 커널이 죽는 현상이 발생했다. 에러 메세지는 'Your session crashed after using all available RAM' 구글링 해보니 결국 메모리 문제였다. 구글 코랩에서 기본적으로 제공되는 램은 약 12GB이다. 때문에 복잡하고 방대한 신경망 모델을 돌리 경우에는 세션이 중단될 수 밖에 없는 것이다. 해결책은 두 가지. 1. 매월 구독료를 내고 구글 Pro 버전을 사용한다. 2. train 및 test 데이터 세트를 줄이거나 모델을 간소화시킨다. 유튜브 강의 교안으로 공부하기 위해 코랩을 사용 중이었는데, 강사님은 아마 Pro 버전이라 아무 문제가 없었던 것 같다. 사용 중이던 데이터는 imdb 10,000개 from tensor..

vscode 환경에서 코딩하고 있었는데 프로그램이 많아지고 복잡해지다 보니 터미널 셋팅과 출력에 여러 문제들이 생겨났다. 환경변수가 활성화도 안되고, 터미널에 코드가 출력이 안되고, 명령어들은 안 듣고, 라이브러리들은 안 깔리고... 등등 몇일간의 구글링을 통해 가능한 시도는 다 해본 것 같다. 환경변수 Path 값 확인도 다 해보고, 이것저것 찾아본 명령어도 많이 실행해 봤는데 다 실패를 했다. 이 과정에서 내린 결론은.... 윈도우 진짜 해도해도 너무 하다!!!!!!!!!!!!!!!!! 개발자들이 왜 Mac을 쓰는지 정말 너무나도 공감이 가는 몇 일이었다. VScode 터미널에는 powershell이 들어가 있었는데, 얘가 자꾸 상식을 벗어난 반응을 보였다. 내 운영체제, 내 상황에 딱 맞는 명령어 ..

▶ pip 설치 $ sudo easy_install pip ▶ pip 버전 확인 $ pip --version ▶ pip 업그레이드 $ pip install pip --upgrade ▶ 패키지 설치 $ pip install 패키지 ▶ 특정 버전 패키지 설치 $ pip install "패키지~=3.0.0 ▶ 설치된 패키지 확인 $ pip freeze ▶ 설치된 패키지 정보를 requirements.txt 파일로 출력 $ pip freeze > requirements.txt ▶ requirements.txt 파일에 있는 모든 패키지를 설치 $ pip install -r requirements.txt

venv 모듈은 파이썬 3.3 부터 내장되어 있는 가상 환경 구성 패키지이다. 별도 패키지 설치없이 파이썬만 설치되어 있으면 사용 가능하기 때문에 쉽고 간단하게 가상환경을 구축할 수 있다. ▶ 가상환경 생성 $ python -m venv .venv .venv 라는 이름으로 환경변수를 생성한다. 이름은 다양하게 지정할 수 있지만 관행적으로 .venv를 많이 쓴다. ▶ 가상환경 활성화 생성된 가상환경 안에서 작업을 하기 위해서는 활성화를 해주어야 한다. 1. 활성화 명령어 (window10) $ .venv\scripts\activate 가상환경이 활성화 되면 이렇게 파일 경로 앞에 가상환경 이름이 붙은 것을 볼 수 있다. 2. interpreter 선택 F1키 또는 "ctrl + shift + p"를 눌러 ..

가상환경이란 한 컴퓨터에서 여러 프로젝트를 작업할 때 파이썬 패키지의 의존성이 충돌하지 않도록 관리해주는 툴이다. 가상환경을 생성하면 환경변수 그룹이 만들어지고 그룹마다 지정된 경로에 패키지를 설치하고 사용할 수 있게 된다. 여러 프로젝트를 개발할 때 가상환경을 사용하면 패키지 버전 관리가 용이해진다. 기본적으로 아나콘다를 설치하게 되면 "base"라는 가상 환경이 자동적으로 생성되고 아나콘다에 접속할 때마다 해당 가상환경(base)으로 먼저 들어가게 된다. 하지만 각각 다른 가상환경에서 작업을 진행하기 위해서는 가상환경을 생성하고 제거하는 과정이 필요하다. ▶ anaconda promt 실행 후 최신 버전으로 업데이트 $ conda update conda ▶ 가상환경 만들기 $ conda create ..

새로운 강의를 들으려고 VScode를 켜고 막 파일을 만드는 중에 알 수 없는 에러와 맞닥들이게 되었다. 이렇게 한글 깨짐현상이 일어난 것이다. 안 이러던 애가 왜 이러는 건지 너무 당황했다. 검색을 해서 찾아낸 해결법을 하나하나 해보았다. ▶ 인코딩 변경 가장 많이 보이는 해결책은 인코딩을 바꾸라는 것이었다. 하단에 UTF-8 을 EUC-KR 로 변경해서 한국어를 읽을 수 있게끔 설정하는 방법이다. 그런데 UTF-8 자체가 이미 한국어를 지원하는 걸로 알고 있는데 바꾸면 더 복잡한 문제가 생기는 건 아닌지 걱정이 좀 되었다. 여태껏 한글을 포함한 모든 작업을 다 UTF-8로 해왔기 때문이다. 바꿈으로 인해서 또다른 에러가 발생했다. 일단 다시 UTF-8로 변경 후 다른 방법을 찾았다. ▶ setting..