조금씩 꾸준히 완성을 향해

git에 대용량 파일 업로드하기 (git lfs) github에 파일을 올릴 때 100MB 이상 파일은 업로드할 수 없다!!! 이 사실을 몰랐던 나는 대용량의 CNN model을 올리려 했고, push 과정에서 에러를 마주했다ㅠㅠ commit 을 되돌리고 git lfs를 사용하는 과정에서 애를 많이 먹었기 때문에 다음부턴 업로드 전에 반드시 꼭! 파일 용량을 확인하겠노라 굳게 다짐했다... git lfs를 사용법 자체는 아주 간단하다. 1. git lfs 설치 $ git lfs install 2. 대용량 파일 추적 현재 폴더에 특정 확장자를 가진 모든 파일을 올리고 싶을 경우 아래와 같이 입력해 주면된다. - 업로드 하고 싶은 폴더로 꼭! 이동한 후 진행해야 한다. - (확장자) 부분에는 파일의 확장자를..

이름이 지정된 색깔 목록 (List of named colors) 색 관련한 더 많은 정보는 아래를 참조 the Specifying colors tutorial; the matplotlib.colors API; the Color Demo. ▶ Base colors plot_colortable(mcolors.BASE_COLORS, ncols=3, sort_colors=False) ▶ Tableau Palette plot_colortable(mcolors.TABLEAU_COLORS, ncols=2, sort_colors=False) ▶ CSS Colors plot_colortable(mcolors.CSS4_COLORS) plt.show() ▶ XKCD Colors XKCD 색이 사용가능하지만, 그래프를 크게..

TensorFlow.js는 웹 브라우저와 Node.js에서 기계 학습 모델을 교육하고 배포하기 위한 JavaScript 라이브러리이다. 즉, python 환경에서 학습한 tensorflow keras 모델을 JavaScript로 내보내서 사용할 수 있게 만들어 준다. 이미지 분류 프로젝트를 위해 직접 짠 CNN 모델을 tensorflow.js로 변환해 보려고 한다. pip install tensorflowjs 먼저 tensorflowjs를 설치한 후 import 하는 과정에서 에러가 발생했다. WARNING:root:TensorFlow Decision Forests 1.1.0 is compatible with the following TensorFlow Versions: ['2.11.0']. Howeve..

본격적으로 프로젝트를 시작하면서 생각지 못한 변수들을 마주하게 됐다. 그 중 하나가 직접 수집한 대용량의 이미지 데이터를 다루는 것이었다. 혼자 공부하면서 다루던 샘플 데이터들과는 차원이 다른 용량에 깜짝 놀랐다. 아직 1차 수집만 완료된 상태인데... 각설하고, 내가 저장하고 싶은 데이터는 (320, 180, 3) 픽셀값을 가진 이미지들이었다. 일단 해당 폴더에서 jpg 파일을 다 가져와서 flatten을 한 후 list에 저장하였다. 평소에 흔히 하던 대로 csv 파일로 저장을 하려는데, 웬걸 커널이 계속 돌아갔다. 오랜 시간을 기다린 끝에 csv를 마주하게 되었는데, 문제는 이 파일이 전혀 읽히지가 않는단 것이었다.... 메모리 에러가 자꾸 뜨길래 구글링을 해서 대책을 강구하기 시작했다. chunk..

dictionary가 여러개 담긴 list인 'all_db'를 json 파일 형식으로 변경하던 중 몇 가지 에러가 발생했다. 아래는 제일 먼저 내가 실했했던 코드이다. import json def write_to_json(dictionary_data): with open('db.json', 'w', encoding='UTF8') as file: json.dump(dictionary_data, file) write_to_json(all_db) TypeError: Object of type int64 is not JSON serializable 다음과 타입 에러가 떴고 인코딩이 잘못 됐음을 알아챘다. class NumpyEncoder(json.JSONEncoder): def default(self, obj)..

기존에 해놨던 이미지 라벨링을 그대로 사용해서 Yolov5로 돌리려고 하니 문제가 발생했다. 욜로에서는 라벨링 파일이 txt 형식이어야 한다는 것! 그래서 구글링 하던 중 xml to txt를 수월하게 해 주는 오픈 소스를 발견했다. https://github.com/Isabek/XmlToTxt GitHub - isabek/XmlToTxt: ImageNet file xml format to Darknet text format ImageNet file xml format to Darknet text format. Contribute to isabek/XmlToTxt development by creating an account on GitHub. github.com ▶ 먼저 저장소를 클론해 온 후 필요한 ..

https://github.com/ultralytics/yolov5 GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 development by creating an account on GitHub. github.com 이 곳에서 yolov5를 다운받고 가상환경을 만든 후 필요한 package 들을 설치하려는데 에러가 발생했다 ▶ 에러가 난 command pip install -r requirements.txt ▶ 에러 메세지 UnicodeDecodeError: 'cp949' code..

문제 준규가 가지고 있는 동전은 총 N종류이고, 각각의 동전을 매우 많이 가지고 있다. 동전을 적절히 사용해서 그 가치의 합을 K로 만들려고 한다. 이때 필요한 동전 개수의 최솟값을 구하는 프로그램을 작성하시오. 입력 첫째 줄에 N과 K가 주어진다. (1 ≤ N ≤ 10, 1 ≤ K ≤ 100,000,000) 둘째 줄부터 N개의 줄에 동전의 가치 Ai가 오름차순으로 주어진다. (1 ≤ Ai ≤ 1,000,000, A1 = 1, i ≥ 2인 경우에 Ai는 Ai-1의 배수) 출력 첫째 줄에 K원을 만드는데 필요한 동전 개수의 최솟값을 출력한다. 예제 입력 1 10 4200 1 5 10 50 100 500 1000 5000 10000 50000 예제 출력 1 6 내가 짠 코드 num, price = map(i..

구글 코랩에서 딥러닝 모델을 돌리는 와중에 지속적으로 커널이 죽는 현상이 발생했다. 에러 메세지는 'Your session crashed after using all available RAM' 구글링 해보니 결국 메모리 문제였다. 구글 코랩에서 기본적으로 제공되는 램은 약 12GB이다. 때문에 복잡하고 방대한 신경망 모델을 돌리 경우에는 세션이 중단될 수 밖에 없는 것이다. 해결책은 두 가지. 1. 매월 구독료를 내고 구글 Pro 버전을 사용한다. 2. train 및 test 데이터 세트를 줄이거나 모델을 간소화시킨다. 유튜브 강의 교안으로 공부하기 위해 코랩을 사용 중이었는데, 강사님은 아마 Pro 버전이라 아무 문제가 없었던 것 같다. 사용 중이던 데이터는 imdb 10,000개 from tensor..