조금씩 꾸준히 완성을 향해

Ubuntu 백그라운드에서 프로그램 실행하기: Screen 사용법

all_sound — Tue, 12 Sep 2023 09:22:45 +0900

screen은 터미널 멀티플렉서 도구로, 프로세스를 백그라운드에서 실행하고 세션을 분리할 수 있는 유용한 도구입니다.

하나의 터미널 창에서 여러 프로세스를 실행시키고 싶을 때,

그리고 원격 서버에서 터미널 연결이 끊기더라도 작업을 지속하고 싶을 때 주로 사용됩니다.

screen 설치

먼저 아래 명령어로 screen을 설치합니다.

$ sudo apt-get install screen

screen 생성

새로운 screen 세션을 생성합니다.

$ screen -S screen_name

screen 목록 확인하기

현재 생성돼 있는 screen의 목록을 확인합니다.

$ screen -ls

screen 세션 접속

백그라운드 작업을 위해 세션에 접속(attach) 합니다.

$ screen -R screen_name

screen 세션 백그라운드 분리

screen 세션을 백그라운드로 분리하여 서버에 올려놓으려면 접속(Attached) 상태에서 아래 키를 차례대로 입력합니다.

Ctrl + A → D

screen 세션 삭제

screen 세션을 완전히 삭제하려면 아래 키를 차례대로 입력합니다.

Ctrl + A → K
종료할 것인지 묻는 프롬프트에 "y" 입력

screen 세션 접속 후 명령어 모음

screen 세션에 들어가서는 특정 명령을 주기 위해 모두 Ctrl + A 로 시작

# 키보드 사용방법 확인하기
ctrl+a ?

# screen에서 빠져나가기(종료되지 않음)
ctrl+a d

# screen 종료하면서 빠져나가기
ctrl+a k

# 세로로 화면 분할
ctrl+a |

# 가로로 화면 분할
ctrl+a S

# 분할된 화면 으로 넘어가기
ctrl+a Tab

# 새 세션 열기
ctrl+a c

# 스크롤 하기(아래 명령어 후 방향키 입력)
ctrl+a esc

# screen 종료하면서 빠져나가기
$ exit

CUDA error: device-side assert triggered 에러 해결 / Driver & CudaToolkit 버전 호환 문제

all_sound — Thu, 31 Aug 2023 11:25:22 +0900

Jupyter에서 잘 돌아가던 코드에 자꾸 이런 에러가 떠서 해결해 나섰다.

처음에 에러 메세지로 검색을 해보니 코드에서 Class Number가 불일치한 경우가 대부분이었다.

그래서 코드를 뜯어보고 또 뜯어보고 데이터 라벨까지 다 점검해 보았지만 전혀 문제가 없어 보여 멘붕에 빠졌는데....

혹시나 해서 동일 코드를 Colab에 옮겨 돌려보니 무사히 잘 돌아가는 게 아닌가!!!!!

아니 이건 Cuda 관련 프로그램들의 버전 불일치일 수 밖에 없다고 판단해서 확인해 보았다.

먼저 Cuda의 버전을 확인해 본다.

$ nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0

11.5라고 떠있는데

$ nvidia-smi

nvidia 드라이버 정보를 확인해 보니,,,, driver 535 / Cuda 12.1

그렇다 드라이버를 이상한 걸 깔아놓은 것이다.

$ python --version

파이썬 버전도 확인해 보니 호환이 안되는 3. 9버전이었다.

Python 3.9.13

해결책

새로운 가상환경에 드라이버 설치부터 Cuda Toolkit설치, Python, Torch 버전 조정까지 다시 진행

=> 깨끗히 문제 해결!!

버전 확인 및 설치 방법은 아래 포스팅 참고요망

https://allsound.tistory.com/207

[2023 최신] Ubuntu 환경에서 nvidia-driver, cuda, cudnn 설치 방법 (Ubuntu 22.04)

서버알못인 제가 어쩌다 연구실의 서버를 세팅하게 되었습니다...!!!! 여러 블로그들을 찾아보고, chatGPT에게도 물어 가며 하루 종일 삽질한 결과를 기록하겠습니다 ^^ 부디 누군가에게는 도움이

allsound.tistory.com

Window에서 Linux(Ubuntu) GUI 원격 데스크톱 프로토콜(RDP) 세팅 - Xrdp 설치

all_sound — Mon, 21 Aug 2023 13:59:30 +0900

Windows 환경에서 Linux의 GUI를 직접적으로 사용하기 위해서는 원격 데스크톱 접속을 해야 합니다. xrdp는 이를 가능하게 해주는 툴로, Windows에서 Linux(Ubuntu)의 GUI 환경으로 원활하게 연결할 수 있게 도와줍니다. 이 글에서는 xrdp를 실처하고 원격 접속을 하는 과정을 다룹니다.

1. Ubuntu에 Xrdp 설치

먼저 터미널을 열고 xrdp를 설치합니다.

$ sudo apt install xrdp

Xrdp 서비스가 실행되고 있는지 확인합니다. (참고로, Xrdp 서비스는 설치 시 자동으로 시작됩니다)

$ sudo systemctl status xrdp

xrdp 데몬이 활성화되어 실행 중이라면 위와 같은 화면이 뜹니다.

2. Ubuntu에서 Xrdp 구성

Xrdp를 설치한 후, SSL 인증서 키인 ssl-cert-snakeoil.key 가 /etc/ssl/private/ 폴더에 생성됩니다. 이 키 파일에 접근하기 위해서는 xrdp 사용자를 ssl-cert 그룹에 추가해 주어야 합니다.

$ sudo adduser xrdp ssl-cert

그리고 필요하다면 방화벽을 해제해 주어야 합니다.

접근하고 있는 ip 주소를 넣어 아래 명령어를 실행합니다. (참고로 xrdp는 보통 3398 port를 사용합니다.)

$ sudo ufw allow from ip주소 to any port 3389

그 후, 방화벽 설정이 잘 되었는지 확인합니다.

$ sudo ufw reload
$ sudo ufw status

3. RDP 클라이언트로 원격 Ubuntu 데스크톱에 액세스

이제 Windows의 원격 데스크톱 클라이언트를 통해 Ubuntu 데스크톱 시스템에 접속합니다. 하지만 접속하기 전에 Ubuntu에서 반드시 로그아웃을 해야 합니다. Xrdp가 동시에 하나의 Xsession만을 지원하기 때문입니다.

로그아웃을 완료했다면, 원격 데스크톱 클라이언트를 실행하고 원격 시스템의 IP 주소를 입력합니다. 그 후 '연결' 버튼을 클릭하여 접속을 진행합니다.

원격 시스템의 ID를 확인하라는 팝업에서 인증서 오류를 무시하고 '다음' 버튼을 클릭합니다.

Xrdp 로그인 페이지가 나오면 로그인 정보를 입력하고 '확인'을 누르면 아래와 같이 연결이 완료됩니다.

※ 블랙 화면 문제 해결 방법

Ubuntu 바탕 화면 배경 대신 검정색 화면이 나타나는 경우 아래의 해결법들을 시도해 볼 수 있습니다.

1. startwm.sh 스크립트 수정을 통한 문제 해결

$ sudo vim /etc/xrdp/startwm.sh

스크립트 내에서 Xsession을 테스트하고 실행하는 부분을 찾아, 그 앞에 다음 두 줄을 추가합니다:

unset DBUS_SESSION_BUS_ADDRESS
unset XDG_RUNTIME_DIR

추가한 후, 파일을 저장하고 종료합니다. 마지막으로 Xrdp 서비스를 재시작한 후, 연결을 시도합니다.

$ sudo systemctl restart xrdp

2. Xorg와의 호환성 문제 확인

홈 디렉터리의 .xsession 파일 내용과 DE(Desktop Environment) 설정을 확인합니다. GNOME 사용 시

$ echo "gnome-session --session=ubuntu" > ~/.xsession

명령으로 .xsession 파일을 수정한 후, xrdp 세션을 재시작 합니다.

3. Xauthority 파일 권한 학인

.Xauthority 파일 권한 문제로 xrdp 접속에 이슈가 발생할 수 있기 때문에 파일의 소유자를 수정합니다.

$ sudo chown $USER:$USER ~/.Xauthority

4. Xrdp 와 Xrogcrdp 패키지 재설치

Xrdp 패키지를 삭제 후 재설치해 봅니다.

$ sudo apt-get --purge remove xrdp
$ sudo apt-get install xrdp

5. 로그와 오류메세지 확인

위의 방법으로 해결되지 않는 경우, 로그와 오류메세지를 직접 확인해 보고 그에 맞는 해결방법을 찾아보아야 합니다.

로그와 오류 메시지 확인

$ cat /var/log/xrdp.log

로그 파일의 마지막 부분만 확인 (특히 최근의 로그 또는 오류를 빠르게 확인할 때 유용)

$ tail /var/log/xrdp.log

저도 설치하면서 블랙 스크린 문제 때문에 힘든 과정을 겪었습니다ㅠㅠ 연결 후에는 또 브라우저가 켜지지 않아 무한 구글링을 했네요...

이 포스팅을 보는 분들은 문제없이 빠르게 성공하시길!!!!

Ubuntu 서버 외부 IP 연결 끊김(UFW BLOCK) - 방화벽 설정 및 해제

all_sound — Tue, 8 Aug 2023 23:50:22 +0900

여태껏 잘 되던 연구실 서버와의 연결이 갑자기 끊겨 버렸습니다...

연구실 IP 뿐만이 아니라 다른 모든 IP에서 접속이 불가했습니다.
연결돼 있던 KOREN 망 문제가 아님을 확인했고, WIFI 역시 잘 작동되는 상태였습니다.
어쩔 수 없이 서버실에 찾아가는 수 밖에..... (서버실이란 곳을 3일 전에 생전 처음 가봤지만 저밖에 해결할 사람이 없습니다....)

모니터에 직접 연결해 보니 네트워크 통신도 멀쩡했고, 서버 자체의 이상도 없어 보였습니다.

가장 의심스러운 방화벽 설정을 먼저 확인해 봅니다.

$ sudo ufw status numbered

모든 IP에서 접근이 가능하게 설정이 돼 있는 것으로 보입니다.

다음으로 방화벽 로그를 확인해 봅니다.

$ sudo tail -f /var/log/ufw.log

[UFW BLOCK] 이라는 메세지와 함께 끈질긴 접속 시도가 모두 차단된 것으로 확인되었습니다.

그래서 방화벽 해제가 필요한 IP들을 직접 추가해 주었습니다.

$ sudo ufw allow in from [ip]

변경된 방화벽 설정을 적용하기 위해 방화벽을 활성화합니다.

$ sudo ufw enable

다시 방화벽 설정 상태를 확인해 보니 무사히 추가가 되었습니다.

참고로 특정 ip에 대한 방화벽 차단 명령어는 아래와 같습니다.

$ sudo ufw deny from [ip]

아무튼 이렇게 IP를 추가하고 연구실에 전화해 접속해 보라고 하니 접속 된다는 소식을 들었습니다....

문제 해결!!!!! 서버실 탈출!!!

그런데 왜 출발지가 Anywhere인데 외부 IP에서 접속이 되지 않았는지 아직도 의문이긴 합니다.

웃긴 것은 같은 IP들에서 여태껏 접속이 아주 잘 되었다는 사실입니다.

네트워크 망이 변경된 것도 아니고, 서버 설정이 변경된 것도 아닌데 무엇이 이런 변화를 초래하였는지

혹시 아시는 분이 있다면 알려주십시오...(꾸벅)

[2023 최신] Ubuntu 환경에서 nvidia-driver, cuda, cudnn 설치 방법 (Ubuntu 22.04)

all_sound — Fri, 4 Aug 2023 16:28:26 +0900

서버알못인 제가 어쩌다 연구실의 서버를 세팅하게 되었습니다...!!!!

여러 블로그들을 찾아보고, chatGPT에게도 물어 가며 하루 종일 삽질한 결과를 기록하겠습니다 ^^

부디 누군가에게는 도움이 될 수 있길 (미래의 나도 포함해서...ㅎ)

1. Ubuntu 환경 파악

먼저 서버에 로그인을 하면 이런 종류의 인사말이 뜹니다.

Welcome to Ubuntu 22.04.2 LTS (GNU/Linux 5.19.0-50-generic x86_64)

요 버전을 잘 기록해 놓아야 이후 설치 과정이 매끄러워 집니다.

2. 기존의 nvidia-driver, Cuda Toolkit 삭제

기존에 설치한 이력이 있다면 다 지워주고 다시 시작해야 합니다. 혹시 모르니 무조건 한 번 씩 실행하고 넘어갑시다!

$ sudo apt-get remove --purge nvidia-*
$ sudo apt-get autoremove
$ sudo apt-get update

3. Nvidia driver 설치

다음으로 시스템에 설치된 CUDA 컴파일러의 버전 확인합니다.

$ nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0

cuda 11.5 버전이라는 것을 알 수 있습니다.

그렇다면 이 cuda 버전에 맞는 driver 버전은 무엇인지 확인하러 갑니다.

https://docs.nvidia.com/deploy/cuda-compatibility/index.html

CUDA Compatibility :: NVIDIA Data Center GPU Driver Documentation

The NVIDIA® CUDA® Toolkit enables developers to build NVIDIA GPU accelerated compute applications for desktop computers, enterprise, and data centers to hyperscalers. It consists of the CUDA compiler toolchain including the CUDA runtime (cudart) and vari

docs.nvidia.com

이 사이트를 참고하여 호환 가능한 driver 버전을 설치해야 합니다.

확인을 했다면 서버에 어떤 버전의 driver를 설치할 수 있는지 확인해 봅니다.

$ ubuntu-drivers devices

이렇게 쭉 뜨는데서 저에게 필요한 450-server 버전을 선택했습니다.

$ sudo apt-get install nvidia-driver-450-server

그리고 나서, NVIDIA kernel module의 load를 도와주는 modprobe 패키지를 설치하고, 업데이트 후 재부팅 해줍니다.

$ sudo apt-get install dkms nvidia-modprobe
$ sudo apt-get update
$ sudo apt-get upgrade
$ sudo reboot

재부팅 완료 후. 아래 명령어를 치면 nvidia driver 정보가 나옵니다.

$ nvidia-smi

여기서 꼭 확인해야 할 정보는 맨 윗줄입니다.

NVIDIA-SMI 450.248.02

Driver Version: 450.248.02

CUDA Version: 11.0

450.248.02 버전의 드라이브가 설치되었고, 그에 잘맞는 CUDA Toolkit의 버전은 11.0라는 의미입니다.

즉, 11.0의 CUDA Toolkit을 설치해야 하는게 가장 좋다고 알려주고 있습니다.

4. CUDA Toolkit 설치

CUDA Toolkit은 GPU 컴퓨팅을 위한 라이브러리, 컴파일러, 도구 등의 패키지를 제공하며, CUDA 프로그램을 개발하고 실행하는 데 필요한 환경을 구성합니다.

https://developer.nvidia.com/cuda-toolkit-archive

CUDA Toolkit Archive

Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production

developer.nvidia.com

위의 웹사이트로 들어가서 설치를 하면 되는데, !!!최대한!!! driver 버전과 맞는 걸 다운받아야 합니다.

그러나 저의 경우 CUDA는 11.5, 또 Utuntu 버전은 22.04이기 때문에 설치가 가능한 가장 가까운 버전을 선택했습니다.

빨간 박스 쳐진 11.7 버전을 클릭하고, 조건을 선택합니다.

나타나는 명령어 두 줄을 차례대로 입력하면 설치가 됩니다.

이런 게 뜨면 continue로 가서 enter를 누르고,

이런 게 뜨면 accept라고 입력하고 enter를 눌러줍니다.

그리고 여기서 주의할 점!!!! 맨 위에 Driver는 체크를 해제해야 합니다!!!! (해체는 enter 키)

(체크 놔두고 설치하면 무한 에러 뜸)

무사히 install을 선택해 주면 이렇게 완료 메세지가 뜹니다.

※ 참고로 이 부분에서 gcc 관련 에러가 뜰 수도 있습니다. gcc를 설치하거나, 버전을 맞추는 방식으로 에러를 해결해 나가시면 됩니다.

CUDA Toolkit 관련 설정을 환경 변수에 추가해 줍니다. (PATH는 당연히 본인이 설치한 cuda 버전으로 변경해 주셔야 합니다!)

$ sudo sh -c "echo 'export PATH=$PATH:/usr/local/cuda-11.7/bin'>> /etc/profile"
$ sudo sh -c "echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.7/lib64'>> /etc/profile"
$ sudo sh -c "echo 'export CUDADIR=/usr/local/cuda-11.7'>> /etc/profile"
$ source /etc/profile

4. cuDNN 설치

cuDNN은 NVIDIA가 개발한 Deep Neural Network 전용 GPU 가속 라이브러리입니다. 딥러닝 프레임워크들이 빠르고 효율적으로 학습하고 추론하도록 도와줍니다.

아래 cuDNN 사이트로 이동하면 버전에 맞는 cuDNN을 다운로드 받을 수 있습니다.

https://developer.nvidia.com/cudnn

CUDA Deep Neural Network

cuDNN provides researchers and developers with high-performance GPU acceleration.

developer.nvidia.com

참고로 아이디가 없다면 가입하고 로그인을 해야 합니다.

버전에 맞게 압출파일을 다운로드 해 줍니다.

그리고 아래 명령어로 압축을 풀고, 파일을 /usr/local/cuda 디렉토리로 복사해 줍니다. (파일은 당연히 본인이 설치한 파일명으로 변경해 주셔야 합니다!)

$ tar xvf cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz
$ cd cudnn-linux-x86_64-8.9.4.25_cuda11-archive
$ sudo cp include/cudnn* /usr/local/cuda/include
$ sudo cp lib/libcudnn* /usr/local/cuda/lib64
$ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

※ 참고로 저 같은 경우, 원격 서버에 접속 중이기 때문에 filezilla를 사용해 서버에 파일을 옮겨주었습니다.

cuda 디렉토리와 실제 설치된 cuda-11.7 디렉토리를 심볼릭 링크 설정해 줍니다. (마찬가지로 본인이 설치한 드라이버, 파일을 참고하여 변경해 주세요!)

$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_adv_train.so.8.9.4 /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_adv_train.so.8
$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8.9.4  /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8
$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8.9.4  /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8
$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8.9.4  /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8
$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_ops_train.so.8.9.4  /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_ops_train.so.8
$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8.9.4 /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8
$ sudo ln -sf /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn.so.8.2.1 /usr/local/cuda-11.7/targets/x86_64-linux/lib/libcudnn.so.8

그리고 새로 추가된 라이브러리를 시스템에서 찾을 수 있도록 합니다.

$ sudo ldconfig

마지막으로 설정이 제대로 되었는지 확인하기 위해 아래 명령어를 시행합니다.

$ ldconfig -N -v $(sed 's/:/ /' <<< $LD_LIBRARY_PATH) 2>/dev/null | grep libcudnn

CUDA 관련된 설치는 이렇게 하면 완료가 됩니다.

이후에 가상환경 설치, 여러 라이브러리들 설치 등의 과정을 진행하면 됩니다.

정말 힘겨웠지만 꼭 해야하는 것이었기에,,, 집념의 힘을 발휘해 보았습니다.

뒤에 세팅이 더 남았지만 어쨌거나 여기까진 하루만에 성공했다는 게 정말 감격.......

연학학습 수행가능한 환경이 완성되는 날까지... 화이팅!!!!

드디어 백준 골드 진입!!!!

all_sound — Sun, 16 Jul 2023 16:54:46 +0900

실버에서 골드로 진입하는 데 정말 오랜 시간이 걸렸다ㅠㅠ 그 이유는 그간 문제를 전혀 안 풀었기 때문이다...

8개월 전 처음 Python을 시작했을 때 2어달 동안 기초 문제들을 약간 건드렸는데, 그 이후 부트캠프 진도 + 프로젝트로 도저히 코테에 시간을 할애할 수 없었다(는 변명.....)

어쨌거나 이번에 다시 심기일전 해서 백준을 풀기 시작한지 3주 정도 되어가는 것 같다.

이쯤되니 쉬운 문제는 거의 다 풀어버려서 한 문제 한 문제 시간이 정말 많이 걸린다. 꾸역꾸역 아이디어를 생각해 내려고 하니 뇌에 쥐가 난다.. 그냥 패턴을 통째로 외워버리는 식으로 접근해야 할 것 같다!!

최근에 다시 또 바빠져 버려서 언제까지 이 텐션을 유지할 수 있을지는 모르겠다ㅠㅠ

사실 당장 코테를 보는 입장이 아니라서 자꾸 2순위로 미뤄버리는 듯...

감각 읽지 않기 위해 조금씩이라도 꾸준히 풀어보자 제발~~~~

[Algorithm] 백준 20920 영단어 암기는 괴로워 with Python

all_sound — Sun, 16 Jul 2023 16:14:09 +0900

문제

화은이는 이번 영어 시험에서 틀린 문제를 바탕으로 영어 단어 암기를 하려고 한다. 그 과정에서 효율적으로 영어 단어를 외우기 위해 영어 단어장을 만들려 하고 있다. 화은이가 만들고자 하는 단어장의 단어 순서는 다음과 같은 우선순위를 차례로 적용하여 만들어진다.

자주 나오는 단어일수록 앞에 배치한다.
해당 단어의 길이가 길수록 앞에 배치한다.
알파벳 사전 순으로 앞에 있는 단어일수록 앞에 배치한다

M보다 짧은 길이의 단어의 경우 읽는 것만으로도 외울 수 있기 때문에 길이가 이상인 단어들만 외운다고 한다. 화은이가 괴로운 영단어 암기를 효율적으로 할 수 있도록 단어장을 만들어 주자.

입력

첫째 줄에는 영어 지문에 나오는 단어의 개수 과 외울 단어의 길이 기준이 되는 이 공백으로 구분되어 주어진다. (1≤N≤100000,1≤M≤10)

둘째 줄부터 번째 줄까지 외울 단어를 입력받는다. 이때의 입력은 알파벳 소문자로만 주어지며 단어의 길이는 10의 10승을 넘지 않는다.

단어장에 단어가 반드시 1개 이상 존재하는 입력만 주어진다.

출력

화은이의 단어장에 들어 있는 단어를 단어장의 앞에 위치한 단어부터 한 줄에 한 단어씩 순서대로 출력한다.

예제 입력

7 4
apple
ant
sand
apple
append
sand
sand

예제 출력

sand
apple
append

예제 입력

12 5
appearance
append
attendance
swim
swift
swift
swift
mouse
wallet
mouse
ice
age

예제 출력

swift
mouse
appearance
attendance
append
wallet

문제 자체는 간단해서 쉽게 구현 가능할 줄 알았는데, 생각보다 훨씬 복잡한 정렬 알고리즘을 짜야했다.

단순하게 생각했던 sorting 함수에 대해 더 깊게 이해할 수 있었던 참 좋은 문제라고 할 수 있겠다.

구체적으로는

1) lambda 함수를 사용해 sorting의 key 조건 지정하기, 2) dictionary의 정렬 방법

등을 다시금 이해할 수 있었다.

문제에서 요구하는 조건은 3가지이다.

sorted_words = sorted(set(words), key=lambda x: (-cnt_dict[x], -len(x), x))

자주 나오는 단어일수록 앞에 배치 : 단어의 빈도수를 value로 가지는 dictionary 생성 후 lambda 함수에 적용
해당 단어의 길이가 길수록 앞에 배치 : len()를 취해 lambda 함수에 적용
알파벳 사전 순으로 앞에 있는 단어일수록 앞에 배치 : 그냥 x로 넣을 경우 자동으로 알파벳 사전 순 정렬

전체 코드는 아래와 같다.

import sys
input = sys.stdin.readline
n, m = map(int, input().split())

# 특정 길이 이상의 문자열만 저장
words = []
for _ in range(n):
  temp = input().rstrip()
  if len(temp) >= m:
    words.append(temp)

# 빈도수 내림차순으로 정렬하기 위한 기준 만들기
cnt_dict = {}
for word in words:
    if word in cnt_dict:
        cnt_dict[word] += 1
    else:
        cnt_dict[word] = 1
        
# 총 3가지 조건으로 단어 list 정렬하기
sorted_words = sorted(set(words), key=lambda x: (-cnt_dict[x], -len(x), x))

for word in sorted_words:
  print(word)

https://www.acmicpc.net/problem/20920

20920번: 영단어 암기는 괴로워

첫째 줄에는 영어 지문에 나오는 단어의 개수 $N$과 외울 단어의 길이 기준이 되는 $M$이 공백으로 구분되어 주어진다. ($1 \leq N \leq 100\,000$, $1 \leq M \leq 10$) 둘째 줄부터 $N+1$번째 줄까지 외울 단

www.acmicpc.net

[논문 리뷰] Federated Learning(연합 학습) /Communication-Efficient Learning of Deep Networks from Decentralized Data

all_sound — Thu, 6 Jul 2023 19:59:20 +0900

2016년에 Federated Learning(연합 학습) 개념을 가장 처음 소개한 Google의 논문을 리뷰해 보려고 한다.

Communication-Efficient Learning of Deep Networks from Decentralized Data

저자 - H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, Blaise Agüera y Arcas

https://arxiv.org/abs/1602.05629v4

Communication-Efficient Learning of Deep Networks from Decentralized Data

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automa

arxiv.org

Problem

많은 사람들이 휴대폰, 태블릿 등을 컴퓨팅 디바이스로 사용하고 있다. 이러한 기기에는 강력한 센서(카메라, 마이크, GPS 등)가 탑재돼 있고, 휴대성과 사용성이 높기 때문에 대량의 데이터에 접근이 가능하다.

그러나, 데이터의 민감성 + 거대한 용량 문제들 때문에 중앙 집중식 서버에 데이터를 저장하는데 위험과 책임이 따른다.

Solution

연합학습(Federated Learning)이라는 알고리즘을 통해 이 문제를 해결할 수 있다.

각 클라이언트는 서버에 업로드 되지 않은 로컬 학습 데이터 세트를 가지고 있다. 서버에서 글로벌 모델을 각 클라이언트로 보내면, 클라이언트는 모델에 대한 가중치를 업데이트한 뒤 이를 다시 서버로 전송한다. 서버는 클라이언트들에게 받은 가중치들을 통해 최종적으로 글로벌 모델을 업데이트한다.

이러한 방법을 통해 학습 데이터에 대한 직접 액세스를 하지 않고도 모델 학습을 수행할 수 있다. 따라서 정보 보호 및 보안 위험을 크게 줄일 수 있고, 데이터의 저장 문제도 해결 가능하다.

Yu, B. ,  Mao, W. ,  Lv, Y. ,  Zhang, C. , &  Xie, Y.  ( 2022 ).  A survey on federated learning in data mining .

Federated Optimization(연합 최적화) 주요 특성

Non-IID : 데이터는 독립항등 분포가 아니다. 특정 사용자의 local dataset을 사용하기 때문에 모집단의 분포를 대표하지 않는다.
Unbalanced : 사용자마다 디바이스 사용량이 다르므로 local training data가 불균형하게 구성되어 있다.
Massively distributed : 최적화에 참여하는 클라이언트 수가 방대할 것으로 예상된다. (최대 10의 10승)
Limited communication : 디바이스와의 커뮤니케이션의 제한적이다. 오프라인 상태, 인터넷 연결 문제 등 다양한 원인이 존재한다.

Algorithm

Original

전형적인 머신러닝의 학습 방법은 loss function ${f}_i\left(w\right)=l{\left({{x}_i}\ ,{{y}_i}\ ;\ w\right)}$ 을 최소화하는 방향으로 나아간다.

Fedarated Learning

연합 학습에서는 각각 로컬 클라이언트의 loss가 먼저 구해진다. 그 후, 서버에서 이들을 종합한 loss를 계산하고 이를 최소화하는 방향으로 모델을 업데이트한다.

만약 데이터 분포가 IID라고 가정한다면, ${{{E}_{{P}_k}\left[{F}_k\left(w\right)\right]\ =\ f\left(w\right)}}$ 이 처럼 클라이언트들의 기댓값이 손실 함수와 같아진다.

그런데 본 상황과 같은 Non-IID 상태에서는 클라이언트 당 데이터 분포가 일정하지 않기 때문에 이를 적용할 수 없다. 따라서 위의 식과 같이 서버에서 loss를 구할 때 클라이언트 별로 가중치를 달리 부여하는 형태를 취하는 것이다.

K : 클라이언트들의 개수. (ex. 연합 학습에 참여하는 디바이스의 개수)

$P_k$ : 클라이언트 k의 인덱스들의 집합 (ex. 한 디바이스의 데이터들의 집합)

$N_k$ = ${\left|{P_k}\right|}$ ( $P_k$ 집합의 크기, 즉 $P_k$ 데이터의 개수)

FederatedAveraging Algorithm (연합 평균 알고리즘)

구체적으로 FederatedAveraging 알고리즘을 살펴보자.

C : 각 라운드에서 계산을 수행하는 클라이언트 비율. (C=1 이면 full-batch = non-stochastic, C=0.5 이면 절반의 디바이스만 골라 학습에 참여)

E : 각 라운드에서 각 클라이언트가 로컬 데이터셋에 대해 수행하는 패스 수 (local epoch)

B : 로컬 미니 배치 크기.( B=$\infty $ 이면 full local dataset)

최초로 서버에서 모델의 웨이트 $w_0$를 클라이언트들에게 전송한다. 그리고 업데이트를 진행시킬 클라이언트 데이터를 선별하게 된다. 그 부분이 $Max(C*K, 1)$ 이다. K개의 클라이언트들 중 랜덤으로 C만큼의 비율을 뽑는데, 적어도 하나의 클라이언트는 참여시키게 된다. $S_t$는 선별된 클라이언트들의 집합이다.

그 후 각각의 클라이언트들에서는 병렬적으로 weight update를 진행하게 된다.

클라이언트는 지정된 배치 사이즈, epoch, learning rate를 적용해서 SGD를 수행하여 weight를 업데이트하고, 이 weight들은 다시 서버로 보내지게 된다. 서버에서는 이를 종합해서 최종 weight update를 진행한다.

이 하나의 과정이 여러 round를 걸쳐서 반복된다고 보면 된다.

FederatedSGD

논문에서 FederatedAveraging 말고 FederatedSGD 도 소개가 되는데, 이는 동일한 알고리즘에서 B=$\infty $ 이고 E=1인 케이스를 일컫는다. 즉, 로컬 클라이언트 업데이트 과정에서 full batch로 모든 데이터를 딱 한 번만 업데이트해서 서버로 보낸다는 의미이다.

FedAvg Algorithm의 효율성 검증

MNIST 데이터셋을 사용하여 두 개의 모델을 averging 한 결과를 나타낸 그래프이다. 왼쪽은 초기 weight를 각각 랜덤으로 설정한 케이스인데 averaging 했을 때 loss가 증가하는 것을 볼 수 있다. 반면, 오늘쪽과 같이 동일한 weight에서 출발을 한 경우에는 averaging 했을 때 loss가 최저로 떨어지는 것을 볼 수 있다. 이로써 서버 모델의 동일한 weight를 기반으로 한 연합 평균 알고리즘의 효율성이 입증된다고 볼 수 있다.

실험 결과

본 논문에서는 크게 3가지 데이터를 가지고 수행한 다양한 실험 결과들을 보여준다.

1) MNIST 숫자 인식 Dataset

- 2NN 모델 / CNN 모델 (구체적인 모델 구성은 논문 참조)

- IID / Non-IID 상황 분리 (구체적인 IID / Non-IID 셋팅 방법은 논문 참조)

2) The Complete Works of William Shakespeare Dataset

- 각 연극의 대사가 있는 역할마다 클라이언트 데이터셋 구성 -> 1146개의 클라이언트

- stacked character-level LSTM language model : 각 라인의 문자를 읽은 후 다음 문자를 예측하는 모델 생성

3) Cifar-10 이미지 분류 Dataset

아래 부터는 논문에 수록된 다양한 실험 결과들을 소개한다.

MMIST 데이터 사용. 2NN 모델 97% 정확도, CNN 모델 99% 정확도를 달성한 조건에서의 communication round 측정.

즉, 특정 정확도를 달성하는 데 서버와 클라이언트 간 모델 전송을 얼마나 많이 해야하는지를 나타낸다. 빨간 박스들이 최소 communication 비용을 달성했다고 볼 수 있다.

MMIST 데이터 사용. FedSGD와 FedAVG를 비교해서 학습한 결과를 보여 준다. FedAVG 중에서도 빨간 박스 조건에서 최소 communication 비용을 달성했다.

상위 두 그래프는 MNIST CNN 모델, 하위 두 그래프는 Shakespeare LSTM 모델 사용. Local Batch Size와 Local Epoch의 변화에 따른 정확도 추이를 보여주는 그래프들이다.

모델을 로컬 epoch 수 별로 학습시켜 성능을 비교한 결과이다. Shakespeare LSTM 모델 사용. B=10, C=0.1로 고정

단일 모델에서 SGD를 한 경우 vs Fedarated Learning을 한 경우, 최대 정확도에 도달하기 위한 round를 비교한 결과이다. 최종적으로 FedAVG의 성능이 가능 높았다고 한다. Cifar 10 데이터 사용. C=1, FedAvg에서는 E=5, B=50 사용

FedSGD, FedAvg 두 알고리즘에 Learning Rate 변화를 적용해 학습한 결과들이다.

그 밖에 부록에 더욱 다양한 실험 결과 그래프와 설명들이 존재하니, 관심 있으신 분들을 가서 참고하시길..!!!

관련 논문을 처음 읽어 보지만 앞으로 연합 학습에 대한 연구가 정말 활발해 질 것 같은 느낌이 든다. 데이터는 정말 방대한데 그걸 종합적으로 모으고 정제하고 저장하고 관리하는 일은 결코 쉬운 게 아니라고 생각한다. 연합 학습을 통해 로컬에서 각각 모델 업데이트를 할 수 있다면 정말 쉽고 빠르게 거대 모델을 생성할 수 있을 것 같다.

그리고 이런 중요한 Task를 이렇게 간단한 알고리즘으로 수행이 가능하다는 사실도 참 놀라웠다. '여러 가중치들을 모아 weighted sum 한다' 라는 것이 핵심 아이디어의 전부라고 해도 과언이 아니다. 이 아이디어를 실제로 구현하고, 수많은 실험을 수행해서 증명해 냈다는 것이 더 대단한 일이긴 하지만.

ChatGPT 같은 거대 모델을 업데이트 할 때도 이 연합 학습을 적용시켜 볼 수 있을 것 같기도 하다. 조만간 디바이스들에도유사한 알고리즘이 적용될 수도 있을 거라 생각한다.

아무튼 재밌고 유익한 논문이었다. 끝!!

SQLD 비전공자 3일 벼락치기 합격 후기 (+공부 방법)

all_sound — Sat, 1 Jul 2023 10:33:35 +0900

23년 6월 10일에 응시한 SQLD 시험 결과가 나왔다!!!!

결과는 70점으로 합격!!

자꾸 벼락치기 후기를 올리는 게 바람직하지는 않지만 이번 자격증 시험은 정말 우여곡절이 많았다...

그 이유는 시험 일주일 전에 코로나에 걸렸기 때문이다....ㅠㅠ

고향인 대구에 있던 상태였기 때문에 다행히 엄마의 간호 찬스를 획득할 수 있었는데,,

문제는 시험을 서울에 신청을 해 놓았다는 사실!

자가격리를 끝내자 마자 기차타고 올라와서 시험보는 스케쥴이 참 힘들 것 같아 시험장 변경을 시도했으나 실패!

아파서 공부도 제대로 못 할 거 같아 그냥 취소하자고 맘 먹었는데 시험 몇일 전에는 환불마저 안 된다길래;;

5만원이 아까워 꾸역꾸역 시험을 치러 갔던 것이다!!!!

그래서 순 공부시간이 3일밖에 되지 않는다.....

사실 정보처리기사를 공부하며 DB에 대한 기본적인 이해는 있었기 때문에 가능했던 것 같다. (정말 가물가물하긴 하지만)

SQL 자체를 아예 처음 보는 노베이스 비전공자라면 솔직히 3일은 힘들 것 같긴 하다.

공부 방법

공부 방법은 남들 다 하는대로 노랭이 문제를 풀었다.

SQLD의 시험범위는 책의 전범위가 아니다! 울면서 끝까지 공부하는 불상사는 일어나지 않게 주의하자!

1. 데이터 모델링의 이해

- 데이터 모델링의 이해

- 데이터 모델과 성능

2. SQL 기본 및 활용

- SQL 기본

- SQL 활용

- SQL 최적화 기본 원리

공식적인 시험범위는 이렇게 명시돼 있는데 '최적화 기본 원리' 파트는 최근 출제를 하지 않는다는 소문을 듣고 과감하게 빼고 봤다. 역시나 1문제도 출제되지 않았으니, 시간이 없는 분은 제외하고 봐도 충분히 합격 가능!

> 1일차

- 문제 1회독 시도 (70% 정도 성공)

생각보다 노랭이 문제들은 어려웠다. 기본 select 문 아는 정도의 수준에서 복잡한 join 문, 계층형 쿼리, 순위함수 등을 처음 보니 도통 무슨 말인지 이해할 수 없었다.

일단은 데이터 전문가 포럼 카페에 가입해 재능기부로 올라온 이론 요약본을 다운받았다. (감사합니다 꾸벅)

그리고 문제풀이 강의를 보기 시작했다.

유튜브에 검색을 하면 몇몇 강의가 나올 텐데, 여자 강사님 2분의 강의 같은 경우 초보자가 듣기에는 설명을 생략하는 부분이 많아 쉽지 않았다.

https://youtu.be/_dx3fPb766E

다 들어본 결과, 이 분의 설명히 가장 구체적이고 친절하니 참고하시길!

그리고 강의를 들어도 무슨 말인지 이해가 안되는 부분이 많이 생길 것이다. 그럴 땐 3가지 방법이 있다.

1. 다운받은 이론 요약집을 보고 해당되는 내용들을 읽어본다

2. 구글링&유튜브 검색 해서 간단히 개념을 확인한다

3. 시험 때까지 이해할 수 있는 내용이 아니라는 판단이 들면 과감하게 그냥 넘어간다

앞서 언급했듯이 노랭이에는 생각보다 복잡한 문제들이 많다. 나 또한 단기 이해 능력의 범위를 벗어난 문제들은 스킵하는 방식을 활용했다. 어려운 걸 붙잡고 있는 것보다 맞춰야 할 문제들을 맞추는 것이 더 중요하다.

첫째날은 문제 하나하나를 봐야하는 날이라 시간을 많이 투자했는데도 1회독을 완료하지 못했다.

> 2일차

- 1회독 나머지(30%) + 1일차 문제 복습

1회독 남은 부분은 마찬가지로 꼼꼼히 살펴봤고, 그 후 전날 봤던 문제들을 한 번 더 흝어보기 시작했다.

어제 본 건데 까먹은 나 자신 대단하다... 이 때는 요약본도 함께 찬찬히 읽어 봤는데 전체 틀을 이해하는 데 큰 도움이 되었다.

> 3일차

요약본에서 필수 개념 외우기 + 파이널 요약 강의 듣기 + 노랭이 별표 친 문제들 다시 확인

https://youtu.be/BQxAxMnHByU

노랭이 1회독을 했다면 어느 정도 출제 개념들을 파악했기 때문에 하루 전날은 시험에 출제될 만한 부분들을 빠르게 체크하고 정리하는 게 좋다.

시간이 없어서 기출문제들은 아예 보지도 못했고 코로나 때문에 컨디션도 엉망이었지만

어쨌든 3일간의 집착으로 합격을 해냈다.ㅠㅠㅠ 역시 집착의 아이콘!!!!

시험 당일 새벽에 ktx 타고 서울에 올라가면서 진짜 떨어지면 억울해서 어떡하나 생각했는데 참 다행이다..ㅎ

시험 자체는 생각보다 쉽게 나왔다. 노랭이에 나오는 개념들을 잘 이해만 하고 있다면 충분히 커버가 가능한 정도랄까?

짧은 시간에 이 많은 걸 외울 수 있을까?라는 걱정했는데, SQLD 문제는 외워서 푸는 게 아니라 이해해서 푸는 문제라는 느낌을 강하게 받았다.

그래서 나의 경우 오히려 벼락치기가 가능했던 것같다. (외우는 거 극혐, 이해 안되면 잘 못 넘어감)

아무튼 이렇게 컴퓨터 관련 두번째 자격증을 획득했다. 좋아좋아 점점 레벨업되어 가는군.

이제 당분간 자격증 시험은 없다! 벼락치기 스트레스 이제 그마안!!!!

[Algorithm] 백준 10989 수 정렬하기3 with Python

all_sound — Thu, 29 Jun 2023 01:08:03 +0900

문제

N개의 수가 주어졌을 때, 이를 오름차순으로 정렬하는 프로그램을 작성하시오.

입력

첫째 줄에 수의 개수 N(1 ≤ N ≤ 10,000,000)이 주어진다. 둘째 줄부터 N개의 줄에는 수가 주어진다. 이 수는 10,000보다 작거나 같은 자연수이다.

출력

첫째 줄부터 N개의 줄에 오름차순으로 정렬한 결과를 한 줄에 하나씩 출력한다.

예제 입력 1

예제 출력 1

내가 짠 코드

이 문제는 난이도가 브론즈1로 분류되어 있는데 생각보다는 까다로웠던 문제다.

정렬 알고리즘을 하나 하나 구현해 보지는 않은 상태여서 문제를 보고 솔루션을 한 번에 떠올리지 못했다.

몇 번의 메모리 초과를 겪은 후 계수 정렬로 해결이 가능하다는 사실을 깨달았다.

계수 정렬이란 카운팅 정렬이라고도 불리는데 수의 범위가 작다면 굉장히 효율적으로 작동한다.

데이터의 개수가 , 데이터(양수) 중 최댓값이 일 때 최악의 경우에도 수행 시간 ( + )를 보장한다.

방법은 아주 간단하다.

1. 입력으로 들어올 범위만큼의 길이를 가지는 배열을 생성, 0으로 모든 값을 채움

2. 입력이 들어오면 그 수를 배열의 index로 취급하여, 해당 index의 값을 +1 해준다

import sys
input = sys.stdin.readline

#계수 정렬
n = int(input())

cnt = [0] * 10001  # 입력 숫자의 범위를 커버할 배열 생성

for _ in range(n):  # 숫자가 들어오면 해당 index의 값에 +1
  num = int(input())
  cnt[num ] += 1

for i in range(10001):
  for j in range(cnt[i]):
    print(i)

https://www.acmicpc.net/problem/10989

10989번: 수 정렬하기 3

첫째 줄에 수의 개수 N(1 ≤ N ≤ 10,000,000)이 주어진다. 둘째 줄부터 N개의 줄에는 수가 주어진다. 이 수는 10,000보다 작거나 같은 자연수이다.