본문 바로가기

전체 글

(224)
pip install requirements.txt pip install -r requirements.txt 를 실행했을 때, 중간에 에러가 나면 바로 멈춰버린다. 대신에 cat requirements.txt | xargs -n 1 pip install 를 사용하면 pip install을 한줄씩 실행하는 효과가 있어서 에러가 나더라도 쭉쭉 실행이 가능하다
requirements.txt 파일 만들기 pip freeze > requirements.txt 이렇게 만든 requirements.txt가 git add가 안될 수 있는데 이때는 git add --force 파일이름
[Python] 주피터 노트북에서 셀에서 값을 연속적으로 출력하는 방법 InteractiveShell의 옵션 지정 InteractiveShell의 옵션을 지정하여 모두 출력되도록 할 수 있다 InteractiveShell.ast_node_interactivity : 'all' | 'last' | 'last_expr' | 'none' (기본값은 'last_expr') from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all" 참고: https://financedata.github.io/posts/display-all-values-in-cell-jupyter-notebook.html
[Python] 문자(한글, 영문)와 숫자만 나기고 특수문자 제거하기 import re string = "abcdefㄱㄴㄷㄹㅁㅂ가나다라마바사12345[]{}().,!?'`~;:" re.sub('[^A-Za-z0-9가-힣]', '', string) # Out: 'abcdef가나다라마바사12345' 출처: https://signing.tistory.com/74 [끄적거림]
OOM (CUDA Out Of Memory ) 해결법 1. nvidia-smi 를 통해 메모리를 확인한다.2. ps aux | grep python 를 통해 실행시켰던 프로세스의 ID를 찾는다.3. root 오른쪽에 있는 ID를 찾아 kill -9 ID 를 통해 삭제한다.ex) ID가 39794이므로 kill -9 39794 4. 반복하면 깔끔해진 메모리를 확인할 수 있다. 추가적으로 watch -n 1 nvidia-smi 를 하면 1초마다 갱신된 정보를 볼 수 있다.GPU-Util %가 0%, 100% 이렇게 왔다갔다하는 경우는 batch size가 너무 커서 cpu 연산처리가 오래걸리는 상황일 수 있다. 따라서 batch size를 줄여줬을 때 오히려 gpu를 더 효율적으로 사용할 수도 있다. 별도의 pid를 확인하지 않고 모든 'python' proc..
MySQL에 np.nan을 갖는 pandas.DataFrame 삽입하기 발생한 오류 raise ProgrammingError("%s can not be used with MySQL" % s) sqlalchemy.exc.ProgrammingError: (pymysql.err.ProgrammingError) nan can not be used with MySQL 데이터프레임의 빈 값이 NaN으로 채워져 있는 상태에서 데이터프레임을 MySQL에 넣어주면서 오류 발생했다. np.NaN을 None으로 변경해줘야 한다. 해결법 1. df.where(pd.notnull(df), None) *df.where : 참값에 대해서는 첫번째 처리를 하고, 참이 아니면 두번째 처리를 한다. 데이터프레임 중 notnull이 참이면, 즉, null이 아닌 값은 그대로 값이 들어가고, null인 값은 ..
tmux 사용법 실행중인 tmux 세션 유형 목록 확인 tmux ls tmux 세션 만들기 tmux new -s [session_name] tmux 세션 종료하지 않고 쉘로 돌아가기 + b + d tmux 세션 다시 들어가기 tmux attach -t [세션명] 세션안에서 스크린처럼 화면 추가 + b, c 세션 내 활성 창 종료 + b, x 세션안에서 창 전환 + b, 0, 1, 2 등 tmux 화면 분할 가로분할 + b, shift + 5 세로분할 + b, shift + ‘
[Python] [OpenCV] 이미지 읽기 cv2.imread() cv2.imread(filename, flags) 함수 설명 cv2.IMREAD_COLOR RGB로 읽기 (default) cv2.IMREAD_GRAYSCALE Grayscale로 읽기 cv2.IMREAD_UNCHANGED 파일 속성 그대로 읽기 예시 import cv2 color_img = cv2.imread('image.jpg", cv2.IMREAD_COLOR) gray_img = cv2.imread('image.jpg", cv2.IMREAD_GRAYSCALE) unch_img = cv2.imread('image.jpg", cv2.IMREAD_UNCHANGED) cv2.imshow('color_img', color_img) cv2.imshow('gray_img', gray_img) cv2.imshow..