눌러보지않고 미리보이는 글만 읽어도 됩니다. 가끔 프로그래밍을 하다보면, 기억이 안나서 찾게 되는 함수, 라이브러리, 기타 등등이 있습니다. 그 때, 빠르게 검색해서 필요한 내용만 있기를 원할 때가 있었습니다. 자주 사용하는 함수와 관련된 설명이나 부가설명들이 들어가 있지 않은 제목 그대로의 핵심만 정리해서 사용할 수 있도록 블로그를 활용하고자 합니다. p.s. 저는 데이터 관련한 일을 하기 때문에 해당 내용들이 주로 담겨 있습니다. 위 목적과 다른 내용들의 게시글이 작성되어 있을 수 있습니다. (공유하고 싶은 정보들..)
최신글
-
(Git) 이전 Commit에서 특정 file만 삭제하기 (filter-repo)IT 지식 창고 2024.03.22 19:26
FILE_NAME에 git repository를 root로 생각하고 경로를 포함하여 file 명을 넣습니다. git filter-repo --invert-paths --path FILE_NAME 본문 간혹 대용량 파일 및 개인정보를 commit하고 master에 까지 올리는 아주 큰 불상사(회사에서 그러면 안됩니다.)가 발생하였을 때, filter-repo 또는 BFG를 활용하여 삭제할 수 있다고 합니다. (문제의 commit 전까지 돌아간 다음에 그 이후의 수정 내역을 직접 반영해도 되지만 협업중에는 상당히 번거롭죠.) 완벽히 테스트 해보진 못했지만, 두 과정의 삽질한 내용을 작성해두겠습니다. git filter-repo 23년 blog를 참고해서 하다가, 그 새 조금 바뀐 것같아서 공식홈페이지 보고 ..
-
(Python) os.path vs pathlib.PathIT 지식 창고 2024.02.26 22:25
저는 아래의 이유로 pathlib.Path를 더 선호합니다. 가독성 향상 os에 따른 경로 설정 (windows : WindowsPath, linux : PosixPath를 os에 따라서 알아서 설정하여 각 os별로 처리하는 방법이 다를 때 유용) Object Oriented Programming Trend (pytorch, yolo 등 활발하게 개발되는 곳에선 Path를 사용) etc… Python으로 개발 시, os.path를 활용하여 경로를 주로 다룰 수 있으나, python 3.4부터 pathlib이라는 경로 관련 객체 지향 python library가 추가되었습니다. 예제 os.path와는 어떻게 다른지 제가 자주사용하는 기능 위주로 정리해보고자 합니다. python pathlib officia..
-
(Python) 간단한 커스텀 프로그레스 바 코드IT 지식 창고 2024.02.21 23:10
가끔 tqdm을 사용함에 있어 번거로움이 있을 때, 간단한 프로그레스 바를 사용할 수 있는 코드를 공유합니다. 파이썬 입문자분들은 프로그레스 바의 원리도 공부하실 수 있을 겁니다. 코드 import sys import time class ProgBar: def __init__(self, total, decimals=2, bar_length=30, interval=0.05): self.total = total self.decimals = decimals self.bar_length = bar_length self.interval = interval self._num = 0 self._last_update = 0 def start(self): self._num += 1 finalize = self._num ..
-
(Pytorch) Pytorch에서 학습 및 테스트 시 GPU VRAM이 계속 증가하는 이유IT 지식 창고 2024.02.14 18:12
학습 시 지속적으로 GPU VRAM이 증가할 때 학습 시 데이터나 배치 사이즈가 너무 커서 처음부터 발생하는 Out of Memory 문제가 아니라, 조금 조금씩 GPU VRAM이 쌓일 때! 십중팔구 다른 프레임워크(a.k.a. tensorflow) 와 다르게 pytorch의 특성인 데이터를 GPU에 올리고 해제하지 않아서임. (ex, data.cpu()와 같은 작업을 하지 않아서) 매번 실수 하는 나 자신을 탓하기 위해 작성.. 검증 또는 테스트 시 GPU VRAM이 증가할 때 아래와 같이 검증 또는 테스트를 할 때 GPU VRAM이 증가할 때 for _ in range(10000): preds = model(data) with torch.no_grad()로 감싸서 gradient를 계산하지 않도록 해..
-
(Docker) docker container 내에서 root계정과 root권한을 가진 사용자 계정 사용하기IT 지식 창고 2023.08.03 18:09
docker container 내에서 root계정과 사용자 계정을 사용하게 된 계기 linux server에 접속해서 docker를 활용할 때, linux server는 사용자 계정으로 접속하다보니, 간혹 docker내에서 생성된 files (docker는 root로 접속하기 때문에, files이 root 권한으로 생성됩니다.)이 linux 사용자 계정으로는 삭제가 되지 않아서 제목과 같이 적용한 후 docker를 사용하는 편입니다. 뭐.. docker들어가서 files을 삭제하면 되지만, 가끔 귀찮을 때가 있더라구요. container내에 접속 후 아래의 command들을 입력 groupadd -g 123456 user && useradd user -u 1234 -g 123456 -M -s /bin/b..