Commit Convention 일관적인 Commit Log를 통해 서로 다른 사람들이 작업한 내용을 쉽게 파악하고, 유지보수 할 수 있도록 하기 위해 Commit을 남기는 규칙 Header Commit Log의 제목을 나타내는 Header 부분 너무 길지만 않으면 됨 일반적으로 Tag가 붙고, Tag 뒤로 작업의 대략적인 내용이 붙음 Ex) [feat] add rest api code feat(새로운 기능) refactor(리팩토링) fix(버그 수정 및 typo) style(코드 포맷팅 또는 주석처리) comment(주석 추가 및 변경) chore(빌드 수정, 패키지 관리자 수정) test(테스트 코드) docs(문서 작업) remove(파일 삭제) rename(파일 혹은 폴더명을 수정하거나 옮기는 ..

Langcon 2023 문상환님의 "한국어 토크나이징의 현재와 미래"를 듣고 정리한 내용입니다. 1. 토크나이징의 정의 및 한국어 적용 1.1 토크나이징 토크나이징이란 문자열을 특정 규칙에 의해 "토큰"으로 분절하는 여러 기법Subword 이전 한국어의 표준 분절은 형태소 기반 분절이었다. ex) KoNLPy토크나이징은 Transfer Learning에 있어 성능을 좌우하는 중요한 요소이다. 1.2 토큰 단위와 장단점 한국어의 경우 토큰은 어절 / 형태소 / 서브워드 / 음절로 분절하여 사용 가능하다. 토큰은 Representation Robustness, 토큰의 길이, OOV에 대한 Robustness 측면에서 균형이 필요하다. Representation Robustness : Embedding에 얼마..

Langcon 2023 박장원님의 "특정 도메인에 맞는 언어 모델은 어떻게 만들까"를 듣고 정리한 내용입니다. 도메인 특화 언어모델 (Domain-Specific Language Model) Domain-Specific Language Model BioBERT, SciBERT, LegalBERT ... General Domain LM 뉴스, 위키, 책, 웹 크롤링 데이터로 학습 언어모델 Pretraining 학습 방법 Pretraining From Scratch 처음부터 특수 도메인 데이터로 학습 Continual Pretraining 처음부터 학습하기에는 비용이 많이 들기 때문에 BERT같은 기존에 학습된 언어모델을 가지고 학습 도메인 특화 언어모델을 만들 때 고려해야할 점 1. Data ▮ 지금 학습..

⚡️ Rust로 작성된 Python 린터로 Flake8, Pylint, Autoflake에 비해 10배에서 100배 가량 빠름 🐍 pip으로 설치 가능 🛠️ pyproject.toml 지원 🔌 black과 호환 Huggingface도 isort와 flake8을 ruff로 대체함 Installation and Usage Installation Ruff is available as ruff on PyPI pip install ruff For Conda users, Ruff is also available as ruff on conda-forge: conda install -c conda-forge ruff Usage ruff check . # Lint all files in the current direct..

글자색 변경 (rgb) : '\033[38;2;r;g;bm' 배경색 변경 (rgb) : '\033[48;2;r;g;bm' 초기화 : '\033[0m' print('\033[38;2;31;169;250m' + 'RGB 색 변경' + '\033[0m') print('\033[38;2;31;169;250m \033[48;2;252;252;252m' + '글자와 배경 변경' + '\033[0m')

local repository를 원격 repository에 연결하기 - 원격저장소 이름을 origin이라고 설정 $git remote add origin 원격 저장소에 push할 때, 기본 브랜치로 origin 저장소의 main 브랜치로 설정(--set-upstream)한다.$ git push --set-upstream origin main 원격저장소에 아직 push하지 않은 커밋을 수정하기 $git commit --amend -m "커밋메세지" 원격 repository를 local repository에 clone하기$ git clone config.txt.template 협업 시 config 파일은 .gitignore로 무시하게되는데 협업자에게 config 파일이 공유되지 않기 때문에 이런 형식..

▮ git initialize $git init ▮ 여러 개 파일이 수정되었을 때 선택적으로 커밋 work1.txt, work2.txt, work3.txt가 있다고 하자 work1.txt만 커밋하고자 할 때$ git add work1.txt $git commit -m "[Fix] work1.txt" + add를 취소하는 방법$ git rm --cached + tracked & untracked 상태 git add를 한번이라도 한 파일은 tracked 상태 git commit -a 옵션은 tracked 상태의 파일만 커밋에 포함시킨다. ▮ 한줄로 git log 보기 $git log --oneline --all ▮ 특정 커밋시점으로 돌아가기 HEAD를 a9fbe30 시점으로 옮기고자 한다면$ gi..

F12를 누르고 console 창에 아래 명령어 입력 var startClickConnect = function startClickConnect(){ var clickConnect = function clickConnect(){ console.log("Connnect Clicked - Start"); document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click(); console.log("Connnect Clicked - End"); }; var intervalId = setInterval(clickConnect, 60000); var stopClickConnectHandler ..