1. 데이터베이스 생성 2. Table 생성 컬럼을 만들 때 DataType을 제대로 명시해주는 것이 중요하다. 문자 Data Type Data Type 저장가능한 양 특징 CHAR 0~255자 - char(100) 과 같이 사용하면 총 100자까지 저장할 수 있다고 길이 제한을 기입하는 것 - 정말 간단한 문자 저장시 사용하지만, 저장할 문자의 길이가 다양하다면 사용하는 것을 비추 VARCHAR 0~65535자 - varchar(100) TEXT 0~65535자 TINYTEXT 0~255자 MEDIUMTEXT 0~1600만자 - 긴 텍스트를 저장해야할 때 주로 사용 LONGTEXT 0~42억자 - 긴 텍스트를 저장해야할 때 주로 사용 숫자 Data Type 양의 숫자만 저장하려면 column을 만들 때..

MySQL installer 다운로드 링크 1. 굳이 전부 다 설치할 필요가 없으므로 Custom 선택 2. 우선 기본적으로 아래 그림처럼 세가지를 추가하여 설치해준다. MySQL Server == DBMS 본체 MySQL Workbench == DB GUI 툴 MySQL shell == DB를 터미널 명령어 입력으로 조작할 수 있는 프로그램 3. Execute를 눌러서 설치 진행 4. 계속 Next 누르다가 비번 설정 5. Window Service 부분에서 아래 그림처럼 체크되어있는지 확인 6. 설치가 다 되었으면 MySQL Workbench를 실행해서 Local Instance를 클릭하고 password를 입력해서 MySQL DB를 띄울 수 있다. Workbench보다 깔끔하고 쉬우며 다른 DBMS..

Part 1: Foundations of Contrastive Learning Contrastive Learning Objectives Contrastive Data Sampling and Augmentation Strategies Analysis of Contrastive Learning 1. Self-Supervised Contrastive Learning 대부분의 Contrastive Learning 프레임워크는 Self-Supervised Learning이다. 보통 Positive Pair의 경우 Data Augmentation을 진행하고 Negative Pair의 경우 랜덤으로 선정한다. (e.g. In-batch Negatives) 이렇게 Self-Supervised Learning을 할 때 ..

Jax GPU CUDA 설치 pip install --upgrade pip # Installs the wheel compatible with CUDA 11 and cuDNN 8.6 or newer. # Note: wheels only available on linux. pip install --upgrade "jax[cuda]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html https://github.com/google/jax/#pip-installation-gpu-cuda GitHub - google/jax: Composable transformations of Python+NumPy programs: differentiat..

tokenizer에 tokens를 추가하는 과정에서 jax에는 pytorch의 resize_token_embeddings 같은 method가 구현되어있지 않은 것 같아 보여서 embedding size를 어떻게 바꿔주어야 할지 고민해보았다. model의 embedding 파라미터에 random initalize한 추가해줘야하는 만큼의 shape을 만들어주어서 concat해주는 방식으로 shape을 맞춰주었다. if model_args.model_name_or_path: model = FlaxT5ForConditionalGeneration.from_pretrained( model_args.model_name_or_path, config=config, seed=training_args.seed, dtype=..

▮ nohup nohup은 No Hang Ups의 약자로 백그라운드로 지속적으로 실행하는 프로세스를 의미한다. nohup은 실행을 현재 사용자 세션이 아닌 운영체제가 제공하는 백그라운드 공간에서 실행을 한다. &는 사용자 세션에서 실행되며, 화면 출력만 백그라운드로 전환한 상태이다. nohup [프로세스] & nohup python3 -u filename.py & nohup.out 을 통해 실행 내용을 확인할 수 있는데, nohup.out은 파일을 기록할 때 Python에서 출력을 바로 업데이트하지 않고 버퍼에 기록하였다가 업데이트하기 때문에 출력내용이 바로 기록되지 않는다. 이를 Python에서도 인지하여 python을 실행할 때 출력내용을 바로 업데이트할 수 있도록 -u 인자를 제공한다. nohup...

Part 1: Foundations of Contrastive Learning Contrastive Learning Objectives Contrastive Data Sampling and Augmentation Strategies Analysis of Contrastive Learning 1. What is Contrastive Learning 최근의 NLP 모델들은 representation learning 알고리즘에 크게 의존한다. Contrastive Learning은 유사한 데이터 샘플 쌍은 가깝게 representation되고, 유사하지 않은 데이터 샘플 쌍은 멀리 떨어져 있도록 임베딩 공간을 학습하는 기법이다. Contrastive Learning을 하기위해서는 두 가지 필수 요소가 필요하다..

1. Key-value Database ▮ Redis 데이터 베이스는 데이터를 물리 디스크에 직접 쓰기 때문에 서버에 문제가 발생하여 다운되더라도 데이터가 손실되지 않는다. 그러나 매번 디스크에 접근해야 하기 때문에 사용자가 많아질수록 부하가 커져 느려질 수 있다. 많은 양의 I/O를 발생시키는 데이터의 경우(조회수 같은 카운트 형태) Redis를 사용해 데이터를 캐싱 처리하고, 일정 주기에 따라 RDS에 업데이트하면 RDS에 가해지는 부담을 줄일 수 있다. cache : 한번 읽어온 데이터를 임의의 공간에 저장하여 다음에 읽을 때는 빠르게 결괏값을 받을 수 있도록 도와주는 공간 ▮ Redis 특징 데이터를 하드 디스크가 아닌 RAM에 저장(In-memory) → 데이터를 디스크에 쓰는 구조가 아니라 메..