분류 전체보기
-
1. Cloud Cloud 서비스의 다양한 제품 - Computing Server 연산을 수행하는(Computing) 서비스 가상 컴퓨터, 서버 CPU, Memory, GPU 등 선택 가능 인스턴스 생성 후 사용 가능 Cloud 서비스의 다양한 제품 - Serverless Computing Computing Server와 유사하지만, 서버 관리를 클라우드쪽에서 진행 코드를 클라우드에 제출하면 그 코드를 가지고 서버를 실행해주는 형태 Cloud 서비스의 다양한 제품 - Stateless Container Docker를 사용한 Container 기반 서버 실행 구조 Docker Image를 업로드하면 해당 이미지 기반으로 서버 실행 Cloud 서비스의 다양한 제품 - Object Storage 다양한 Obj..
[Product Serving Part.4] Cloud1. Cloud Cloud 서비스의 다양한 제품 - Computing Server 연산을 수행하는(Computing) 서비스 가상 컴퓨터, 서버 CPU, Memory, GPU 등 선택 가능 인스턴스 생성 후 사용 가능 Cloud 서비스의 다양한 제품 - Serverless Computing Computing Server와 유사하지만, 서버 관리를 클라우드쪽에서 진행 코드를 클라우드에 제출하면 그 코드를 가지고 서버를 실행해주는 형태 Cloud 서비스의 다양한 제품 - Stateless Container Docker를 사용한 Container 기반 서버 실행 구조 Docker Image를 업로드하면 해당 이미지 기반으로 서버 실행 Cloud 서비스의 다양한 제품 - Object Storage 다양한 Obj..
2023.01.13 -
Wrap-up Report ODQA task가 어떤 것인지 배울 수 있는 기회가 되어서 좋은 것 같다. 또한 해당 Task가 매력적으로 다가왔고 흥미가 생겼다. 전보다 논문을 읽고 원하는 부분을 구현하는 것에 있어서 발전한 것 같다. 해당 능력을 꾸준히 갈고닦아야 겠다. 또한 이전에는 계속 모델링하고 원하는 기능을 구현하는 일을 중점적으로 진행했어서 데이터 관련 역할을 다음번에는 꼭 해보겠다 다짐했는데 현재 최종 프로젝트에서 데이터 수집 및 처리 관련 역할을 맡아 진행중이다. 근데 모델링보다 훨씬 어려운 것 같다... 직접 수집부터 하다보니 노이즈도 너무 많고 고려해야할 부분도 너무 많아서 어디서 부터 시작해야할지 어지러워서 머리가 아프다..! 우선 보통 이럴때는 어떻게 하는지 reference를 먼저 ..
[WEEK14/15/16] Open-Domain Question Answering 대회 Wrap-up 및 회고Wrap-up Report ODQA task가 어떤 것인지 배울 수 있는 기회가 되어서 좋은 것 같다. 또한 해당 Task가 매력적으로 다가왔고 흥미가 생겼다. 전보다 논문을 읽고 원하는 부분을 구현하는 것에 있어서 발전한 것 같다. 해당 능력을 꾸준히 갈고닦아야 겠다. 또한 이전에는 계속 모델링하고 원하는 기능을 구현하는 일을 중점적으로 진행했어서 데이터 관련 역할을 다음번에는 꼭 해보겠다 다짐했는데 현재 최종 프로젝트에서 데이터 수집 및 처리 관련 역할을 맡아 진행중이다. 근데 모델링보다 훨씬 어려운 것 같다... 직접 수집부터 하다보니 노이즈도 너무 많고 고려해야할 부분도 너무 많아서 어디서 부터 시작해야할지 어지러워서 머리가 아프다..! 우선 보통 이럴때는 어떻게 하는지 reference를 먼저 ..
2023.01.13 -
문제 설명 아래와 같이 5와 사칙연산만으로 12를 표현할 수 있습니다. 12 = 5 + 5 + (5 / 5) + (5 / 5) 12 = 55 / 5 + 5 / 5 12 = (55 + 5) / 5 5를 사용한 횟수는 각각 6,5,4 입니다. 그리고 이중 가장 작은 경우는 4입니다. 이처럼 숫자 N과 number가 주어질 때, N과 사칙연산만 사용해서 표현 할 수 있는 방법 중 N 사용횟수의 최솟값을 return 하도록 solution 함수를 작성하세요. 제한사항 N은 1 이상 9 이하입니다. number는 1 이상 32,000 이하입니다. 수식에는 괄호와 사칙연산만 가능하며 나누기 연산에서 나머지는 무시합니다. 최솟값이 8보다 크면 -1을 return 합니다. 입출력 예 설명 예제 #1 문제에 나온 예와 ..
DP_PRO#42895 : N으로 표현문제 설명 아래와 같이 5와 사칙연산만으로 12를 표현할 수 있습니다. 12 = 5 + 5 + (5 / 5) + (5 / 5) 12 = 55 / 5 + 5 / 5 12 = (55 + 5) / 5 5를 사용한 횟수는 각각 6,5,4 입니다. 그리고 이중 가장 작은 경우는 4입니다. 이처럼 숫자 N과 number가 주어질 때, N과 사칙연산만 사용해서 표현 할 수 있는 방법 중 N 사용횟수의 최솟값을 return 하도록 solution 함수를 작성하세요. 제한사항 N은 1 이상 9 이하입니다. number는 1 이상 32,000 이하입니다. 수식에는 괄호와 사칙연산만 가능하며 나누기 연산에서 나머지는 무시합니다. 최솟값이 8보다 크면 -1을 return 합니다. 입출력 예 설명 예제 #1 문제에 나온 예와 ..
2023.01.09 -
▮Knock Knock 학습 후 메일, 슬랙 등 원하는 곳으로 학습 종료 알람을 해주는 라이브러리 pip install knockknock from knockknock import email_sender @email_sender(recipient_emails=["", ""], sender_email="
[WEEK14/15/16] TIPS▮Knock Knock 학습 후 메일, 슬랙 등 원하는 곳으로 학습 종료 알람을 해주는 라이브러리 pip install knockknock from knockknock import email_sender @email_sender(recipient_emails=["", ""], sender_email="
2023.01.08 -
(venv) root@a3709176f3dd:~/mrc# git pull origin dev From https://github.com/boostcampaitech4lv23nlp2/level2_mrc_nlp-level2-nlp-13 * branch dev -> FETCH_HEAD fatal: refusing to merge unrelated histories 에러 내용은 원격 저장소의 dev 브랜치에서 로컬 저장소의 FETCH_HEAD를 merge하는 것이 거부되었다. commit 히스토리가 서로 관련이 없기 때문에 merge할 수 없다는 것이다. (공통된 커밋 포인트가 없다.) fetch는 원격 저장소에 있는 내용을 가져오지만 자동으로 내 로컬 저장소에 merge하지 않는다. 원격 저장소의 내용을 확인..
-- fatal: refusing to merge unrelated histories(venv) root@a3709176f3dd:~/mrc# git pull origin dev From https://github.com/boostcampaitech4lv23nlp2/level2_mrc_nlp-level2-nlp-13 * branch dev -> FETCH_HEAD fatal: refusing to merge unrelated histories 에러 내용은 원격 저장소의 dev 브랜치에서 로컬 저장소의 FETCH_HEAD를 merge하는 것이 거부되었다. commit 히스토리가 서로 관련이 없기 때문에 merge할 수 없다는 것이다. (공통된 커밋 포인트가 없다.) fetch는 원격 저장소에 있는 내용을 가져오지만 자동으로 내 로컬 저장소에 merge하지 않는다. 원격 저장소의 내용을 확인..
2022.12.26 -
Tensorflow와 Pytorch의 가장 큰 차이점은 계산 그래프 정의 방식입니다. Tensorflow는 계산 그래프를 먼저 정의하고 실행 시점에 데이터를 넣어주는 Define and Run 방식의 정적 그래프를 사용합니다. Pytorch는 실행 시점마다 새로운 계산 그래프를 정의하는 Define by Run 방식의 동적 그래프를 사용합니다. Define by Run 방식은 Pythonic하기 때문에 Tensorflow보다 직관적이고 간단합니다.
딥러닝 프레임워크인 Pytorch와 Tensorflow의 차이점에 대해 설명해주세요Tensorflow와 Pytorch의 가장 큰 차이점은 계산 그래프 정의 방식입니다. Tensorflow는 계산 그래프를 먼저 정의하고 실행 시점에 데이터를 넣어주는 Define and Run 방식의 정적 그래프를 사용합니다. Pytorch는 실행 시점마다 새로운 계산 그래프를 정의하는 Define by Run 방식의 동적 그래프를 사용합니다. Define by Run 방식은 Pythonic하기 때문에 Tensorflow보다 직관적이고 간단합니다.
2022.12.26 -
Seq2Seq는 인코더가 마지막 timestep에서 나오는 hidden state vector를 Context Vector로 사용하여, 디코더가 이 Context Vector를 통해 출력 시퀀스를 생성합니다. 그러나 이렇게 고정된 크기의 Context Vector에 모든 정보를 압축하므로 정보 손실이 발생할 수 있습니다. 따라서 이런 문제점을 위해 제안된 기법이 Attention 입니다. Attention 기법은 Encoder의 마지막 timestep에서 나오는 hidden state vector 하나에만 의존하는 것이 아니라 매 timestep 마다의 hidden state vector들과 Decoder의 hidden state vector들간 내적을 통해 구해진 값에 softmax를 취해 Encode..
Attention에 대해 설명해주세요Seq2Seq는 인코더가 마지막 timestep에서 나오는 hidden state vector를 Context Vector로 사용하여, 디코더가 이 Context Vector를 통해 출력 시퀀스를 생성합니다. 그러나 이렇게 고정된 크기의 Context Vector에 모든 정보를 압축하므로 정보 손실이 발생할 수 있습니다. 따라서 이런 문제점을 위해 제안된 기법이 Attention 입니다. Attention 기법은 Encoder의 마지막 timestep에서 나오는 hidden state vector 하나에만 의존하는 것이 아니라 매 timestep 마다의 hidden state vector들과 Decoder의 hidden state vector들간 내적을 통해 구해진 값에 softmax를 취해 Encode..
2022.12.25 -
1. Passage Retrieval and Similarity Search 2. Approximating Similarity Search 3. Introduction to FAISS 실제 문서 검색이 이루어지길 원하는 실제 상황에서는 그 문서의 수가 기하급수적으로 늘어나게 된다. 위키피디아 문서에서 검색하는 상황을 가정하더라도 5백만 개 이상의 문서에서 검색을 수행해야 하고, 실제로는 수천만 ~ 억 개의 문서가 존재할 수 있다. 이런 상황에서는 모든 문서들에 대해 검색을 수행하는 방법이 굉장히 오랜 시간과 많은 자원을 요구하게 된다. 이렇게 scale이 커진 상황에서 어떻게 효율적으로 검색을 수행할 수 있을지에 대해 정리하고 보다 효율적인 approximate search가 무엇인지 그리고 approx..
[ODQA] 6. Passage Retrieval - Scaling Up1. Passage Retrieval and Similarity Search 2. Approximating Similarity Search 3. Introduction to FAISS 실제 문서 검색이 이루어지길 원하는 실제 상황에서는 그 문서의 수가 기하급수적으로 늘어나게 된다. 위키피디아 문서에서 검색하는 상황을 가정하더라도 5백만 개 이상의 문서에서 검색을 수행해야 하고, 실제로는 수천만 ~ 억 개의 문서가 존재할 수 있다. 이런 상황에서는 모든 문서들에 대해 검색을 수행하는 방법이 굉장히 오랜 시간과 많은 자원을 요구하게 된다. 이렇게 scale이 커진 상황에서 어떻게 효율적으로 검색을 수행할 수 있을지에 대해 정리하고 보다 효율적인 approximate search가 무엇인지 그리고 approx..
2022.12.21