(Re)Ranker 모델 학습을 위한 다양한 Loss를 알아보자 (feat. Learning To Rank - ListMLELoss, ListNetLoss, LambdaLoss)현대 RAG 파이프라인에서 Reranker는 Embedding model과 더불어 필수적인 모듈 중 하나이다. Embedding model과 Reranker의 차이는 다음 그림으로 이해할 수 있다.Mar 14Mar 14
MTEB: Massive Text Embedding Benchmark에 관하여 feat. MTEB-ko-retrieval Leaderboard, data contributionMTEB-ko-retrieval !Dec 23, 2024Dec 23, 2024
임베딩모델의 다양한 Loss 함수(feat. GISTEmbedLoss)MultipleNegativesRankingLoss vs. MultipleNegativesSymmetricRankingLoss vs. GISTEmbedLossDec 12, 2024Dec 12, 2024
배치 사이즈의 영향을 크게 받는 임베딩모델, 학습 시 배치 사이즈를 어떻게 키울까? (feat. Gradient cache)Gradient Cache vs. Gradient checkpointing vs. Gradient accumulationSep 2, 2024Sep 2, 2024
[분산 처리 2] - Mixed Precision Training에 대해 알아보자 ! (MP, AMP, torch.cuda.amp)지난번부터 분산 처리에 대해 공부하면서, 이론적인 공부를 많이 하고 있다.Jul 31, 2024Jul 31, 2024
[분산 처리 1]-DataParallel(DP) vs. DistributedDataParallel(DDP) (feat. Python GIL)모델을 학습해보면서, 분산 처리에 대한 중요성을 뼈저리게 느꼈다. 아무리 자원이 많더라도, 그 자원을 효율적으로 쓰지 않으면 말짱 도루묵이므로.. 최대한 자원을 효율적으로 잘 쓸 수 있는 방법을 공부해보고자 한다.Jul 12, 20241Jul 12, 20241
Huggingface Trainer TrainingArguments 및 Attributes 정리지난 글에서는 huggingface의 대표적인 training api, Trainer의 동작 원리에 대해서 알아보았다. 이번 글에서는 Trainer에 들어가는 arguments, TrainingArguments 및 Attributes에 대해서 알아볼…Jul 9, 2024Jul 9, 2024
Huggingface Trainer는 어떻게 학습 파이프라인을 만들었을까? (Trainer의 원리)요즘 거의 모든 모델 학습을 Huggingface의 Trainer API를 사용해서 진행한다. 그러나 실제로 Trainer가 어떻게 동작하는지, Trainer 내부에서 학습 파이프라인이 어떻게 구성돼 있는지 모르겠어서, 글로 정리해보기로 했다.Jul 8, 2024Jul 8, 2024
[RESUMAI 프로젝트 7] v1.0 최종시험 기간 및 연구실 일들로 바빴던 6월이라, 프로젝트를 완성한 지는 좀 됐지만 뒤늦게라도 정리해보고자 글을 작성한다.Jun 30, 2024Jun 30, 2024
[RESUMAI 프로젝트 6] LLM API, Pinecone과 DRF를 함께 써보자! (feat. Langchain, RAG, Lost-In-the-Middle)지난 글에서는 AWS를 이용해서 서버를 최종적으로 배포하는 방법에 대해서 알아보았다. 현재 우리는 로그인이 구현돼있고, 서버가 배포된 상태이다.Jun 30, 2024Jun 30, 2024
[RESUMAI 프로젝트 5] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [3]이전 글에서는 VPC의 역할과 활용, EC2와 RDS 설정에 관해 알아보았다. 이제 마지막으로, 기타 추가적인 설정을 통해 웹 페이지를 최종 배포하는 방법에 관해 알아보자.May 26, 2024May 26, 2024
[RESUMAI 프로젝트 4] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [2]이전 글에서는 docker 및 docker-compose의 역할과 활용, github actions를 통한 배포 자동화에 대해 알아보았다. 그러나 이 배포 자동화라는 것도 배포할 인스턴스가 있어야 수행 가능하다. 이번 글에서는 AWS EC2…May 19, 2024May 19, 2024
[RESUMAI 프로젝트 3] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [1]지난 글에서는 DRF를 이용해서 카카오 소셜로그인을 마무리했다. 이렇게 하나의 기능을 추가하고, 프론트와의 개발 병행을 위해 배포를 먼저 해야겠다고 다짐했다.May 6, 2024May 6, 2024
[RESUMAI 프로젝트 2] DRF 카카오 소셜로그인, 이것만 보면 한번에 끝!!지난 글에서는 DRF를 활용하여 카카오 로그인을 마무리하는 과정에 대해 설명했다. 그러나 이전 글 방법대로 하면 클라이언트 입장에서 개발하기 쉽지 않아, 좀 더 근본 있는(?) 방식으로 변경하게 되었다. 우선 코드는 다음과 같다.Apr 28, 2024Apr 28, 2024
[RESUMAI 프로젝트 1] DRF 소셜로그인: Model 커스텀과 Kakao 소셜로그인/근데 이제 JWT를 곁들인..이전까지는 계속 티스토리를 사용하다가, 가독성이 너무 좋지 않다고 생각하여 개발 블로그를 Medium으로 옮기게 되었다. [이전 블로그] 한글 폰트 외에는 그래도 전체적으로 만족스러운 것 같다. ㅎㅎ..Apr 5, 2024Apr 5, 2024
![[KURE] 최초의 한국어 특화 임베딩 모델-2024.12.23 updated](https://miro.medium.com/v2/resize:fill:80:53/0*WnqgW1RUhYC-TIt8.jpg)
![[KURE] 최초의 한국어 특화 임베딩 모델-2024.12.23 updated](https://miro.medium.com/v2/resize:fill:160:107/0*WnqgW1RUhYC-TIt8.jpg)
![[분산 처리 4] - ZeRO-DP 완전 이해 (feat. Deepspeed)](https://miro.medium.com/v2/resize:fill:80:53/0*aeFGbIH2a7w4Bv-9.png)
![[분산 처리 4] - ZeRO-DP 완전 이해 (feat. Deepspeed)](https://miro.medium.com/v2/resize:fill:160:107/0*aeFGbIH2a7w4Bv-9.png)
![[분산 처리 3] - Pipeline Parallelism과 Tensor Parallelism에 관하여](https://miro.medium.com/v2/resize:fill:80:53/0*GvDZJ53bo4wvKJKB.png)
![[분산 처리 3] - Pipeline Parallelism과 Tensor Parallelism에 관하여](https://miro.medium.com/v2/resize:fill:160:107/0*GvDZJ53bo4wvKJKB.png)
![[분산 처리 2] - Mixed Precision Training에 대해 알아보자 ! (MP, AMP, torch.cuda.amp)](https://miro.medium.com/v2/resize:fill:80:53/0*tahAOPenWfgzvBY4.png)
![[분산 처리 2] - Mixed Precision Training에 대해 알아보자 ! (MP, AMP, torch.cuda.amp)](https://miro.medium.com/v2/resize:fill:160:107/0*tahAOPenWfgzvBY4.png)
![[분산 처리 1]-DataParallel(DP) vs. DistributedDataParallel(DDP) (feat. Python GIL)](https://miro.medium.com/v2/resize:fill:80:53/1*2NQUddLoI-dFhAa4S-FNXA.png)
![[분산 처리 1]-DataParallel(DP) vs. DistributedDataParallel(DDP) (feat. Python GIL)](https://miro.medium.com/v2/resize:fill:160:107/1*2NQUddLoI-dFhAa4S-FNXA.png)
![[RESUMAI 프로젝트 7] v1.0 최종](https://miro.medium.com/v2/resize:fill:80:53/1*VHiw2FSkrd2WR1z7eyfQfA.png)
![[RESUMAI 프로젝트 7] v1.0 최종](https://miro.medium.com/v2/resize:fill:160:107/1*VHiw2FSkrd2WR1z7eyfQfA.png)
![[RESUMAI 프로젝트 6] LLM API, Pinecone과 DRF를 함께 써보자! (feat. Langchain, RAG, Lost-In-the-Middle)](https://miro.medium.com/v2/resize:fill:80:53/1*DgTByh29KNXMljgrEOST6w.png)
![[RESUMAI 프로젝트 6] LLM API, Pinecone과 DRF를 함께 써보자! (feat. Langchain, RAG, Lost-In-the-Middle)](https://miro.medium.com/v2/resize:fill:160:107/1*DgTByh29KNXMljgrEOST6w.png)
![[RESUMAI 프로젝트 5] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [3]](https://miro.medium.com/v2/resize:fill:80:53/1*XEXDqHIHo62C16CZYbC5xg.png)
![[RESUMAI 프로젝트 5] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [3]](https://miro.medium.com/v2/resize:fill:160:107/1*XEXDqHIHo62C16CZYbC5xg.png)
![[RESUMAI 프로젝트 4] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [2]](https://miro.medium.com/v2/resize:fill:80:53/1*q-2r1S78v_m04psO_wWO8g.png)
![[RESUMAI 프로젝트 4] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [2]](https://miro.medium.com/v2/resize:fill:160:107/1*q-2r1S78v_m04psO_wWO8g.png)
![[RESUMAI 프로젝트 3] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [1]](https://miro.medium.com/v2/resize:fill:80:53/1*m5xMm09FZYUpkyVNvTGP6w.png)
![[RESUMAI 프로젝트 3] DRF 배포: 밑바닥부터 알아보는 Docker, 배포 자동화 AWS VPC, EC2, RDS [1]](https://miro.medium.com/v2/resize:fill:160:107/1*m5xMm09FZYUpkyVNvTGP6w.png)
![[RESUMAI 프로젝트 2] DRF 카카오 소셜로그인, 이것만 보면 한번에 끝!!](https://miro.medium.com/v2/resize:fill:80:53/1*GseX9pzHBxCqlKw2GYc_9Q.png)
![[RESUMAI 프로젝트 2] DRF 카카오 소셜로그인, 이것만 보면 한번에 끝!!](https://miro.medium.com/v2/resize:fill:160:107/1*GseX9pzHBxCqlKw2GYc_9Q.png)
![[RESUMAI 프로젝트 1] DRF 소셜로그인: Model 커스텀과 Kakao 소셜로그인/근데 이제 JWT를 곁들인..](https://miro.medium.com/v2/resize:fill:80:53/0*JPOs3l6VyT8a3KvT.png)
![[RESUMAI 프로젝트 1] DRF 소셜로그인: Model 커스텀과 Kakao 소셜로그인/근데 이제 JWT를 곁들인..](https://miro.medium.com/v2/resize:fill:160:107/0*JPOs3l6VyT8a3KvT.png)
