PinnedYoungjoon Jang[KoE5-v1.0] 최초의 한국어 특화 임베딩 모델 (Multilingual E5 Finetune) 2024.10.15 updated“한국어 임베딩”Jul 102Jul 102
Youngjoon Jang배치 사이즈의 영향을 크게 받는 임베딩모델, 학습 시 배치 사이즈를 어떻게 키울까? (feat. Gradient cache)Gradient Cache vs. Gradient checkpointing vs. Gradient accumulationSep 2Sep 2
Youngjoon Jang[분산 처리 2] - Mixed Precision Training에 대해 알아보자 ! (MP, AMP, torch.cuda.amp)지난번부터 분산 처리에 대해 공부하면서, 이론적인 공부를 많이 하고 있다.Jul 31Jul 31
Youngjoon Jang[분산 처리 1]-DataParallel(DP) vs. DistributedDataParallel(DDP) (feat. Python GIL)모델을 학습해보면서, 분산 처리에 대한 중요성을 뼈저리게 느꼈다. 아무리 자원이 많더라도, 그 자원을 효율적으로 쓰지 않으면 말짱 도루묵이므로.. 최대한 자원을 효율적으로 잘 쓸 수 있는 방법을 공부해보고자 한다.Jul 12Jul 12
Youngjoon JangHuggingface Trainer TrainingArguments 및 Attributes 정리지난 글에서는 huggingface의 대표적인 training api, Trainer의 동작 원리에 대해서 알아보았다. 이번 글에서는 Trainer에 들어가는 arguments, TrainingArguments 및 Attributes에 대해서 알아볼…Jul 9Jul 9
Youngjoon JangHuggingface Trainer는 어떻게 학습 파이프라인을 만들었을까? (Trainer의 원리)요즘 거의 모든 모델 학습을 Huggingface의 Trainer API를 사용해서 진행한다. 그러나 실제로 Trainer가 어떻게 동작하는지, Trainer 내부에서 학습 파이프라인이 어떻게 구성돼 있는지 모르겠어서, 글로 정리해보기로 했다.Jul 8Jul 8
Youngjoon Jang[RESUMAI 프로젝트 7] v1.0 최종시험 기간 및 연구실 일들로 바빴던 6월이라, 프로젝트를 완성한 지는 좀 됐지만 뒤늦게라도 정리해보고자 글을 작성한다.Jun 30Jun 30
Youngjoon Jang[RESUMAI 프로젝트 6] LLM API, Pinecone과 DRF를 함께 써보자! (feat. Langchain, RAG, Lost-In-the-Middle)지난 글에서는 AWS를 이용해서 서버를 최종적으로 배포하는 방법에 대해서 알아보았다. 현재 우리는 로그인이 구현돼있고, 서버가 배포된 상태이다.Jun 30Jun 30
![[KoE5-v1.0] 최초의 한국어 특화 임베딩 모델 (Multilingual E5 Finetune) 2024.10.15 updated](https://miro.medium.com/v2/resize:fill:160:106/0*WnqgW1RUhYC-TIt8.jpg)
![[KoE5-v1.0] 최초의 한국어 특화 임베딩 모델 (Multilingual E5 Finetune) 2024.10.15 updated](https://miro.medium.com/v2/resize:fill:320:214/0*WnqgW1RUhYC-TIt8.jpg)
![[분산 처리 4] - ZeRO-DP 완전 이해 (feat. Deepspeed)](https://miro.medium.com/v2/resize:fill:160:106/0*aeFGbIH2a7w4Bv-9.png)
![[분산 처리 4] - ZeRO-DP 완전 이해 (feat. Deepspeed)](https://miro.medium.com/v2/resize:fill:320:214/0*aeFGbIH2a7w4Bv-9.png)
![[분산 처리 3] - Pipeline Parallelism과 Tensor Parallelism에 관하여](https://miro.medium.com/v2/resize:fill:160:106/0*GvDZJ53bo4wvKJKB.png)
![[분산 처리 3] - Pipeline Parallelism과 Tensor Parallelism에 관하여](https://miro.medium.com/v2/resize:fill:320:214/0*GvDZJ53bo4wvKJKB.png)
![[분산 처리 2] - Mixed Precision Training에 대해 알아보자 ! (MP, AMP, torch.cuda.amp)](https://miro.medium.com/v2/resize:fill:160:106/0*tahAOPenWfgzvBY4.png)
![[분산 처리 2] - Mixed Precision Training에 대해 알아보자 ! (MP, AMP, torch.cuda.amp)](https://miro.medium.com/v2/resize:fill:320:214/0*tahAOPenWfgzvBY4.png)
![[분산 처리 1]-DataParallel(DP) vs. DistributedDataParallel(DDP) (feat. Python GIL)](https://miro.medium.com/v2/resize:fill:160:106/1*2NQUddLoI-dFhAa4S-FNXA.png)
![[분산 처리 1]-DataParallel(DP) vs. DistributedDataParallel(DDP) (feat. Python GIL)](https://miro.medium.com/v2/resize:fill:320:214/1*2NQUddLoI-dFhAa4S-FNXA.png)
![[RESUMAI 프로젝트 7] v1.0 최종](https://miro.medium.com/v2/resize:fill:160:106/1*VHiw2FSkrd2WR1z7eyfQfA.png)
![[RESUMAI 프로젝트 7] v1.0 최종](https://miro.medium.com/v2/resize:fill:320:214/1*VHiw2FSkrd2WR1z7eyfQfA.png)
![[RESUMAI 프로젝트 6] LLM API, Pinecone과 DRF를 함께 써보자! (feat. Langchain, RAG, Lost-In-the-Middle)](https://miro.medium.com/v2/resize:fill:160:106/1*DgTByh29KNXMljgrEOST6w.png)
![[RESUMAI 프로젝트 6] LLM API, Pinecone과 DRF를 함께 써보자! (feat. Langchain, RAG, Lost-In-the-Middle)](https://miro.medium.com/v2/resize:fill:320:214/1*DgTByh29KNXMljgrEOST6w.png)
