부스트캠프 AI Tech 7기. 16주차 회고록

 

이번 주는 프로젝트를 마무리하고 Generative AI 강의를 수강합니다.

---

월요일 (76일차, 2024-12-02)

1. 새로 배운 내용

- Pretrained LM은 사전 학습된 언어 모델이며 각 태스크 별 Finetune을 통해 다양한 태스크에 적용할 수 있음.

- 생성형 이미지 모델은 크게 GAN, AE, Flow-based models, Duffusion models가 있음.

 

2. 피어세션 내용

- 이번주 모더레이터가 되어서 데일리스크럼과 피어세션에 주도하게 되었다.

- 팀원들이 다들 감기에 걸려서 목이 아파서 이야기 하기 힘들어했다. 감기조심!

 

3. 회고

- 프로젝트가 끝나고 다시 강의를 들으면서 공부하는 주차가 시작되었는데, 뭔가 허전한 기분이 든다. 프로젝트를 잘 마무리 한 것 같은데 막상 뒤돌아보면 많이 한게 없는 것 같기도 하고 아쉽기도 하다.. 다음 프로젝트가 시작될 때 까지 열심히 공부해서 성장해야겠다!

---

화요일 (77일차, 2024-12-03)

1. 새로 배운 내용

- Pylint를 이용하여 코드의 문제와 일관성 등을 점검할 수 있음.

- Pretrain Corpus는 사전학습을 위한 대량의 텍스트 데이터 집합으로, 여러 정제 작업을 통해 구축됨.

- Safety & Helpfulness를 충족하기 위해 Instruction Tuning이 진행되는데, SFT, Reward Modeling, RLHF가 진행됨.

 

2. 피어세션 내용

- 각자 이력서를 적었고, 피드백을 하는 시간을 가졌다. 다들 취업 준비를 하다보니까 신경써서 해주는 것 같다.

- Jira, Confluence는 현업에서 많이 사용하는 협업 툴인데, 사용하는법을 배워서 써보기로 했다.

 

3. 회고

- 오늘 멘토링에서 이력서 피드백을 세세하게 받아 보았다. 점점 사회로 나갈 준비를 마치고 있는데, 부족함이 많은 것 같다. 이력서를 잘 수정하고 포트폴리오도 슬슬 준비해야 될 것 같다. 나를 뽑아주는 사람이 있을지..

---

수요일 (78일차, 2024-12-04)

1. 새로 배운 내용

- PEFT는 모델의 모든 parameter를 학습하지 않고 일부 파라미터를 효율적으로 Finetuning 하는 방법으로 Adapter, Prefix Tuning, Prompt Tuning, Low-rank Adaptation 이 있음.

- PEFT 방법론은 huggingface의 라이브러리로 구현되어 있어 실제 학습에서 간편하게 이용 가능.

 

2. 피어세션 내용

- 티빙, 틸다의 컴퍼니데이를 듣고, 해커톤에서 어떤 주제를 할지 미리 정하고 공부하기로 계획을 세웠다.

- 컴피티션, 논문, 사이드 프로젝트 선택지를 두고 어떤 것을 진행하면 좋을지 고민하였다.

 

3. 회고

- 강의 내용이 너무 좋고 설명도 깔끔하게 잘 해주셔서 좋은 것 같다. CV 트랙인데도 MLP 트랙의 핵심적인 내용을 알 수 있는 주차인 것 같다. 열심히 필기하고 잘 이해하고 넘어가야겠다.

---

목요일 (79일차, 2024-12-05)

1. 새로 배운 내용

- 대표적인 Open-Source LLM에는 LLaMA가 있는데, 이를 활용해 기업에서 Self-Instruct를 진행해 니즈에 맞는 LLM을 구축함.

- Self-Instruct는 GPT API를 이용하여 여러 단계에 걸쳐 데이터를 구축함.

 

2. 피어세션 내용

- 각자 의견을 제시했는데, 논문을 읽는 것이 좋다는 결론이 나와서 어떤 논문을 읽을지 고민해오기로 했다.

- 카츠쇼신을 예약해서 논문 읽기 내기에서 진 팀이 쏘기로 했다.

 

3. 회고

- 랩업리포트, 동료피드백, 이력서 등등 여러 할 일이 너무 많아서 강의를 좀 몰아서 들은 것 같다. 다행히 이번주 강의가 양이 적어서 좋았다. 만약 많았으면 주말에도 나머지 공부 할 뻔 했다.

---

금요일 (80일차, 2024-12-06)

1. 새로 배운 내용

- LLM 평가하는 데이터가 있는데, 범용 태스크 수행 능력(MMLU), 일반 상식 능력(HellaSwag), 코드 생성 능력(HumanEval)등을 평가함.

- G-Eval은 정답이 존재하지 않는 태스크의 정성적 품질을 GPT-4를 통해 평가하는 방법론.

 

2. 피어세션 내용

- 비교적 최신 22, 23년도 논문을 정해서 Top-down 방식으로 읽기로 했다. 

- 선정 논문은 LLaVA와 BLIP이고, 우리 팀은 BLIP을 읽기로 했다.

 

3. 회고

- 드디어 논문을 제대로 읽어보는 것 같다. 논문을 읽는 법을 설명하는 논문도 있다는 것을 알게 되었고, 읽은 논문들을 TSTORY에 정리하면 나중에 많은 도움이 될 것 같다. 논문을 정리해서 올리려면 지금보다 2배는 더 부지런해져야 할 것 같다.