부스트캠프 AI Tech 7기. 19주차 회고록

 

이번 주는 최적화와 경량회에 대해 공부하고, 크리스마스와 새로고침데이가 있어서 2주에 걸쳐서 진행됩니다.

---

월요일 (91일차, 2024-12-23)

1. 새로 배운 내용

- Pruning은 Structure Pruning은 뉴런, 채널 혹은 전체를 제거하는 방식이고, Unstructure Pruning은 연결된 가중치를 개별적으로 검증하여 독립적으로 제거하는 방식

- Pruning 할 파라미터를 선정할 때, 중요도로 계산하는 방법은 파라미터별로 절대값을 사용하거나 레이어별로 L^p-norm을 사용

- Pruning을 통해 계산된 중요도를 반영하는 단위로는 Global Pruning과 Local Pruning이 있음

 

2. 피어세션 내용

- 기업해커톤에 뽑히기 위해서 팀 소개페이지를 잘 마무리 하였다.

- 기업해커톤을 위해 제시했던 아이디어들을 멘토님께서 피드백을 해주셨고, 많은 아이디어중에서 좋은 아이디어를 선발했다.

 

3. 회고

- 기업해커톤이 시작되면 굉장히 힘들어 질 것 같다는 생각이 많이 들었다. Product Serving 파트에 대한 많은 고민과 공부를 병행해야 더 좋은 결과물을 만들 수 있을 것 같다.

---

화요일 (92일차, 2024-12-24)

1. 새로 배운 내용

- Knowledge Distillation은 Feature-based는 MSE를 이용, Logit-based는 KL Divergence를 이용, Limitation learning은 모방 학습을 함

- Knowledge DIstillation의 다른 종류로는 Multi-teacher, cross modal이 있음

 

2. 피어세션 내용

- 내일부터 긴 연휴가 있기 때문에 어떤 연휴를 보낼지 이야기를 나눴다.

- 해커톤에 대해서 계속 이야기를 나눴는데, 어떤 기업이 선정될지 몰라서 제대로된 계획을 세우기는 힘들었다.

 

3. 회고

- 올해의 마지막 부스트캠프를 진행하는 날이었는데, 굉장히 성실하지 못한 것 같다. 초반 분위기와 다르게 점점 풀어지는 느낌이 드는 것 같은데 새해부터는 다시 마음 다잡고 시작해야 될 것 같다.

---

목요일 (93일차, 2024-12-26)

1. 새로 배운 내용

- Quantization Mapping은 Absmax Quantization은 0을 기준으로 값들의 범위가 좌우 대칭으로 변환하고, Zero-point Quantization은 0을 고려하지 않고 전체 범위를 균일하게 변환하는 것

- Quantization은 양자화와 역양자화를 진행하기 위해서 Scale factor, Zero-point를 저장해서 값을 저장하고 복원하는 방식으로 사용함

 

2. 피어세션 내용

- 휴가

 

3. 회고

- 휴가

---

금요일 (94일차, 2024-12-27)

1. 새로 배운 내용

- PEFT에서 Adapter는 기존 네트워크의 가중치를 고정하고 레이어 사이의 새로운 Layer를 추가하여 Sequential하고 비선형 함수를 사용하고, 학습파라미터는 Weight와 Bias가 있음

- PEFT에서 LoRA는 기존 네트워크에서 가중치를 고정하고 병렬적으로 처리하고, 비선형함수를 사용하지 않고, 학습 파라미터는 Weight가 있음

 

2. 피어세션 내용

- 휴가

 

3. 회고

- 휴가

---

목요일 (95일차, 2025-01-02)

1. 새로 배운 내용

- Data Prarallelism은 큰 데이터를 여러 GPU들에 동시에 분할하여 처리함, Distributed Data Parallelism은 Master GPU 없이 각 GPU의 gradient를 AllReduce를 통해 동시에 업데이트

- Model Parallelism에서 Tensor Parallelism은 Row-wise, collum-wise가 있고, Pipeline Parallelism은 Synchronous, Asynchronous가 있음

 

2. 피어세션 내용

- 기업해커톤에서 주제를 선정할 때 정량적 평가 메트릭을 사용할 수 있을지에 대한 이야기를 나누었다.

- 주제가 아직 확정되지 않았지만, NLP와 CV를 융화하여 잘 사용할 수 있는 방법에 대해서 이야기를 나누었다.

 

3. 회고

- 이번주는 2주에 걸쳐서 진행했지만 쉬는날도 많아 여행을 다녀오고 노느라고 강의를 제대로 정리하지 못했다. 강의를 듣고 과제와 퀴즈를 서둘러서 하다보니까 그랬던 것 같다. 나중에 시간있을때 강의를 따로 정리해야 될 것 같다. 새해가 된 만큼 더 열심히 살도록 노력해야겠다.