부스트캠프 AI Tech 7기. 2주차 회고록

 

2주차에는 광복절이 껴있어서 하루가 밀렸습니다

---

월요일 (6일차, 2024-08-12)

1. 새로 배운 내용

- ML LifeCycle에 대한 정의는 작업 T에 대해 경험 E와 함께 성능 P를 향상시킨다.

- 결정 계수는  모델이 종속 변수의 변동성을 얼마나 설명하는지 나타내는 지표이다.

- 손실함수는 차별적 설정과 확률적 설정으로 나뉘고, 대부분의 경우 확률적 설정을 많이 사용한다.

 

2. 피어세션 내용

- 과제1 데이터 업로드에 대해서 이야기 했다. 너무 오래 걸려서 이상하다.

- 데이터사이언스 카운팅소트에 대한 이야기를 했고, 뒤에서 부터 시작하는 것과 앞에서 부터 시작하는 것에 대한 이야기를 했다.

 

3. 회고

-  주말동안 다들 데이터사이언스 영상을 보고 왔는데 나는 대전 여행 이슈로 1개 밖에 못들어서 정규타임에 들었다.

-  월요일이라 그런지 집중이 잘되서 스터디자료, 강의, 과제까지 쭉쭉 잘 진행된 거 같다.

 

---

 

화요일 (7일차, 2024-08-13)

1. 새로 배운 내용

- Upstream Gradient, Local Gradient, Downstream Gradient를 직접 계산해서 back propagation을 해보았다.

- activation function에서 Leaky ReLU, ELU를 알게 되었고, 실제로 sigmoid나 tanh는 마지막에만 사용한다.

- weight initialization 방법에 따라서 학습 결과가 달라진다는 것을 배웠다.

 

2. 피어세션 내용

- 완다 운영진님에게 과제와 강의에 허점에 대한 피드백을 전달드렸다.

-  노션 공유 페이지, 깃허브 과제 공유 레포지토리를 만들어서 팀원들이 더 많은 자료를 공유할 수 있게 했다.

 

3. 회고

- 계획은 기초신경망을 전부 듣는 것이였지만, 개인적으로 신경쓸게 많아서 집중력이 떨어졌다. 1.5개를 못들었다.

- 오늘 할 일을 내일로 미루는 것 같아서 더 열정적으로 해야겠다.

---

수요일 (8일차, 2024-08-14)

1. 새로 배운 내용

- 데이터에서 평균값을 빼서 zero-centering 한다. 이후 표준편차로 나눠 normalization한다.

└ weight의 작은 변화에 덜 민감해짐, optimizer하기 쉽다.

- 데이터를 정규화하여 zero-center을 만들고 축을 정렬해 PCA를 한다. 이후 convariance 행렬을 만들어 whitening 한다.

- 기울기 폭발 해결책은 클리핑. 클리핑이란 특정 threshhold값으로 최대값을 정하고, 비례적으로 축소하는 방법이다.

- 기울기 소멸 해결책은 LSTM, GRU가 있다.

 

2. 피어세션 내용

- 과제2에 back propagation이 너무 어려워서 다들 걱정이 많다.

- 과제2에 forward와 softmax에 대한 이야기를 했다.

 

3. 회고

- 과제2에서 편미분값을 계산했지만, 행렬 크기를 고려하면서 코드로 작성하려니까 너무 어렵다.

- 수식적인 내용과 이론적인 내용을 매치하는데 시간이 오래 걸리지만 이해하고 넘어가려 노력하는게 잘하고 있는 것 같다.

 

---

금요일 (9일차, 2024-08-16)

1. 새로 배운 내용

- auto-regressive generation이란 이전 단계의 출력이 다음 단계의 입력으로 들어간다.

- teacher forcing이란 training 단계에서 ground truth data를 입력으로 사용한다. 추론단계는 auto-regressive 

- Image Data에서도 CNN보다 Transformer가 성능이 더 좋다.

 

2. 피어세션 내용

- 스페셜 피어세션 후기를 바탕으로 서로 말을 편하게 하기로 했다.

- Data Augmentation 논문 파트별로 발표를 했다. 나는 Random Erasing 부분을 PPT로 만들어서 발표했다.

 

3. 회고

- 논문을 미리 읽어보고 왔어야 했는데, 스페셜 피어세션 전까지 준비해가지고 살짝 아쉽다.

- 이제 주말이라 좋다.

---

월요일 (10일차, 2024-08-19)

1. 새로 배운 내용

- Style Augmentation이라는 것을 처음 알게 되었고, 게임엔진을 이용해서 시뮬레이션 데이터를 생성하는 것을 처음 알았고, simGAN을 이용해서 데이터를 더 진짜처럼 바꿀 수 있다는 것을 알게 되었다.

- 과제2에 대해서 

 

2. 피어세션 내용

- Data Augmentation 논문 파트별로 발표를 했다. 나는 Neural Style Transfer 부분을 PPT로 만들어서 발표했다.

- 과제, 심화과제에 대한 이야기를 했다.

 

3. 회고

- 주말에 가평 빠지 다녀왔는데 열나고, 목아프고, 근육통 있다. 아마 코로나 일수도 있을 거 같다 ㅠ.ㅠ

- 주말에 할 일이 많았는데 아파서 제대로 못한게 아쉽다. 얼른 나아서 밀린 공부 해야겠다.