부스트캠프 AI Tech 7기. 7주차 회고록

 

7주차에는 첫 프로젝트가 마감합니다.

---

월요일 (31일차, 2024-09-23)

1. 새로 배운 내용

- .sh 파일을 이용해서 인자를 받아서 sh로 실행할 수 있음.

 

2. 피어세션 내용

- 오프라인 만남에서 지각한 팀원이 BoyWithUke - idtwcbf 노래를 불렀다.

- 피어세션 시간 경계가 없고, 프로젝트 관련된 내용을 하루종일 이야기 했다.

 

3. 회고

- 이제야 모델을 제대로 돌리기 시작한 것 같아서 다른 팀들보다 늦게 시작한 것 같지만 열심히 해봐야겠다.

---

 

화요일 (32일차, 2024-09-24)

1. 새로 배운 내용

- nohup을 이용해서 학습을 실행하면, 백그라운드로 실행되고, 터미널이 찍히는 내용을 log 파일로 볼 수 있음. 연결을 종료하더라도 실행은 지속됨.

 

2. 피어세션 내용

- 피어세션 시간 경계가 없고, 프로젝트 관련된 내용을 하루종일 이야기 했다.

 

3. 회고

- 논문을 읽으면서 classification을 잘 하기 위한 과정이 필요할 것 같은데, 코드를 작성하고 모델을 학습하는데 몰두하는 느낌이 들어서 좀 아쉽다.

---

수요일 (33일차, 2024-09-25)

1. 새로 배운 내용

- 파라미터가 작은 모델을 이용할 경우 이미지의 특징을 잘 잡아내지 못할 수 있기 때문에 최신 모델을 돌리는 것이 좋을 것 같음

- 최근에는 함수명이나 변수명을 길게 작성해서 주석 없이도 코드가 잘 이해될 수 있도록 함

 

2. 피어세션 내용

- 피어세션 시간 경계가 없고, 프로젝트 관련된 내용을 하루종일 이야기 했다.

 

3. 회고

- 다른팀에 비해 성능이 잘 나오지 않아서 크게 무언가를 놓치고 있는 것 같은데 알 수 없어서 너무 힘든 것 같다. 과연 어떤 핵심적인 아이디어가 있는 걸까..?

---

목요일 (34일차, 2024-09-26)

1. 새로 배운 내용

- 데이터셋이 많아야 큰 모델을 돌릴 수 있을 줄 알고, 적은 데이터셋의 프로젝트기 때문에 작은 모델로 높은 성능을 바랬는데, 그게 아니었음

- ViT 관련 큰 모델을 돌려야 높은 성능을 기대할 수 있음. 작은 모델은 이미지의 특징을 잡아내는데 한계가 있음

 

2. 피어세션 내용

- 우리가 첫 프로젝트를 진행하면서 아쉬웠던 부분과 다음에 개선하면 좋을 부분에 대해서 이야기를 나눴다. 다음 프로젝트에서는 EDA를 좀 더 꼼꼼하게 진행한 후에 데이터의 특성을 충분히 파악하고, model, loss, optimizer를 잘 선택하는 것이 중요한 것 같다.

- 성능을 올리기 위해 여러가지를 많이 사용하는 것보다 왜 그런 기술을 사용했는지에 대한 분석이 중요하다. 결국 성능이 올라간 이유를 제대로 찾지 못한다면 프로젝트를 진행하는 이유가 없을 수도 있다.

 

3. 회고

- 다른 팀들에 비해 성능이 잘 안나와서 나도 모르게 스트레스를 많이 받았던 것 같다. 머리로는 성능에 크게 연연하지 말자라고 생각하고 막상 성능이 잘 안나오는게 눈에 보이니까 흥분을 했던 것 같아서 팀원들한테 사과하고 싶다. 미안 ㅠ

- 모델을 선택할 때 왜 그런 선택을 했는지가 중요한 것 같다. 이러한 분석이 없다면 결국 운에 따라서 성적이 좌우될 것 같다.

 

---

금요일 (35일차, 2024-09-27)

1. 새로 배운 내용

- transfer learning은 마지막 classification head 부분을 학습해서 모델이 pretraind 된 parameter가 초기화 되지 않도록 해야함

- 큰 ViT모델은 구조가 block 단위기 때문에 뒤쪽에서부터 freeze를 풀면서 학습을 하는 방법을 채택할 수 있음

 

2. 피어세션 내용

- 스페셜 피어세션에서 다른 팀원들의 전략이나 협업 분위기 등을 알 수 있어서 좋았다. 우리 팀이 transfer learning을 못했기 때문에 성능이 안나왔지, 그것만 제외하면 정말 성공적인 협업이었던 것 같아서 만족스러웠다.

- 팀원들이 점점 자기 본모습을 보여주고 있고, 다들 순한 것 같다. 우리팀과 협업을 할 때 싸움은 나지 않을 것 같다.

 

3. 회고

- 이번 프로젝트에서 놓친 부분이 많은 것 같아서 많이 아쉽다. 더 노력했다면 많은 경험을 할 수 있었을 텐데, 로컬미니멈에 갇힌 느낌이었다.

- 진짜 다음 프로젝트는 쉬는날 없이 온 몸을 갈아 넣어야겠다.