[NN] Multi-Task Learning

카테고리 없음

devim 2023. 5. 19. 02:39

✔ 만들어지게 된 계기

머신러닝, 딥러닝

→ 많은 학습데이터 필요함.

→ 데이터가 부족한 경우 발생(ex. 의료 데이터, 제조 공정 고장 데이터)

→ 인간의 학습 방법

: 이전의 학습 경험을 현재의 학습에 접목시켜 더 빠르게 학습한다.

→ 연관성 있는 여러가지 Task를 동시에 학습한다.

→ Learned Representation을 공유

→ 성능 향상

✔ 전이학습과 MTL 의 차이점

전이학습	MTL
인간이 새로운 것을 학습할 때 이전에 학습했던 유사경험에 접목시켜 더 빨리 학습하는 것에서 영감을 얻어 개발됨.
target task와 source task가 구분되어 있어서 target task 의 학습 향상에 초점을 맞춤.	동시에 학습하는 모든 과제들에서 성능 향상을 도모

✔ MTL 의 장단점

장점	단점
Knowledge Transfer task A 를 학습하면서 얻은 유용한 정보가 다른 task B, task C 에 좋은 영향을 준다.	다른 task 에 악영향을 끼치는 task가 있을 수 있다.
overfitting 감소 여러 task를 동시에 맞추기 위해 보다 generalized 된 shared representation 을 학습	task balancing 의 어려움 task 마다 학습 난이도가 크게 차이 나면 수렴하지 않거나, 강력하지 않다.
computational efficiency 여러 task를 동시에 학습하여 효율적
real-world application 에 잘맞다 현실에서는 매우 다양한 task가 한 번에 요구되기 때문에 적절하다.

참고자료