티스토리 뷰
✔ 만들어지게 된 계기
머신러닝, 딥러닝
→ 많은 학습데이터 필요함.
→ 데이터가 부족한 경우 발생(ex. 의료 데이터, 제조 공정 고장 데이터)
→ 인간의 학습 방법
: 이전의 학습 경험을 현재의 학습에 접목시켜 더 빠르게 학습한다.
→ 연관성 있는 여러가지 Task를 동시에 학습한다.
→ Learned Representation을 공유
→ 성능 향상
✔ 전이학습과 MTL 의 차이점
| 전이학습 | MTL |
| 인간이 새로운 것을 학습할 때 이전에 학습했던 유사경험에 접목시켜 더 빨리 학습하는 것에서 영감을 얻어 개발됨. |
|
| target task와 source task가 구분되어 있어서 target task 의 학습 향상에 초점을 맞춤. | 동시에 학습하는 모든 과제들에서 성능 향상을 도모 |
✔ MTL 의 장단점
| 장점 | 단점 |
| Knowledge Transfer task A 를 학습하면서 얻은 유용한 정보가 다른 task B, task C 에 좋은 영향을 준다. |
다른 task 에 악영향을 끼치는 task가 있을 수 있다. |
| overfitting 감소 여러 task를 동시에 맞추기 위해 보다 generalized 된 shared representation 을 학습 |
task balancing 의 어려움 task 마다 학습 난이도가 크게 차이 나면 수렴하지 않거나, 강력하지 않다. |
| computational efficiency 여러 task를 동시에 학습하여 효율적 |
|
| real-world application 에 잘맞다 현실에서는 매우 다양한 task가 한 번에 요구되기 때문에 적절하다. |
참고자료
http://yunshengb.com/wp-content/uploads/2017/11/Multi-Task-Machine-Learning.pdf