Domain Adaptation(도메인 적응) 이란? | Transfer Learning(전이 학습) 이란?
Domain adaptation | Transfer Learning
우리가 관심이 있는 target domain 에는 데이터가 충분하지 않거나 데이터가 있더라도 label이 되어있지 않다. 이런 경우에는 target domain의 데이터만으로는 쓸만한 모델을 만들기가 어렵다.
반면, target domain 과 다른 도메인인 source domain 에는 label 이 잘 된 데이터가 충분히 많다. source domain의 데이터를 이용해서 모델을 만들고 학습시킨다. 이 모델을 target domain에 적용시킨다. 이것이 Domain adaptation 이다.
이 과정 전체에서 어떻게 하면 모델이 target domain 에서 더 효과적으로 작동할 수 있는지를 연구한다.
computer vision 이나 NLP 에서 쓰인다.
데이터가 부족한 target domain에 데이터가 충분한 source domain 을 잘 이용할 수 있는 방법을 다루는 개념이다.
TL에 대해서도 따로 포스팅을 할까 했는데 큰 개념 자체는 비슷하다. TL 이 상위 개념에 좀 더 오래 전부터 개념적으로 있었던 것 같고, DA가 TL 개념을 기반으로 최근에 새로 나온 것 같다. TL 과 관련된 개념은 Fine tuning 이 있다.
아래 링크를 들어가면 여러 설명을 볼 수 있다.
https://choice-life.tistory.com/40
Transfer Learning(전이 학습)
오늘날 딥러닝 분야에서 주요하게 연구되는 주제가 있습니다. 바로 Transfer Learning(전이 학습)입니다. Transfer Learning(전이 학습) 이란? (학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍
choice-life.tistory.com
https://en.wikipedia.org/wiki/Transfer_learning
Transfer learning - Wikipedia
From Wikipedia, the free encyclopedia Jump to navigation Jump to search applying previously-learned knowledge to new problems Transfer learning (TL) is a research problem in machine learning (ML) that focuses on storing knowledge gained while solving one p
en.wikipedia.org
https://hongdoki.github.io/2018/05/28/skimming-a-theory-of-learning-from-different-domains.html
도메인 적응 이론 논문 훑어보기 - “A theory of learning from different domains”
어떤 공장에서는 오랜 기간 제품 A를 생산해왔고, 생산 과정에서 발생한 결함 데이터를 기반으로 결함을 검출하는 분류기를 학습하여 사용하고 있었다. 그런데 시대가 변해 제품 A와는 비슷하지
hongdoki.github.io
https://jayeon8282.tistory.com/7
[논문 리뷰] Domain Adversarial Training of Neural Networks
이번 방학에는 domain adaptation 논문들을 정리하여 리뷰해 보려고 한다. 심심할 때 리눅스 쉘에서 자주 쓴 명령어도 정리해 기록해 보고자 한다. 지금 2020년도 기준으로 이번에 리뷰하는 [Domain Advers
jayeon8282.tistory.com
https://en.wikipedia.org/wiki/Domain_adaptation
Domain adaptation - Wikipedia
From Wikipedia, the free encyclopedia Jump to navigation Jump to search Field associated with machine learning and transfer learning Distinction between usual machine learning setting and transfer learning, and positioning of domain adaptation. Domain adap
en.wikipedia.org
Domain adaptation 과 Transfer Learning 의 차이
Transfer Learning 의 서브 필드가 Domain Adaptation 이다. 간단한 설명만 보면 두가지는 똑같은 것 처럼 보인다.
굳이 다른 두 개의 용어로 나뉜 이유가 있지 않을까 싶어서 두 개념의 차이점에 대해 찾아보았다.
Transfer Learning이 상위 개념인 것은 명확하지만, Domain Adaptation 을 딱잘라 정의하기는 어렵다.
위키피디아에서는 이렇게 분류하기도 하고
다른 데선 이렇게 분류하기도 한다
- 특징 공간은 같은데 확률 분포가 다른 상황에서 Domain Adaptation 을 쓴다.(https://wordbe.tistory.com/entry/ML-Semi-supervised-Learning-Transfer-Learning-설명)
- same feature space, but different distributions (https://en.wikipedia.org/wiki/Domain_adaptation)
위의 링크에서는 "transfer learning 중에서 특징 공간은 같은데 확률 분포가 다른 상황에서 domain adaptation을 쓴다", "same feature space, but different distributions" 라고 설명하기도 하고
이런 위의 링크에서는 transfer learning 과 domain adaptation 의 정확한 차이가 없고 혼용해서 쓴다고 하기도 하고, 미묘한 차이점을 설명해주기도 하는데 난 뭐가 다른지 모르겠다.
transfer learning 과 domain adaptation 을 구분하기보다는 그때그때 상황에 맞게 이해하면 될 것 같다.