NLP
[인공지능/AI]Few-shot Learning in NLP(자연어처리)
Few-shot Learning 개념 메타 학습에서 나온 갈래로, "Learn to learn"으로 일컫는다. 적은 데이터와 적은 연산으로 학습을 진행한다. 대량의 데이터로 학습하는 일반적 딥러닝 방법론과 다르게, Few-shot Learning은 고양이, 개와 같은 동물 사진 몇개를 가지고 처음 보는 사진의 동물을 분류해냅니다. Few-shot Learning은 Training set, Support set, Query image를 필요로 한다. Training set으로 구분하는 법을 배우고, Query image를 인풋으로 Support set 중 어떤 것과 같은 종류인지 분류한다. 즉 Query image가 Support set과 같은지 다른 종류인지 판단하는 것. 하지만 Few-shot Lear..
[논문리뷰]Generative Pretraining from Pixels_ImageGPT/OpenAIGPT/이미지GPT
[Chen et al. 2020] Generative Pretraining from Pixels 2020, ICML 논문 기재 자연어처리로 유명한 OpenAIGPT를 만든 회사, OpenAI에서 쓴 논문입니다. 자연어처리에서 사용하는 GPT모델을 이미지에도 사용하였다는 신기한 내용의 논문이라서 읽어보고 리뷰해보았습니다. 'NLP의 단어들 = 이미지 픽셀' 이라고 생각하고 처리하였다고 보시면 됩니다. 자연어처리에서 단어들로 빈칸을 예측하여 채웠듯, 이미지 픽셀로 채운 것입니다. "이미지GPT(Image GPT)"로 알려진 논문입니다. GPT-3는 자연어처리에서 소설 쓰기, 이메일 답장, 가계부 완성, 자동 웹페이지 작성 등의 작업을 할 수 있다고 합니다. 이를 이미지에도 적용시킨 것이 재밌어서 리뷰해보았습..