인공지능-기초4

기초이론 공부

Featured image

프로젝트 소개

인공지능 기초이론 학습

인공지능 기초이론 4

Deep Natural Language Processing(NLP)

단어, 문장들 속에서 의미를 찾아내는 것이 NLP의 궁극적인 목표

단어를 벡터로 표현하는 언어 모델링 방법

Distributed Representations

하나의 컨셉이 여러개의 뉴런으로 표현되고, 하나의 뉴런이 여러개의 컨셉으로 표현 가능하다.

Distributional Hypothesis

같은 문맥에서 나오는 단어는 유사한 의미를 갖고 있을 것이다.

Word2Vec (NIPS 2012, ICLR 2013)

CBOW, Skip-Gram 2가지 버젼이 있다.

Evaluation : Word Similarity Task

학습한 Word Vector들을 어떻게 평가할 것인가?

Problems of word-level approach

FastText ( =Subword Information Skip-Gram)

다른 유닛에 대해서도 Embedding을 진행하는 방식

NLP Trend : Transfer Learning from Lanuage Models

  1. Elmo
  1. Bert