자연어 전 처리(Preprocessing) - 단어 표현(Word Embedding) - 모델 적용하기(Modeling)
자연어 전 처리 방법은 Noise canceling, Tokenizing, StopWord removal 과 같은 과정이 필요함
Noise canceling - 자연어 문장의 스펠링 체크 및 띄어쓰기 오류 교정을 함
Tokenizing - 문장을 토큰화 시킴. 토큰은 어절, 단어 등으로 목적에 따라 다르게 정의를 함
StopWord - 불필요한 단어를 의미하는 불용어를 제거함
'기타 > What I Learned' 카테고리의 다른 글
| [TIL] 파이썬으로 익히는 STEAM 코딩(21.11.22) (0) | 2021.11.22 |
|---|---|
| [TIL] 2021.11.20 (0) | 2021.11.20 |
| [TIL] 2021.11.16 (0) | 2021.11.16 |
| [TIL] 2021.11.15 (0) | 2021.11.15 |
| [TIL] 2021.11.11 (0) | 2021.11.11 |