인공지능 자연어 처리

인공지능 자연어 처리
 
인공지능 딥러닝 학습 과정과 절차
- 딥러닝 학습은 최적의 가중치(weight)값들을 찾는 과정이며 딥러닝 학습 절차는 텍스트 전처리, 네트워크 모델 설계, 모델 훈련, 모델 예측 및 평가 절차에 따라 진행 됨.
 
딥러닝 자연어 처리 학습 절차
텍스트 전처리 → 네트워크 모델 설계 → 모델 훈련 →
모델 예측 및 평가 절차
 

 
※ 인공지능 딥러닝 모델과 학습 절차
- 인공지능 딥러닝 모델은 관측 값 (Observations)을 축적하여 데이터 (Data)를 구축하고, 머신러닝/딥러닝 알고리즘으로 데이터를 학습시켜 생성된 일반화된 규칙
- 딥러닝 학습은 최적의 가중치 (Weight)값들을 찾는 과정
- 딥러닝 학습 절차는 텍스트 전처리, 네트워크 모델 설계, 모델 훈련, 모델 예측 및 평가 절차에 따라 진행
- 인공지능 딥러닝 훈련 (Training) 단계에서는 Training 데이터와 Label 데이터를 설계된 모델에 입력하여 학습을 진행하고 결과물로 모델을 생성
- 인공지능 딥러닝 예측 (Prediction) 단계에서는 훈련 단계에서 생성된 모델에 Test 데이터를 입력하여 결과를 예측
 
※ 텍스트 전처리와 네트워크 모델 설계
- 텍스트 전처리는 정제, 불용어 제거, 어간 추출, 토큰화 및 문서 표현 등의 작업을 수행하는 단계
- One-hot 인코딩 (Encoding)은 전체 레이블 (Label) 수에 대해 표현하고자 하는 특정 단어 (Word) 만 '1'로 활성화한 벡터로 변환하는 방법으로 단어의 의미와 관계를 전혀 고려하지 않음
- 인공신경망은 입력층 (Input Layer), 은닉층 (Hidden Layer), 출력층 (Output Layer)으로 구성
 
※ 모델 훈련과 예측 및 평가
- 딥러닝 학습 데이터 중 훈련 데이터, 검증 데이터 및 테스트 데이터의 비율은 각각 50% - 30% - 20%로 이루어 짐
- 모델의 성능 평가지표로 일반적으로 많이 사용하는 것은 정확도 (Accuracy) 지표

능 자연어 처리를 위한 형태소 분석해 보기

- 형태소 분석
- 영문 형태소 분석
- 한글 형태소 분석
 
형태소 분석 개요
- 형태소 분석 개념
- 자연어 처리 분석 과정