Study/AI (7) 썸네일형 리스트형 [머신러닝/딥러닝] Language Modeling 2(언어 모델) N-gram - 이전에 등장한 모든 단어를 고려하는 것이 아니라 일부 단어만 고려하는 접근 방법을 사용한다. - 이때 일부 단어를 몇 개 보느냐를 결정하는데 이것이 n-gram에서의 n이 가지는 의미이다. - n-gram은 n개의 연속적인 단어 나열을 의미한다. - 갖고 있는 코퍼스에서 n개의 단어 뭉치 단위로 끊어서 이를 하나의 토큰으로 간주한다. 장점 단점 - 쉽게 대형 시스템에 적용 가능하다. - n-gram 훈련 및 추론 방식이 굉장히 쉽고 간편하다. - 등장하지 않은 단어 조합에 대처가 미흡하다. (단어를 discrete symbol로 취급하기 때문에 비슷한 단어에 대한 확률을 이용하지 못함) - 멀리 있는 단어에 대해 대처가 불가하다. - n이 커질수록 용량도 커진다. Neural Langua.. [머신러닝/딥러닝] Language Modeling 1 (언어모델) 언어모델(Language Model, LM) - 단어 시퀀스(또는 문장)에 확률을 할당하는 모델 - 문장 자체의 출현 확률 예측 or 이전 단어들이 주어졌을 때 다음 단어를 예측하기 위한 모델 - 단어와 단어 사이의 출현 빈도를 세어 확률을 계산한다. - 언어의 문장 분포를 정확하게 모델링하는 것이 목표이다. - 음성인식, 번역모델 등 다양한 곳에서 사용한다. 언어모델 수식 주어진 코퍼스 문장들의 likehood를 최대하 하는 파라미터를 찾아내, 주어진 코퍼스를 기반으로 언어의 분포를 학습한다. (코퍼스 기반으로 문장들에 대한 확률 분포 함수를 근사함) 1. Chain Rule - joint probability를 conditional probability로 펼친 것이다. 2. 문장에 대한 확률 이전 까.. [머신러닝/딥러닝] 이미지 어그멘테이션 (Image Augmentation) 이미지 어그멘테이션(Image Augmentation) 이란? 원본 이미지에 인위적인 변화를 주어 새로운 훈련 데이터를 대량으로 확보하는 방법이다. 쉽게 설명하면 이미지를 상하좌우로 뒤집거나 자르는 방식으로 새로운 이미지 데이터를 확보하는 것이다. 이는 모델 성능을 저해하는 과접합(overfiting) 문제를 해결할 수 있다. > 과접합(overfiting) : 훈련에 사용되는 이미지에 과도하게 학습되어서 새로운 이미지를 제대로 인식하지 못하는 현상 이미지 어그멘테이션(Image Augmentation)의 효과 이미지 어그멘테이션 기법을 적용하면 메모리 저장 공간을 차지하지 않고, 적은 수의 이미지 데이터로 매우 다양한 훈련 데이터를 사용하는 효과가 있다. 이미지 어그멘테이션(Image Augmentat.. [머신러닝/딥러닝] GAN 요약 정리 GAN(Generative Adversarial Network)이란? 생성적 적대 신경망, 경쟁을 통해서 배운다는 개념의 인공지능 기술 Generator (생성자) 와 Discriminator (판별자) 두 개의 모델이 동시에 적대적인 과정으로 학습시키며, 생성자 G는 실제 데이터 분포를 학습하고, 판별자 D는 원래의 데이터인지 생성자로부터 생성이 된 것인지 구분 GAN의 구조와 구성요소 G(Generator)와 D(Discriminator)를 적대적인 관계로 보면서 연쇄적인 과정을 거쳐 D(Discriminator)가 나중에는 판별하지 못 할 정도의 진짜 같은 이미지를 만들어냄 생성 모델 G(Generative Models) 실존하지 않지만 있을 법한 이미지를 생성할 수 있는 모델이미지 데이터의 분포를.. [머신러닝/딥러닝] 풀링 계층 (Pooling Layer , CNN) 1. 풀링 계층 (Pooling Layer) CNN에서 Pooling은 특징을 뽑아내는 역할을 수행한다. Pooling 이전의 과정을 살펴보면, 입력된 이미지가 convolution연산을 거치고, Activation function을 통과시켜 ReLu 연산을 통해 한 번 더 정리해주는 작업이 진행된다. 그렇게 생성된 이미지는(output feature map) 풀링 계층에 입력된다. 2. Pooling 연산의 종류 아래 그림은 스트라이드가 2로 설정된 풀링 계층의 동작 방식이다. 이를 통해 Max Pooling과 Average Pooling에 대해 알아보자. 2-1. Max Pooling Max Pooling 연산 방법은 가장 큰 값을 해당 영역의 대푯값으로 설정하는 것이다. 그리고 Max Pooling.. [머신러닝/딥러닝] 합성곱 신경망(Convolutional Neural Network , CNN) 1. 합성곱 신경망(Convolutional Neural Network, CNN) 합성곱 신경망(Convolutional neural network, CNN)은 시각적 영상을 분석하는 데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류이다. 딥러닝에서 심층 신경망으로 분류되며, 시각적 영상 분석에 주로 적용된다. 1-2. CNN의 구조 CNN은 총 3가지 레이어로 구성되있으며, 앞쪽 합성곱 계층(Convolution layer)과 풀링 계층(Pooling layer)은 특징을 뽑아내는 역할을 수행하고 뒤쪽 완전히 연결된 계층(fully-connected layer)은 분류 연산을 수행한다. 2. 합성곱 계층(Convolution Layer) 이미지 데이터는 높이X너비X채널로 표현되며, 이미지의 색상.. [모두를 위한 딥러닝 시즌2] Machine Learning의 용어와 개념 Machine Learning이란? 컴퓨터가 명시적으로 프로그래밍되지 않고 학습할 수 있는 능력을 제공하는 연구 분야 -Arthur Samuel(1959) Machine Learning의 종류 - Supervised vs Unsupervised learing Supervised learning : 레이블(traing set)이 정해져 있는 데이터로 학습 (ex. 이미지 라벨링, 이메일 스팸 필터, 시험 성적 예측 등) Unsupervised learning : 레이블(training set)이 정해져 있지 않고 데이터를 스스로 학습 Supervised Learning - Trainging data set Types of supervised learning -시험 성적 예측 시스템을 예를 들어 1. reg.. 이전 1 다음
