크크루쿠쿠

Generative Models Part 1 Introduction What I cannot create I do not understand. generative model을 알게 된다면 단순 이미지 생성이 아닌 다양한 일이 가능해진다. What does it mean to learn a generative model? GAN 뿐만이 아닌 다양한 분야 ex) 강아지의 이미지가 주어진다. -> 강아지를 sampling 하는 model. Generation: train data에 있는것이 아닌 다른것 생성. Density estimation: 어떤 image가 주어졌을때 그 image가 dog 같은지 구분. (anomaly detection) classification과 비슷. - explicit model..

Transformer Sequential Model What makes sequential moedling a hard problem to handle? 이러한 다른 sequence 를 다루기 힘들어짐. Transformer Transformer is the first sequence transduction model based entirely on attention. -> recurrent한 구조X, attention 이라는 구조 활용 기계어 번역 뿐만 아니라 이미지 분류에도 활용될정도로 많은 활용가치가 있음. model 자체는 하나의 model이다. -> 몇개의 단어가 들어가든 한번에 처리함. - Encoder The Self-Attention in both encoder and decoder is ..

RNN (Recurrent Neural Networks) Sequential Model Sequential data -> 길이가 fixed 된 것이 아니라 dimension을 알 수가 없다 -> CNN, Fully Connected 사용할 수 없음. - Naive sequence Model 고려해야 될 과거 정보가 증가함. -> 가장 쉬운 방법으로는 Fix the past timespan - Markov model (first-order autogressive model) 바로 전 과거 data에만 의존함. -> 버려지는 정보가 많음 - Latent autoagressive model Output만 보면 이전 정보만 보는것 같지만 Hidden state에 과거 정보가 요약되어 있음. Recurrent N..

Convolution은 무엇인가? Convolution - Continuous convolution - Discrete convolution - 2D image convolution (우리가 아는 것) padding 이나 stride를 고려하지 말고 보면 여러개의 feature map이 생기는 이유? -> 여러개의 filter를 가짐으로써 가질 수 있다. Stack of Convolutions parameter 수는? 1차 conv -> 5x5x3x4 kernel size * input channel * output channel 로 parameter 수를 구할 수 있음. CNN 고전적인 CNN model -> fc 가기 전에 feature를 뽑는과정임 -> parameter 수를 줄이고 generali..

Optimization Gradient Descent - loss function의 gradient 값들을 이용해서 학습 - 1차 미분한값만 사용 - 반복적으로 하여 local minimum을 찾음 Important Concepts in Optimization - Generalizaion How well the learned model will behave on unseen data -> training error 가 0이라고 최적X Generalization gap을 줄이는것. - Underfitting vs Overfitting concept 적인 얘기임 - Cross-validation train data 를 K개로 나눠 1개씩을 계속 뽑아 validation 함. K-fold 라고도 함 최적의 h..

논문 주소: https://arxiv.org/abs/1905.11946 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing n arxiv.org Abstract CNN 은 fix..

Historical Review Introduction - Disclaimer 분야도 많고 각자만의 특징이 다 다르다 - What make you a good deep learner? 1. Implementation Skills 구현 능력 2. Math Skills 이번주 수업에서 주로 다룰 내용 3. Knowing a lot of recent Papers 요즘 대세? 어떤 발전이 있는가 하지만 이번주 수업은 아님 인공지능 인간의 지능을 모방하는것 ml -> 학습을 data를 통해 하는 것 dl -> model 이 neural network를 사용하는 것 Key Components of Deep learning 1. The data that the model can learn from - classifi..

Numpy 행렬과 매트릭스를 어떻게 코드로 표현할것인가? → list로 표현 하지만 list의 경우에는 큰 데이터 처리에 부적합 → 메모리 효율이 좋지 않음 이를 해결하기위해 numpy 라는 패키지를 사용 Numerical Python 파이썬 과학 계산용 패키지 → 다씀 Array 연산의 표준 list에 비해 빠르고 효율적 for 문 없이 데이터 배열에 대한 처리 제공 다양한 기능 제공 np.array 함수를 활용해 배열을 생성한다. List와 가장 큰 차이점은 dynamic typing not supported → 여러가지 data type을 넣을 수 없음 Handling shape reshape Array의 shape 크기를 변경함 → element의 갯수는 동일함 flatten 다차원 array를 ..