크크루쿠쿠

Pytorch Operations Numpy + AutoGrad(자동 미분) -> pytorch 뿐만이 아니더라도 tf에서도 마찬가지임. - Tensor 다차원 Arrays를 표현하는 Pytorch class 사실상 numpy의 ndarray와 동일 (tensorflow의 tensor와 동일.) tensor 생성은 list나 ndarray를 사용 가능 data to tensor data = [[3, 5],[10, 5]] x_data = torch.tensor(data) x_data 이 방법은 쓸일 없을것 ndArray to tensor nd_array_ex = np.array(data) tensor_array = torch.from_numpy(nd_array_ex) tensor_array 대부분의 사용법..

Generative Models Part 1 Introduction What I cannot create I do not understand. generative model을 알게 된다면 단순 이미지 생성이 아닌 다양한 일이 가능해진다. What does it mean to learn a generative model? GAN 뿐만이 아닌 다양한 분야 ex) 강아지의 이미지가 주어진다. -> 강아지를 sampling 하는 model. Generation: train data에 있는것이 아닌 다른것 생성. Density estimation: 어떤 image가 주어졌을때 그 image가 dog 같은지 구분. (anomaly detection) classification과 비슷. - explicit model..

Transformer Sequential Model What makes sequential moedling a hard problem to handle? 이러한 다른 sequence 를 다루기 힘들어짐. Transformer Transformer is the first sequence transduction model based entirely on attention. -> recurrent한 구조X, attention 이라는 구조 활용 기계어 번역 뿐만 아니라 이미지 분류에도 활용될정도로 많은 활용가치가 있음. model 자체는 하나의 model이다. -> 몇개의 단어가 들어가든 한번에 처리함. - Encoder The Self-Attention in both encoder and decoder is ..

RNN (Recurrent Neural Networks) Sequential Model Sequential data -> 길이가 fixed 된 것이 아니라 dimension을 알 수가 없다 -> CNN, Fully Connected 사용할 수 없음. - Naive sequence Model 고려해야 될 과거 정보가 증가함. -> 가장 쉬운 방법으로는 Fix the past timespan - Markov model (first-order autogressive model) 바로 전 과거 data에만 의존함. -> 버려지는 정보가 많음 - Latent autoagressive model Output만 보면 이전 정보만 보는것 같지만 Hidden state에 과거 정보가 요약되어 있음. Recurrent N..

Convolution은 무엇인가? Convolution - Continuous convolution - Discrete convolution - 2D image convolution (우리가 아는 것) padding 이나 stride를 고려하지 말고 보면 여러개의 feature map이 생기는 이유? -> 여러개의 filter를 가짐으로써 가질 수 있다. Stack of Convolutions parameter 수는? 1차 conv -> 5x5x3x4 kernel size * input channel * output channel 로 parameter 수를 구할 수 있음. CNN 고전적인 CNN model -> fc 가기 전에 feature를 뽑는과정임 -> parameter 수를 줄이고 generali..

1.1 데이터 시각화 데이터가 우선적으로 필요 1. dataset 관점 (global) 2. 개별 data의 관점 (local) 1.2 데이터셋의 종류 - 정형 데이터 테이블 형태로 제공되는 데이터 csv, tsv 파일로 제공 - 시계열 데이터 시간 흐름에 따른 데이터 ex) 주가, 기온, 음성, 비디오 - 지리 데이터 지도 정보를 단순화 시키는 경우도 존재. - 관계 데이터 객체와 객체 간의 관계를 시각화 -> Graph Visualization Node, Link 등등.. 크기, 색, 수 등으로 객체와 관계의 가중치를 표현 - 계층적 데이터 포함 괌계가 분명한 데이터 -> 네트워크 시각화로도 표현 가능 Tree, Treemap 등이 대표적 이러한 data를 4가지로 분류 - 수치형 -> 연속형, 이산..

Optimization Gradient Descent - loss function의 gradient 값들을 이용해서 학습 - 1차 미분한값만 사용 - 반복적으로 하여 local minimum을 찾음 Important Concepts in Optimization - Generalizaion How well the learned model will behave on unseen data -> training error 가 0이라고 최적X Generalization gap을 줄이는것. - Underfitting vs Overfitting concept 적인 얘기임 - Cross-validation train data 를 K개로 나눠 1개씩을 계속 뽑아 validation 함. K-fold 라고도 함 최적의 h..

논문 주소: https://arxiv.org/abs/1905.11946 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing n arxiv.org Abstract CNN 은 fix..