크크루쿠쿠

Module and Project 남이 구현한 프로그램 쓰는법 → 모듈 파이썬에서는 .py 파일로 되어있음 import 문을 이용해서 모듈 호출 from ~ import 문으로 특정 함수만 호출 가능 as를 이용하여 별칭으로 사용 가능 Virtual Environment 프로젝트 진행시 필요한 패키지만 설치할 수 있는 환경 대표적으로 virtaulenv 와 conda가 있음 Exception/File/Log Handling Exception 프로그램에서는 예상치 못한 예외들이 생김 → 개발자가 사전에 인지 가능할 경우 명시적으로 정의해줘야함 예외 상황에서의 대처 필요 try~ except~ 구문 사용 try~ except~ else~ 구문 → else 부분에 예외 안일어났을때 상황 try~ except~..

Python data structure Stack LIFO 형식의 자료구조 리스트를 사용해 구현가능 Queue FIFO -형식의 자료구조 이 또한 list를 통해 구현가능 Tuple 값의 변경이 불가능한 리스트 → 데이터가 변하면 안될 때 사용 Set 값을 순서, 중복 없이 저장하는 자료형 집합연산 가능 Dict 데이터를 저장할 때 구분지을 수 있는 값과 함께 저장 key와 value를 매칭 → 다른 언어에서 hash table로 불림 Namedtuple Tuple 형태로 Data 구조체 저장 Pythonic code List comprehension 일반적으로 for+append 보다 빠름 Enumerate & Zip enumerate → list 같은것들 추출할 때 index와 같이 추출 zip→ 여..

Function and Console I/O Function 어떤 일을 하는 코드의 덩어리 parameter → 함수의 입력 값 인터페이스 argument → 실제로 함수에 들어간 값 Console IN/OUT input,print 등이 있음 print formatting Conditionals and Loops for문 while문 if문 elif문 String and advanced function concept 특수문자 사용시 \ 를 쓰고 그 뒤에 쓰자 함수 내에서 global 변수 사용시 global 명시해주자 Gradient Descent 미분을 이용해서 극점에 도달하게끔 다변수인 벡터가 입력될 경우에는 편미분을 사용하여 Gradient Vector를 찾아준다. 무어 펜로즈 역행렬을 이용하여 선..

Basic computer class for newbies OS Operating System → 우리의 프로그램이 동작할 수 있는 구동 환경 File System OS에서 파일을 저장하는 트리구조 저장 체계 기본적으로 파일과 디렉토리로 나뉨 Terminal 마우스가 아닌 키보드로 명령을 입력프로그램 → CLI Console=Terminal=CMD 기본 명령어 cd, clear, cp, rm, ls 등등... Python -플랫폼 독립적 플랫폼=OS → OS 상관없이 사용가능 -인터프리터 언어 소스코드를 바로바로 실행 가능 별도의 번역과정X -객체 지향 단위 모듈 중심으로 프로그램 작성 -동적 타이핑 언어 실행되는 시점에 데이터에 대한 타입 결정 Why Python -쉽고 간단하다! -다양한 라이브러리 ..

Text Classification Input : natural language sentence/paragraphOutput: category → text가 어디에 속해있는가?ex) spam, gmail categorization, election 하지만 언어 자체는 arbitrary 함!→ 어떻게 하지 그럼? Tokentoken은 그냥 아무렇게나 sentence를 쪼개놓은것 단어들을 찾아서 indexing 해줌→ integer index로 바뀜 Table Lookup하지만 이것도 arbitrary 하다. 우리는 neural net 이 의미를 capture할 수 있도록 해야함→ 각 토큰마다 continuous 한 vector를 줌 one hot vector와 weight matrix를 곱해줌 이를 Tab..

PyTorch forward/backward pass Forward pass. → 값을 대입함으로써 loss를 계산하는 과정 Backward pass ← 계산된 loss를 이용하여 뒷 방향으로 gradient값 chain rule이용해 넘겨줌 PyTorch Rhythm 1. model을 class와 Variables를 사용해서 디자인 해라 torch model에서 필요한 두가지 __ init __ forward init 함수는 말그대로 생성자 느낌. 여기 예시에서는 한개의 input 이 들어가 한개의 output이 나오므로 torch.nn.Linear(1,1)로 해줌 forward는 x라는 input을 model에 넣었을 때 예상값 2. loss함수와 optimizer 결정 전에 배웠던 MSE loss ..

역전파 알고리즘 Backpropagation 전에 본 예시들처럼 간단하다면 상관X But 인공지능 신경망이 이렇게 복잡하다면? → loss에 대한 gradient 값을 계산 불가능 농구의 자유투 연습을 생각해보자 자유투를 던지는 과정 → 순전파 과정 (forward propagation) 공이 도착한 위치를 보고 던지는 위치 수정 → Backpropagation 즉 loss를 구한 다음 그 loss를 뒤로 전파해가면서 변수들을 갱신해주는 것 그렇담 어떻게? Chain rule 역전파 방식을 사용하기 위해선 이 chain rule을 이용해야한다. 이런 방식으로 뒤로 미분값을 계속 곱해줌으로써 모든 parameter의 loss에 대한 미분값을 알 수 있음. 예시 y=w*x의 경우를 예시로 들어보자 x=1,y..

What is the learning? loss(MSE)를 최소화하는 w를 찾는것! 그렇담 어떻게 찾아야할까? Gradient Descent algorithm 편미분을 사용한다! 편미분을 사용해서 w값을 점점더 loss의 minimum값으로 이동시켜줌 이때 편미분값을 이용하여 한번 이동시 얼만큼 이동하느냐? 에 사용되는 parameter인 알파 즉 learning rate가 사용된다. Code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 # Training Data x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6..