[Week1] Python Basics for AI & AI Math_Overview [Day4]

Module and Project

남이 구현한 프로그램 쓰는법 → 모듈

파이썬에서는 .py 파일로 되어있음

import 문을 이용해서 모듈 호출

from ~ import 문으로 특정 함수만 호출 가능

as를 이용하여 별칭으로 사용 가능

Virtual Environment

프로젝트 진행시 필요한 패키지만 설치할 수 있는 환경

대표적으로 virtaulenv 와 conda가 있음

Exception/File/Log Handling

Exception

프로그램에서는 예상치 못한 예외들이 생김

→ 개발자가 사전에 인지 가능할 경우 명시적으로 정의해줘야함

예외 상황에서의 대처 필요

try~ except~ 구문 사용

try~ except~ else~ 구문 → else 부분에 예외 안일어났을때 상황

try~ except~ finally~ → finally 부분은 예외 발생 여부와 상관없이 실행

raise 구문으로 강제 예외 발생 가능

assert 구문은 특정 조건에 따라 예외 발생

File Handling

파이썬은 open 키워드를 사용해서 파일 처리

os 모듈을 사용하면 Dir 도 다룰수 있음

최근에는 pathlib 모듈을 사용하여 path를 객체로 다룸

Logging Handling

Logging → 프로그램이 실행되는 동안 일어나는 정보 기록하기

print로 남길 수 있지만 분석시 사용할 수가 없음

기본 모듈로 logging 모듈이 있다

프로그램 진행 상황에 따라 다른 level의 log를 출력한다.

 

실제 프로그램 실행 시 여러가지 설정이 필요함

• configparser -파일에 설정을 저장
• argparser - Console 창에서 실행시 setting 정보를 저장함, Command-Line Option 이라고 부름

Python data handling

Comma separate Values

CSV → 필드를 쉼표로 구분한 텍스트 파일

프로그램에 상관없이 사용가능한 데이터 형식

Web

Word Wide Web(WWW) 줄여서 웹이라고 부름

우리가 사용하는 인터넷 공간

웹의 동작 방식

 

웹 상의 정보를 구조적으로 표현하기 위한 언어

Tag를 사용해 요소 표시

일반적으로 웹브라우저가 해석/표시 함

eXtensible Markup Language

통칭 XML

데이터의 구조와 의미를 설명하는 TAG(MarkUp)을 사용하여 표시하는 언어

태그 사이에 값이 표시하고 구조적 정보 표현

정규표현식으로 Parsing이 가능

beautifulsoup으로 파싱함 보통

JavaScript Object Notation

Json이라 부름

간결성으로 기계,인간이 모두 이해하기 편함

데이터 용량이 적고 Code로 전환이 쉬움

XML 대체제로 활용

Python Dict와 매우 유사

통계학 맛보기

모수

통계적 모델링은 적절한 가정 위에서 확률분포를 추정 하는것이 목표이고 기계학습과 통계학이 공통적으로 추구하는 목표

하지만 유한한 개수의 데이터에서는 정확한 추정이 불가능

→ 근사적으로 확률분포를 추정

데이터가 특정 확률분포를 따른다 가정한뒤 그 분포의 모수를 추정하는 방법을 모수적 방법론 이라고 함

확률분포를 가정하지 않고 데이터 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면 비모수 방법론이라 부름

(기계학습 많은 방법론은 비모수 방법론에 속함)

최대가능도 추정법

이론적으로 가장 가능성이 높은 모수를 추정하는 방법중 하나가 최대 가능도 추정법임

 

데이터가 독립적으로 추출되었을 경우 로그가능도를 최적화 함

 

 

 

확률분포의 거리

• 쿨백 라이블러 발산

 

베이즈 통계학 맛보기

조건부 확률이란?

 

베이즈 정리

 

 

어떤 질병의 발병률이 10%라 할때

• 실제로 걸렸을 때 검진될 확률 99%
• 걸리지 않았을 때 오검진될 확률이 1%

이 때 질병이 걸렸다고 나왔을 때 정말로 감염됐을 확률은??

베이즈 정리를 통해 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률 계산 가능

조건부 확률은 유용한 해석을 제공하지만 인과관계를 추론시 함부로 사용 X