크크루쿠쿠

하지말라하면 하지말자...

/usr/local/lib/python3.7/dist-packages/torch/utils/data/dataset.py in __getattr__(self, attribute_name) 81 return function 82 else: ---> 83 raise AttributeError 84 85 @classmethod AttributeError: 이렇게 비어있을 경우 보통 선언하지 않은 self 변수를 사용했을 가능성이 높다.

~/anaconda3/lib/python3.7/site-packages/torch/nn/modules/sparse.py in forward(self, input) 112 return F.embedding( 113 input, self.weight, self.padding_idx, self.max_norm, --> 114 self.norm_type, self.scale_grad_by_freq, self.sparse) 115 116 def extra_repr(self): ~/anaconda3/lib/python3.7/site-packages/torch/nn/functional.py in embedding(input, weight, padding_idx, max_norm, norm_type, scale_gra..

Overview Data Engineering 이란. 사람이 직접 해야한다는게 문제 -> 이걸 자동으로 하자! AutoML DL model Configuration (Architecture, Hyperparameter)의 특징 1. 주요 타입 구분 A. Categorical : optimizer, module B. Continuous : learning rate, regularization param C. integer : batch_size 2. Conditional 한 configuration 에 따라 search space가 달라질 수 있음 A. Optimizer의 sample에 따라서 parameter의 종류, search space도 달라짐. B. Module의 sample에 따라 module의..

Introduction(경량화) 1) On device AI - 파워에 대한 제약이 있다. 2) AI on cloud - latency와 throughput의 제약이 존재한다. -> 사용량이 돈과 직결되기 때문에 3) Computation as a key component of AI progress 날이 갈수록 필요한 성능이 exponential 하게 증가함 경량화 분야 소개 경량화,최적화의 종류 - 네트워크 구조 관점 1. Efficient Architecture Design ( AutoML; NAS) 매년 나오는 블록 모듈들이 특성이 전부 다름 NAS -> 모델을 찾는 네트워크 -> 사람의 직관을 상회하는 모델을 찾을 수 있음. 2. Network Pruning 중요도가 낮은 파라미터를 제거하는 것...

가끔 서버를 새로 할당받으면 이 에러가 뜬다. conda install -c conda-forge ipywidgets 커널에 이런 명령어를 쳐준 뒤 (pip install ipywidgets 도 가능하다) 꼭 커널을 Restart 해주고 사용하자.

Error tokenizing data. C error: Expected 11 fields in line 783401, saw 16 라는 error가 pandas.read_csv 도중 일어났다. 해결 방법은 pd.read_csv(path,error_bad_lines=False) 이렇게 error_bad_lines 를 False로 바꿔주면된다. 돌리는 도중 Skipping line 2002736: expected 11 fields, saw 16\n' 이런식으로 나오는 것을 보아 뭔가 csv 형식에 맞지 않는 line은 스킵해주는 parameter인것 같다.

문서형 가이드라인 예시 튜토리얼 가이드라인 예시 가이드라인의 구성 요소 데이터 수집 및 정제 작업 : 데이터 정의, 특성 분석, 정제 방식, 도구, 고려 사항 ->수집을 위한 가이드 라인 데이터 주석 작업 : 특성 분류 체계, 주석 방법 및 절차, 형식과 정의,주석 도구 사용법, 주석 완료 후 관리 방법, 반려 및 통과 기준 -> 주석을 위한 가이드 라인 데이터 검수 및 평가 : 검수 절차 정의, 검수 방식, 평가 지표, 검수 결과 분석법, 검수 결과 반영법 -> 검수를 위한 가이드라인 ex) 서울시 -> location 과 organization 둘다 가능한데 하나로만 정할것인가? 문맥에 따라 할것인가? 가이드라인 버전 관리 가이드라인은 구축과 검수 과정을 통해 지속적으로 개정되어야 함. 개정 전과 개..