일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- 부스트캠프
- LLM
- Linear Regression
- dl
- 파이썬
- 일기
- 코테
- prompt engineering
- machinelearning
- 코딩테스트
- BFS
- 알고리즘
- 머신러닝
- 프롬프트
- ChatGPT
- 프로그래머스
- deque
- LeetCode
- rnn
- Programmers
- transformer
- Linear Model
- Deeplearning
- Django
- GPT
- attention
- NLP
- gradient descent
- 기계학습
- Python
- Today
- Total
크크루쿠쿠
~/anaconda3/lib/python3.7/site-packages/torch/nn/modules/sparse.py in forward(self, input) 112 return F.embedding( 113 input, self.weight, self.padding_idx, self.max_norm, --> 114 self.norm_type, self.scale_grad_by_freq, self.sparse) 115 116 def extra_repr(self): ~/anaconda3/lib/python3.7/site-packages/torch/nn/functional.py in embedding(input, weight, padding_idx, max_norm, norm_type, scale_gra..
Overview Data Engineering 이란. 사람이 직접 해야한다는게 문제 -> 이걸 자동으로 하자! AutoML DL model Configuration (Architecture, Hyperparameter)의 특징 1. 주요 타입 구분 A. Categorical : optimizer, module B. Continuous : learning rate, regularization param C. integer : batch_size 2. Conditional 한 configuration 에 따라 search space가 달라질 수 있음 A. Optimizer의 sample에 따라서 parameter의 종류, search space도 달라짐. B. Module의 sample에 따라 module의..
Introduction(경량화) 1) On device AI - 파워에 대한 제약이 있다. 2) AI on cloud - latency와 throughput의 제약이 존재한다. -> 사용량이 돈과 직결되기 때문에 3) Computation as a key component of AI progress 날이 갈수록 필요한 성능이 exponential 하게 증가함 경량화 분야 소개 경량화,최적화의 종류 - 네트워크 구조 관점 1. Efficient Architecture Design ( AutoML; NAS) 매년 나오는 블록 모듈들이 특성이 전부 다름 NAS -> 모델을 찾는 네트워크 -> 사람의 직관을 상회하는 모델을 찾을 수 있음. 2. Network Pruning 중요도가 낮은 파라미터를 제거하는 것...
가끔 서버를 새로 할당받으면 이 에러가 뜬다. conda install -c conda-forge ipywidgets 커널에 이런 명령어를 쳐준 뒤 (pip install ipywidgets 도 가능하다) 꼭 커널을 Restart 해주고 사용하자.
Error tokenizing data. C error: Expected 11 fields in line 783401, saw 16 라는 error가 pandas.read_csv 도중 일어났다. 해결 방법은 pd.read_csv(path,error_bad_lines=False) 이렇게 error_bad_lines 를 False로 바꿔주면된다. 돌리는 도중 Skipping line 2002736: expected 11 fields, saw 16\n' 이런식으로 나오는 것을 보아 뭔가 csv 형식에 맞지 않는 line은 스킵해주는 parameter인것 같다.
문서형 가이드라인 예시 튜토리얼 가이드라인 예시 가이드라인의 구성 요소 데이터 수집 및 정제 작업 : 데이터 정의, 특성 분석, 정제 방식, 도구, 고려 사항 ->수집을 위한 가이드 라인 데이터 주석 작업 : 특성 분류 체계, 주석 방법 및 절차, 형식과 정의,주석 도구 사용법, 주석 완료 후 관리 방법, 반려 및 통과 기준 -> 주석을 위한 가이드 라인 데이터 검수 및 평가 : 검수 절차 정의, 검수 방식, 평가 지표, 검수 결과 분석법, 검수 결과 반영법 -> 검수를 위한 가이드라인 ex) 서울시 -> location 과 organization 둘다 가능한데 하나로만 정할것인가? 문맥에 따라 할것인가? 가이드라인 버전 관리 가이드라인은 구축과 검수 과정을 통해 지속적으로 개정되어야 함. 개정 전과 개..
VSCode 에서 python 커널이 죽어버리는 현상. 해결방법: conda install ipykernel --update-deps 만약 위의 코드가 동작하지 않을 시 conda install ipykernel --update-deps --force-reinstall
데이터 구축 프로세스 데이터 주석 데이터 주석 유형 1. 분류 문장 또는 텍스트에 대한 분류 레이블 주석하는 유형: 감성 분석, 주제 분류, 자연어 추론 등 -> 난이도는 낮은 편이다 데이터 주석 유형 2. 특정 범위(span) 주석 -NER, 형태 분석 텍스트 일부를 선택하여 특정 레이블을 주석하는 유형 - 개체명, 형태 분석 등 -> 난이도는 과제에 따라 다르다. 전체 Text에 하는것이 아닌 특정 단어, 어휘들에만 적용시킨다. 데이터 주석 유형 3. 대상 간 관계 주석 - 개체명 연결, 구문 분석 대상 간 관계를 주석해야 하는 유형 - 관계 추출, 개체명 연결, 구문 분석 등 2번 유형에 한번 더 하는것 -> 난이도가 올라감 데이터 주석 유형 4. 텍스트 생성 - 번역 주어진 텍스트에 대한 텍스트 ..