크크루쿠쿠

GPT-4V 라는 이름으로 이제 이미지도 Input으로 넣을 수 있는 GPT4 모델이 논문으로 공개되었다! 성능이 상상이상으로 좋은 것 같아 앞으로 어떤 일들이 벌어질지 큰 기대가 된다. 다만 논문에 성능에 대한 metric들이 공개가 안되어있어서 아쉬웠다. 하다못해 밑에 나오는 IQ test 결과라도 궁금했는데.. Introduction Motivation and Overview 지금까지 LLMs 은 엄청난 발전이 있었습니다. 다음으로는 large multimodal models(LMMs)은 LLM의 capabilities를 확장함으로써 general intelligence를 강화시킵니다. 지금까지는 Visual encoder를 LLM과 일치하도록 fine tuning 하거나 vision-languag..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다 PAL(Program-Aided Language Models) 이 논문은 자연어 문제를 읽고 intermediate reasing steps로 program을 생성하기 위해 LLM을 사용하는 방법을 제시합니다. PAL은 free-form text를 사용하는 CoT와는 다르게 python interpreter같은 programmatic runtime으로 해답 단계를 오프로드 합니다. 예시를 들어봅시다. 구체적으로 우리는 날짜에 대한 이해를 필요로하는 질문을 LLM에게 답하게 해봅시다. 우리는 아래와 같은 예시를 LLM에게 제공할겁니다. llm = OpenAI(..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다 Advanced Prompting 앞에 본거와 같이 프롬프트의 개선을 꼭 필요하다는 것이 분명해졌을것입니다. 고급 개념으로 넘어가기 전에 몇 가지 개념을 좀더 다뤄봅시다. Zero-Shot Prompting 오늘날의 LLM은 대량의 데이터와 명령들을 따르도록 tune 되어있어 zero shot task수행이 가능합니다. Prompt: Classify the text into neutral, negative, or positive. Text: I think the vacation is okay. Sentiment: Output: Neutral위의 예시처럼 우린..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다 Basic Prompting 전에는 기본적인 예시를 소개했었습니다. 이번 회차에는 프롬프트가 어떻게 쓰이는지에 대한 많은 예시와 고급 가이드에서 중요하게 다룰 핵심 개념을 소개합니다. 예시를 보는 건 종종 best way이기 때문에 우리는 잘 만들어진 prompt로 예시를 이용해 잘 공부해 봅시다. Text Summarization 가장 흔한 언어 모델에서의 task입니다. 다양한 분야와 유형이 포함될 수 있으며 가장 유망한 응용 분야는 기사 같은 것들을 빠르고 쉽게 요약하는 것입니다. 한번 항생제에 대해 배우고 싶다 가정하면 다음과 같은 프롬프트를 작성해 ..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다. Introduction Prompting Introduction 프롬프트 엔지니어링은 다양한 애플리케이션과 연구 주제에 언어 모델(LM)을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 비교적 새로운 분야입니다. 프롬프트 엔지니어링 기술은 대규모 언어 모델(LLM)의 기능과 한계를 더 잘 이해하는 데 도움이 됩니다. 연구자들은 프롬프트 엔지니어링을 사용하여 질문 답변 및 산술 추론과 같은 일반적이고 복잡한 다양한 작업에서 LLM의 역량을 향상시킵니다. 개발자는 프롬프트 엔지니어링을 사용하여 LLM 및 기타 도구와 인터페이스하는 강력하고 효과적인..

Overview Data Engineering 이란. 사람이 직접 해야한다는게 문제 -> 이걸 자동으로 하자! AutoML DL model Configuration (Architecture, Hyperparameter)의 특징 1. 주요 타입 구분 A. Categorical : optimizer, module B. Continuous : learning rate, regularization param C. integer : batch_size 2. Conditional 한 configuration 에 따라 search space가 달라질 수 있음 A. Optimizer의 sample에 따라서 parameter의 종류, search space도 달라짐. B. Module의 sample에 따라 module의..

Introduction(경량화) 1) On device AI - 파워에 대한 제약이 있다. 2) AI on cloud - latency와 throughput의 제약이 존재한다. -> 사용량이 돈과 직결되기 때문에 3) Computation as a key component of AI progress 날이 갈수록 필요한 성능이 exponential 하게 증가함 경량화 분야 소개 경량화,최적화의 종류 - 네트워크 구조 관점 1. Efficient Architecture Design ( AutoML; NAS) 매년 나오는 블록 모듈들이 특성이 전부 다름 NAS -> 모델을 찾는 네트워크 -> 사람의 직관을 상회하는 모델을 찾을 수 있음. 2. Network Pruning 중요도가 낮은 파라미터를 제거하는 것...

문서형 가이드라인 예시 튜토리얼 가이드라인 예시 가이드라인의 구성 요소 데이터 수집 및 정제 작업 : 데이터 정의, 특성 분석, 정제 방식, 도구, 고려 사항 ->수집을 위한 가이드 라인 데이터 주석 작업 : 특성 분류 체계, 주석 방법 및 절차, 형식과 정의,주석 도구 사용법, 주석 완료 후 관리 방법, 반려 및 통과 기준 -> 주석을 위한 가이드 라인 데이터 검수 및 평가 : 검수 절차 정의, 검수 방식, 평가 지표, 검수 결과 분석법, 검수 결과 반영법 -> 검수를 위한 가이드라인 ex) 서울시 -> location 과 organization 둘다 가능한데 하나로만 정할것인가? 문맥에 따라 할것인가? 가이드라인 버전 관리 가이드라인은 구축과 검수 과정을 통해 지속적으로 개정되어야 함. 개정 전과 개..