크크루쿠쿠

GPT-4V 라는 이름으로 이제 이미지도 Input으로 넣을 수 있는 GPT4 모델이 논문으로 공개되었다! 성능이 상상이상으로 좋은 것 같아 앞으로 어떤 일들이 벌어질지 큰 기대가 된다. 다만 논문에 성능에 대한 metric들이 공개가 안되어있어서 아쉬웠다. 하다못해 밑에 나오는 IQ test 결과라도 궁금했는데.. Introduction Motivation and Overview 지금까지 LLMs 은 엄청난 발전이 있었습니다. 다음으로는 large multimodal models(LMMs)은 LLM의 capabilities를 확장함으로써 general intelligence를 강화시킵니다. 지금까지는 Visual encoder를 LLM과 일치하도록 fine tuning 하거나 vision-languag..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다PAL(Program-Aided Language Models)이 논문은 자연어 문제를 읽고 intermediate reasing steps로 program을 생성하기 위해 LLM을 사용하는 방법을 제시합니다.PAL은 free-form text를 사용하는 CoT와는 다르게 python interpreter같은 programmatic runtime으로 해답 단계를 오프로드 합니다.예시를 들어봅시다.구체적으로 우리는 날짜에 대한 이해를 필요로하는 질문을 LLM에게 답하게 해봅시다. 우리는 아래와 같은 예시를 LLM에게 제공할겁니다.llm = OpenAI(model_..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다Advanced Prompting앞에 본거와 같이 프롬프트의 개선을 꼭 필요하다는 것이 분명해졌을것입니다.고급 개념으로 넘어가기 전에 몇 가지 개념을 좀더 다뤄봅시다.Zero-Shot Prompting오늘날의 LLM은 대량의 데이터와 명령들을 따르도록 tune 되어있어 zero shot task수행이 가능합니다.Prompt:Classify the text into neutral, negative, or positive. Text: I think the vacation is okay.Sentiment:Output:Neutral위의 예시처럼 우린 어떤 예시를 주지..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다Basic Prompting전에는 기본적인 예시를 소개했었습니다.이번 회차에는 프롬프트가 어떻게 쓰이는지에 대한 많은 예시와 고급 가이드에서 중요하게 다룰 핵심 개념을 소개합니다.예시를 보는 건 종종 best way이기 때문에 우리는 잘 만들어진 prompt로 예시를 이용해 잘 공부해 봅시다. Text Summarization가장 흔한 언어 모델에서의 task입니다. 다양한 분야와 유형이 포함될 수 있으며 가장 유망한 응용 분야는 기사 같은 것들을 빠르고 쉽게 요약하는 것입니다.한번 항생제에 대해 배우고 싶다 가정하면 다음과 같은 프롬프트를 작성해 볼 수 있습..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다.IntroductionPrompting Introduction프롬프트 엔지니어링은 다양한 애플리케이션과 연구 주제에 언어 모델(LM)을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 비교적 새로운 분야입니다. 프롬프트 엔지니어링 기술은 대규모 언어 모델(LLM)의 기능과 한계를 더 잘 이해하는 데 도움이 됩니다. 연구자들은 프롬프트 엔지니어링을 사용하여 질문 답변 및 산술 추론과 같은 일반적이고 복잡한 다양한 작업에서 LLM의 역량을 향상시킵니다. 개발자는 프롬프트 엔지니어링을 사용하여 LLM 및 기타 도구와 인터페이스하는 강력하고 효과적인 프롬..

Overview Data Engineering 이란. 사람이 직접 해야한다는게 문제 -> 이걸 자동으로 하자! AutoML DL model Configuration (Architecture, Hyperparameter)의 특징 1. 주요 타입 구분 A. Categorical : optimizer, module B. Continuous : learning rate, regularization param C. integer : batch_size 2. Conditional 한 configuration 에 따라 search space가 달라질 수 있음 A. Optimizer의 sample에 따라서 parameter의 종류, search space도 달라짐. B. Module의 sample에 따라 module의..

Introduction(경량화) 1) On device AI - 파워에 대한 제약이 있다. 2) AI on cloud - latency와 throughput의 제약이 존재한다. -> 사용량이 돈과 직결되기 때문에 3) Computation as a key component of AI progress 날이 갈수록 필요한 성능이 exponential 하게 증가함 경량화 분야 소개 경량화,최적화의 종류 - 네트워크 구조 관점 1. Efficient Architecture Design ( AutoML; NAS) 매년 나오는 블록 모듈들이 특성이 전부 다름 NAS -> 모델을 찾는 네트워크 -> 사람의 직관을 상회하는 모델을 찾을 수 있음. 2. Network Pruning 중요도가 낮은 파라미터를 제거하는 것...

문서형 가이드라인 예시 튜토리얼 가이드라인 예시 가이드라인의 구성 요소 데이터 수집 및 정제 작업 : 데이터 정의, 특성 분석, 정제 방식, 도구, 고려 사항 ->수집을 위한 가이드 라인 데이터 주석 작업 : 특성 분류 체계, 주석 방법 및 절차, 형식과 정의,주석 도구 사용법, 주석 완료 후 관리 방법, 반려 및 통과 기준 -> 주석을 위한 가이드 라인 데이터 검수 및 평가 : 검수 절차 정의, 검수 방식, 평가 지표, 검수 결과 분석법, 검수 결과 반영법 -> 검수를 위한 가이드라인 ex) 서울시 -> location 과 organization 둘다 가능한데 하나로만 정할것인가? 문맥에 따라 할것인가? 가이드라인 버전 관리 가이드라인은 구축과 검수 과정을 통해 지속적으로 개정되어야 함. 개정 전과 개..