크크루쿠쿠

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다 PAL(Program-Aided Language Models) 이 논문은 자연어 문제를 읽고 intermediate reasing steps로 program을 생성하기 위해 LLM을 사용하는 방법을 제시합니다. PAL은 free-form text를 사용하는 CoT와는 다르게 python interpreter같은 programmatic runtime으로 해답 단계를 오프로드 합니다. 예시를 들어봅시다. 구체적으로 우리는 날짜에 대한 이해를 필요로하는 질문을 LLM에게 답하게 해봅시다. 우리는 아래와 같은 예시를 LLM에게 제공할겁니다. llm = OpenAI(..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다 Advanced Prompting 앞에 본거와 같이 프롬프트의 개선을 꼭 필요하다는 것이 분명해졌을것입니다. 고급 개념으로 넘어가기 전에 몇 가지 개념을 좀더 다뤄봅시다. Zero-Shot Prompting 오늘날의 LLM은 대량의 데이터와 명령들을 따르도록 tune 되어있어 zero shot task수행이 가능합니다. Prompt: Classify the text into neutral, negative, or positive. Text: I think the vacation is okay. Sentiment: Output: Neutral위의 예시처럼 우린..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다 Basic Prompting 전에는 기본적인 예시를 소개했었습니다. 이번 회차에는 프롬프트가 어떻게 쓰이는지에 대한 많은 예시와 고급 가이드에서 중요하게 다룰 핵심 개념을 소개합니다. 예시를 보는 건 종종 best way이기 때문에 우리는 잘 만들어진 prompt로 예시를 이용해 잘 공부해 봅시다. Text Summarization 가장 흔한 언어 모델에서의 task입니다. 다양한 분야와 유형이 포함될 수 있으며 가장 유망한 응용 분야는 기사 같은 것들을 빠르고 쉽게 요약하는 것입니다. 한번 항생제에 대해 배우고 싶다 가정하면 다음과 같은 프롬프트를 작성해 ..

이 글은 https://github.com/dair-ai/Prompt-Engineering-Guide 를 공부하기 위해 제 입맛대로 번역한 글입니다. Introduction Prompting Introduction 프롬프트 엔지니어링은 다양한 애플리케이션과 연구 주제에 언어 모델(LM)을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 비교적 새로운 분야입니다. 프롬프트 엔지니어링 기술은 대규모 언어 모델(LLM)의 기능과 한계를 더 잘 이해하는 데 도움이 됩니다. 연구자들은 프롬프트 엔지니어링을 사용하여 질문 답변 및 산술 추론과 같은 일반적이고 복잡한 다양한 작업에서 LLM의 역량을 향상시킵니다. 개발자는 프롬프트 엔지니어링을 사용하여 LLM 및 기타 도구와 인터페이스하는 강력하고 효과적인..

Text Classification Input : natural language sentence/paragraphOutput: category → text가 어디에 속해있는가?ex) spam, gmail categorization, election 하지만 언어 자체는 arbitrary 함!→ 어떻게 하지 그럼? Tokentoken은 그냥 아무렇게나 sentence를 쪼개놓은것 단어들을 찾아서 indexing 해줌→ integer index로 바뀜 Table Lookup하지만 이것도 arbitrary 하다. 우리는 neural net 이 의미를 capture할 수 있도록 해야함→ 각 토큰마다 continuous 한 vector를 줌 one hot vector와 weight matrix를 곱해줌 이를 Tab..

PyTorch forward/backward pass Forward pass. → 값을 대입함으로써 loss를 계산하는 과정 Backward pass ← 계산된 loss를 이용하여 뒷 방향으로 gradient값 chain rule이용해 넘겨줌 PyTorch Rhythm 1. model을 class와 Variables를 사용해서 디자인 해라 torch model에서 필요한 두가지 __ init __ forward init 함수는 말그대로 생성자 느낌. 여기 예시에서는 한개의 input 이 들어가 한개의 output이 나오므로 torch.nn.Linear(1,1)로 해줌 forward는 x라는 input을 model에 넣었을 때 예상값 2. loss함수와 optimizer 결정 전에 배웠던 MSE loss ..

역전파 알고리즘 Backpropagation 전에 본 예시들처럼 간단하다면 상관X But 인공지능 신경망이 이렇게 복잡하다면? → loss에 대한 gradient 값을 계산 불가능 농구의 자유투 연습을 생각해보자 자유투를 던지는 과정 → 순전파 과정 (forward propagation) 공이 도착한 위치를 보고 던지는 위치 수정 → Backpropagation 즉 loss를 구한 다음 그 loss를 뒤로 전파해가면서 변수들을 갱신해주는 것 그렇담 어떻게? Chain rule 역전파 방식을 사용하기 위해선 이 chain rule을 이용해야한다. 이런 방식으로 뒤로 미분값을 계속 곱해줌으로써 모든 parameter의 loss에 대한 미분값을 알 수 있음. 예시 y=w*x의 경우를 예시로 들어보자 x=1,y..

What is the learning? loss(MSE)를 최소화하는 w를 찾는것! 그렇담 어떻게 찾아야할까? Gradient Descent algorithm 편미분을 사용한다! 편미분을 사용해서 w값을 점점더 loss의 minimum값으로 이동시켜줌 이때 편미분값을 이용하여 한번 이동시 얼만큼 이동하느냐? 에 사용되는 parameter인 알파 즉 learning rate가 사용된다. Code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 # Training Data x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6..