728x90 AI/Paper Review24 [논문 리뷰] Active Retrieval Augmented Generation (FLARE) 핵심 : 언제, 무엇을 retrieve할지 스스로 판단하는 RAG 0. AbstractLLM에서 부족한 부분을 Retrieval을 통해 보완하고자 RAG(Retrieve-and-Generate)가 나왔지만, 기존 RAG는 생성 전에 한번만 문서들을 가져온다. 이는 긴 텍스트를 생성하면서 여러번 문서들을 가져와야 되는 작업에는 부적절하다. 따라서 해당 연구에서는 Forward-Looking Active REtrieal augmented Generation (FLARE)을 소개한다. 생성 과정에서 언제, 어떤 것을 retrieve할지 스스로 결정하는 방식으로, retrieve할 때는 생성될 문장을 미리 본 다음에 불확실한 부분에 대한 정보를 가져온다.1. IntroductionLLM이 학습한 데이터만으로 대.. 2025. 2. 4. [논문 리뷰] Large Language Models Cannot Self-Correct Reasoning Yet 핵심 : LLM이 만든 결과물을 동일한 LLM이 평가하고 더 개선시키는 것(Self-Correction)에는 한계가 있다.0. Abstract비록 LLM의 성능이 좋아졌지만, 생성 결과에 대한 정확도가 다소 떨어지는 경우도 존재한다. 이걸 해결하기 위해서 현재는 self-correction을 사용하지만, LLM이 자체적으로 수정하는 intrinsic self-correction은 실제로 효과가 없거나 한계가 있다는 점을 비판적으로 접근한다. (심지어 성능이 더 떨어지는 경우도 존재한다)1. IntroductionLLM이 처음 생성한 결과를 다시 수정했을 때 향상된다는 주장에서 근본적으로 나오는 질문은 “수정할 능력이 있으면 애초에 처음부터 잘하면 되지 않을까?”이다. 해당 논문에서는 모델의 내부 지식만을.. 2025. 1. 24. [논문 리뷰] Decompose, Analyze and Rethink: Solving Intricate Problems with Human-like Reasoning Cycle 핵심 : 질문을 잘게 쪼개서 해결했을 때 얻는 정보를 활용해서 기존 답안을 수정한다.0. Abstract기존의 방식들은 단순하게 정보를 확장하거나 탐색을 했다면, 해당 논문에서 소개하는 DeAR 방식은 tree 형태로 문제를 쪼개고, 각 step마다 얻은 정보를 바탕으로 기존에 잘못 알고 있던 부분들은 업데이트한다. 정확도와 추론 시간에 있어서 ToT나 GoT보다 낫다1. IntroductionToT처럼 tree 형태로 전개하다보면, 구조가 유연하지 못하고 상위 branch에서 에러가 발생하면 그 에러가 계속해서 전파된다. 그리고 branch 개수가 정해져있으면 논리과정이 정확하지 못하거나 중복이 생길 수도 있다. 해당 논문에서는 **DeAR (Decompose-Analyze-Rethink)**라는 새로.. 2025. 1. 23. [논문 리뷰] SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning 핵심 : step-by-step 추론 과정에서 각 step을 새롭게 생성하고 원래 생성된 결과와 비교함으로써 에러를 검출하고자 한다.0. AbstractCoT와 같은 기법으로 LLM이 단계별 추론이 가능해졌다. 하지만 단순하고 선형적인 추론이 아닌 더 복잡한 문제에서는 성능이 좋은 LLM들도 실수를 한다. 따라서 단계별 추론에서 실수했는지 확인하는 과정을 추가한 SelfCheck라는 새로운 방식을 소개한다. SelfCheck의 checking 과정에서 생성된 여러 개의 답변들 중에서 weighted voting을 통해 성능을 향상시킨다.1. IntroductionCoT처럼 단계별로 추론을 했을 때, 하나의 단계에서 실수를 할 확률은 낮지만 최소 한 개의 실수를 할 확률은 높아서 최종 답변을 잘 못하는 것.. 2025. 1. 20. [논문 리뷰] Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions 핵심 : Retrieval을 한번 하는 것이 아니라, CoT 과정마다 지금까지 generate된 결과와 retrieve한 내용을 바탕으로 retrieve를 진행한다.0. Abstractmulti-step QA(Question Answering)에는 질문을 보고 retrieve를 한번하는 방식은 부족할 수 있다. 해당 논문에서는 IRCoT, Retrieval과 CoT를 섞는 방식을 소개한다. CoT를 진행하면서 어떤 것을 Retrieve할지 더 잘 판단할 수 있고, Retreival을 통해 CoT의 정확도 또한 높일 수 있다.1. IntroductionCoT 자체로도 답변 정확도가 올라가지만, Open-domain의 질문에 답변을 하기에는 정보가 없거나 업데이트가 안되어 부정확한 정보를 사용하는 경우가 발.. 2025. 1. 15. Interpreting GPTs : the Logit Lens 핵심 : GPT의 내부를 관측함으로써 간단하게 해석을 하고자 한다.1. OverviewGPT는 마지막 layer에서 activation function들을 통해 최종 결과를 얻는다. 그런데 중간 layer에 대해서도 동일한 activation function들을 적용하면 그 시점에서 GPT가 어떤 것을 생각하고 있는지 아주 제한적으로나마 알 수 있다는 아이디어이다. 어떻게 그런 동작을 하는지(how)는 알 수 없지만, 무엇을 생각하고 있는지(what)는 알 수 있다는 것이다.결국 다음 토큰을 예측하는건데, 초반 layer에서는 말이 안되거나 이상한 값들을 예측하고 있을 것이고, 중반 layer에서는 적당히 괜찮은 값들을 추측하다가, 마지막 layer에서는 정확도가 높게 예측하고 있다는 것을 확인할 수 있.. 2025. 1. 13. 이전 1 2 3 4 다음 반응형
