728x90 LLM8 [논문 리뷰] Reflexion: Language Agents with Verbal Reinforcement Learning 핵심 : verbal한 피드백을 생성하고 저장하여, 여러 번 반복하는 과정을 통해 성능을 개선한다.0. AbstractLLM이 외부환경과 많이 상호작용하지만, 환경에 빠르게 적응하는 것은 쉽지 않다. 기존의 강화학습 같은 경우에는 많은 training sample이 필요하거나 파인튜닝을 해야만 했다. 해당 연구에서는 이러한 한계를 극복하는 Reflexion이라는 방법을 제안한다. weight을 업데이트하는 것이 아니라 언어로 된 피드백을 제공하는 방식으로, 메모리 버퍼에 reflective한 텍스트들을 저장하여 이후 행동들에 반영을 한다.1. IntroductionLLM의 능력을 바탕으로 decision-making agent들이 만들어졌다. 하지만 수많은 파라미터를 모두 조정할 수 는 없기 때문에, a.. 2025. 3. 7. [논문 리뷰] Step Back to Leap Forward: Self-Backtracking for Boosting Reasoning of Language Models 핵심 : Backtracking하는 과정을 학습시켜 LLM의 성능을 높인다.0. Abstractslow-thinking mechanism을 LLM에 적용하는 방법은 Level 2 AGI Reasoner에 한층 가깝게 한다. 하지만 overthinking과 외부 모델의 과의존하는 문제가 존재한다. 이를 해결하기 위해서는 탐색하는 과정을 내재화해야 되고, 이는 backtracking을 통해 가능해진다고 해당 논문은 주장한다. self-backtracking을 통해 LLM이 train과정과 inference 과정에서 backtracking할 수 있도록 한다. slow-thinking을 fast-thinking으로 내재화하여 추론 능력이 크게 향상되는 것뿐만이 아니라 효율성도 높일 수 있었다.1. Introdu.. 2025. 2. 28. [논문 리뷰] Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting 핵심 : CoT는 그럴싸해보이지만 정확하지 않은 경우도 있고, 모델의 실제 reasoning path가 아닐 수도 있다.0. AbstractChain-of-Thought (CoT) 방식을 사용하면서 모델이 추론하는 과정을 볼 수 있게 되었다. 하지만 CoT 설명들은 모델이 실제로 추론 과정의 실제 이유가 아닐 수도 있다. bias에 의해 영향을 많이 받는데, 오답을 합리화하는 설명을 생성할 수 있기 때문이다. bias가 추가됐을 때 그럴싸한 설명은 생성하지만 정확도는 떨어지는 양상은, CoT와 LLM 자체에 대한 신뢰성을 떨어트린다.1. IntroductionCoT 프롬프팅은 정확한 추론과정과 정확한 답을 내면서 여러 task에 대해 성능이 높아졌다. 하지만 그럴싸해 보이고 정확한 답변 자체도, 실제로 .. 2025. 2. 11. [논문 리뷰] Large Language Models Cannot Self-Correct Reasoning Yet 핵심 : LLM이 만든 결과물을 동일한 LLM이 평가하고 더 개선시키는 것(Self-Correction)에는 한계가 있다.0. Abstract비록 LLM의 성능이 좋아졌지만, 생성 결과에 대한 정확도가 다소 떨어지는 경우도 존재한다. 이걸 해결하기 위해서 현재는 self-correction을 사용하지만, LLM이 자체적으로 수정하는 intrinsic self-correction은 실제로 효과가 없거나 한계가 있다는 점을 비판적으로 접근한다. (심지어 성능이 더 떨어지는 경우도 존재한다)1. IntroductionLLM이 처음 생성한 결과를 다시 수정했을 때 향상된다는 주장에서 근본적으로 나오는 질문은 “수정할 능력이 있으면 애초에 처음부터 잘하면 되지 않을까?”이다. 해당 논문에서는 모델의 내부 지식만을.. 2025. 1. 24. [논문 리뷰] Retrieval-Augmented Generation for Large Language Models: A Survey 핵심 : RAG 패러다임의 변화와 구조, Retriaval, Augmentation, Generation에 대한 설명과 한계점 및 추후 연구되어야 할 방향이 정리된 Survey0. AbstractLLM의 현재 한계에는 Hallucination, 최신 정보 부재, 불투명한 추론 과정 등이 있다. 이를 해결 하기 위해 외부 데이터베이스의 지식을 가져오는 Retrieval-Augmented Generation이 등장하였다. 이 survey에서는 RAG 패러다임의 변화(Naive RAG, Advanced RAG, Modular RAG)부터 RAG를 구성하는 요소들에 대해서 설명한다. 그리고 현재 RAG가 직면하고 있는 한계점들이나 추후 연구될 수 있는 방향에 대해 소개한다.1. IntroductionLLM의 성.. 2025. 1. 6. [논문 리뷰] Self-Refine: Iterative Refinement with Self-Feedback 핵심 : 동일한 LLM 하나로 생성-피드백-수정 단계를 밟으면서 생성 결과를 발전시킬 수 있다. (ChatGPT와 대화하면서 조금씩 원하는 방향으로 수정하도록 query를 넣어주는 것을 자동화한 느낌)0. Abstract해당 논문에서는 인간이 자신이 쓴 글을 개선하는 방식과 유사하게, LLM이 반복적으로 피드백하고 수정하는 과정을 통해 결과물을 개선하는 Self-Refine 방식을 소개한다. 별도의 학습이 필요하지 않고, 하나의 LLM만으로 generator, feedback provider, refiner의 역할을 모두 수행할 수 있다. 논문에서는 7개의 task에 대해 확인하였으며 GPT-4와 같은 SOTA LLM도 Self-Refine을 통해 더 개선될 수 있다는 것을 보인다.1. Introduct.. 2025. 1. 3. 이전 1 2 다음 반응형
