728x90 AI37 [논문 리뷰] Towards Understanding Sycophancy in Language Models 핵심 : Sycophancy의 유형을 설명하며, 발생하는 원인인 human feedback의 구조에 대해서 설명한다.0. Abstract파인튜닝을 하는 과정에서 보통 human feedback을 사용한다. 하지만 human feedback을 사용하면 실제 사실보다 user belief를 선호하는 sycophancy의 경향을 증가시킬 수도 있다. human preference의 영향을 이해하기 위해 SOTA AI assistant들과 데이터셋을 확인한다. 응답이 user의 관점에 부합하는 것을 더 선호하며, 인간과 preference model들 또한 실제 사실을 담은 응답보다 설득력 있게 작성된 sycophantic 응답들을 더 선호하는 것을 보인다.1. IntroductionGPT-4와 같은 AI as.. 2025. 2. 7. [논문 리뷰] Active Retrieval Augmented Generation (FLARE) 핵심 : 언제, 무엇을 retrieve할지 스스로 판단하는 RAG 0. AbstractLLM에서 부족한 부분을 Retrieval을 통해 보완하고자 RAG(Retrieve-and-Generate)가 나왔지만, 기존 RAG는 생성 전에 한번만 문서들을 가져온다. 이는 긴 텍스트를 생성하면서 여러번 문서들을 가져와야 되는 작업에는 부적절하다. 따라서 해당 연구에서는 Forward-Looking Active REtrieal augmented Generation (FLARE)을 소개한다. 생성 과정에서 언제, 어떤 것을 retrieve할지 스스로 결정하는 방식으로, retrieve할 때는 생성될 문장을 미리 본 다음에 불확실한 부분에 대한 정보를 가져온다.1. IntroductionLLM이 학습한 데이터만으로 대.. 2025. 2. 4. [논문 리뷰] Large Language Models Cannot Self-Correct Reasoning Yet 핵심 : LLM이 만든 결과물을 동일한 LLM이 평가하고 더 개선시키는 것(Self-Correction)에는 한계가 있다.0. Abstract비록 LLM의 성능이 좋아졌지만, 생성 결과에 대한 정확도가 다소 떨어지는 경우도 존재한다. 이걸 해결하기 위해서 현재는 self-correction을 사용하지만, LLM이 자체적으로 수정하는 intrinsic self-correction은 실제로 효과가 없거나 한계가 있다는 점을 비판적으로 접근한다. (심지어 성능이 더 떨어지는 경우도 존재한다)1. IntroductionLLM이 처음 생성한 결과를 다시 수정했을 때 향상된다는 주장에서 근본적으로 나오는 질문은 “수정할 능력이 있으면 애초에 처음부터 잘하면 되지 않을까?”이다. 해당 논문에서는 모델의 내부 지식만을.. 2025. 1. 24. [논문 리뷰] Decompose, Analyze and Rethink: Solving Intricate Problems with Human-like Reasoning Cycle 핵심 : 질문을 잘게 쪼개서 해결했을 때 얻는 정보를 활용해서 기존 답안을 수정한다.0. Abstract기존의 방식들은 단순하게 정보를 확장하거나 탐색을 했다면, 해당 논문에서 소개하는 DeAR 방식은 tree 형태로 문제를 쪼개고, 각 step마다 얻은 정보를 바탕으로 기존에 잘못 알고 있던 부분들은 업데이트한다. 정확도와 추론 시간에 있어서 ToT나 GoT보다 낫다1. IntroductionToT처럼 tree 형태로 전개하다보면, 구조가 유연하지 못하고 상위 branch에서 에러가 발생하면 그 에러가 계속해서 전파된다. 그리고 branch 개수가 정해져있으면 논리과정이 정확하지 못하거나 중복이 생길 수도 있다. 해당 논문에서는 **DeAR (Decompose-Analyze-Rethink)**라는 새로.. 2025. 1. 23. [논문 리뷰] SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning 핵심 : step-by-step 추론 과정에서 각 step을 새롭게 생성하고 원래 생성된 결과와 비교함으로써 에러를 검출하고자 한다.0. AbstractCoT와 같은 기법으로 LLM이 단계별 추론이 가능해졌다. 하지만 단순하고 선형적인 추론이 아닌 더 복잡한 문제에서는 성능이 좋은 LLM들도 실수를 한다. 따라서 단계별 추론에서 실수했는지 확인하는 과정을 추가한 SelfCheck라는 새로운 방식을 소개한다. SelfCheck의 checking 과정에서 생성된 여러 개의 답변들 중에서 weighted voting을 통해 성능을 향상시킨다.1. IntroductionCoT처럼 단계별로 추론을 했을 때, 하나의 단계에서 실수를 할 확률은 낮지만 최소 한 개의 실수를 할 확률은 높아서 최종 답변을 잘 못하는 것.. 2025. 1. 20. [논문 리뷰] Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions 핵심 : Retrieval을 한번 하는 것이 아니라, CoT 과정마다 지금까지 generate된 결과와 retrieve한 내용을 바탕으로 retrieve를 진행한다.0. Abstractmulti-step QA(Question Answering)에는 질문을 보고 retrieve를 한번하는 방식은 부족할 수 있다. 해당 논문에서는 IRCoT, Retrieval과 CoT를 섞는 방식을 소개한다. CoT를 진행하면서 어떤 것을 Retrieve할지 더 잘 판단할 수 있고, Retreival을 통해 CoT의 정확도 또한 높일 수 있다.1. IntroductionCoT 자체로도 답변 정확도가 올라가지만, Open-domain의 질문에 답변을 하기에는 정보가 없거나 업데이트가 안되어 부정확한 정보를 사용하는 경우가 발.. 2025. 1. 15. 이전 1 2 3 4 5 ··· 7 다음 반응형