728x90 AI/Paper Review21 [논문 리뷰] SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning 핵심 : step-by-step 추론 과정에서 각 step을 새롭게 생성하고 원래 생성된 결과와 비교함으로써 에러를 검출하고자 한다.0. AbstractCoT와 같은 기법으로 LLM이 단계별 추론이 가능해졌다. 하지만 단순하고 선형적인 추론이 아닌 더 복잡한 문제에서는 성능이 좋은 LLM들도 실수를 한다. 따라서 단계별 추론에서 실수했는지 확인하는 과정을 추가한 SelfCheck라는 새로운 방식을 소개한다. SelfCheck의 checking 과정에서 생성된 여러 개의 답변들 중에서 weighted voting을 통해 성능을 향상시킨다.1. IntroductionCoT처럼 단계별로 추론을 했을 때, 하나의 단계에서 실수를 할 확률은 낮지만 최소 한 개의 실수를 할 확률은 높아서 최종 답변을 잘 못하는 것.. 2025. 1. 20. [논문 리뷰] Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions 핵심 : Retrieval을 한번 하는 것이 아니라, CoT 과정마다 지금까지 generate된 결과와 retrieve한 내용을 바탕으로 retrieve를 진행한다.0. Abstractmulti-step QA(Question Answering)에는 질문을 보고 retrieve를 한번하는 방식은 부족할 수 있다. 해당 논문에서는 IRCoT, Retrieval과 CoT를 섞는 방식을 소개한다. CoT를 진행하면서 어떤 것을 Retrieve할지 더 잘 판단할 수 있고, Retreival을 통해 CoT의 정확도 또한 높일 수 있다.1. IntroductionCoT 자체로도 답변 정확도가 올라가지만, Open-domain의 질문에 답변을 하기에는 정보가 없거나 업데이트가 안되어 부정확한 정보를 사용하는 경우가 발.. 2025. 1. 15. Interpreting GPTs : the Logit Lens 핵심 : GPT의 내부를 관측함으로써 간단하게 해석을 하고자 한다.1. OverviewGPT는 마지막 layer에서 activation function들을 통해 최종 결과를 얻는다. 그런데 중간 layer에 대해서도 동일한 activation function들을 적용하면 그 시점에서 GPT가 어떤 것을 생각하고 있는지 아주 제한적으로나마 알 수 있다는 아이디어이다. 어떻게 그런 동작을 하는지(how)는 알 수 없지만, 무엇을 생각하고 있는지(what)는 알 수 있다는 것이다.결국 다음 토큰을 예측하는건데, 초반 layer에서는 말이 안되거나 이상한 값들을 예측하고 있을 것이고, 중반 layer에서는 적당히 괜찮은 값들을 추측하다가, 마지막 layer에서는 정확도가 높게 예측하고 있다는 것을 확인할 수 있.. 2025. 1. 13. [논문 리뷰] Dense Passage Retrieval for Open-Domain Question Answering 핵심 : Dense embedding을 사용해서 semantic한 정보를 더 많이 포착하고자 하는 Retrieval System0. AbstractOpen-domain Question Answering의 핵심은 효율적이고 좋은 context(passage, information)을 retrieve하는 것이다. 기존의 방법들은 Sparse 벡터 모델들을 사용했다. (e.g. TF-IDF, BM25, 단어의 사용 횟수를 바탕으로 표현) 해당 논문에서는 dense 벡터 모델을 사용하는 **Dense Passage Retrieval(DPR)**을 소개한다. simple dual-encoder 구조로 학습하며, 적은 수의 question-passage 쌍만을 필요로 하는 장점이 있다.1. Introduction기.. 2025. 1. 8. [논문 리뷰] Retrieval-Augmented Generation for Large Language Models: A Survey 핵심 : RAG 패러다임의 변화와 구조, Retriaval, Augmentation, Generation에 대한 설명과 한계점 및 추후 연구되어야 할 방향이 정리된 Survey0. AbstractLLM의 현재 한계에는 Hallucination, 최신 정보 부재, 불투명한 추론 과정 등이 있다. 이를 해결 하기 위해 외부 데이터베이스의 지식을 가져오는 Retrieval-Augmented Generation이 등장하였다. 이 survey에서는 RAG 패러다임의 변화(Naive RAG, Advanced RAG, Modular RAG)부터 RAG를 구성하는 요소들에 대해서 설명한다. 그리고 현재 RAG가 직면하고 있는 한계점들이나 추후 연구될 수 있는 방향에 대해 소개한다.1. IntroductionLLM의 성.. 2025. 1. 6. [논문 리뷰] Self-Refine: Iterative Refinement with Self-Feedback 핵심 : 동일한 LLM 하나로 생성-피드백-수정 단계를 밟으면서 생성 결과를 발전시킬 수 있다. (ChatGPT와 대화하면서 조금씩 원하는 방향으로 수정하도록 query를 넣어주는 것을 자동화한 느낌)0. Abstract해당 논문에서는 인간이 자신이 쓴 글을 개선하는 방식과 유사하게, LLM이 반복적으로 피드백하고 수정하는 과정을 통해 결과물을 개선하는 Self-Refine 방식을 소개한다. 별도의 학습이 필요하지 않고, 하나의 LLM만으로 generator, feedback provider, refiner의 역할을 모두 수행할 수 있다. 논문에서는 7개의 task에 대해 확인하였으며 GPT-4와 같은 SOTA LLM도 Self-Refine을 통해 더 개선될 수 있다는 것을 보인다.1. Introduct.. 2025. 1. 3. 이전 1 2 3 4 다음 반응형
