728x90 분류 전체보기111 Interpreting GPTs : the Logit Lens 핵심 : GPT의 내부를 관측함으로써 간단하게 해석을 하고자 한다.1. OverviewGPT는 마지막 layer에서 activation function들을 통해 최종 결과를 얻는다. 그런데 중간 layer에 대해서도 동일한 activation function들을 적용하면 그 시점에서 GPT가 어떤 것을 생각하고 있는지 아주 제한적으로나마 알 수 있다는 아이디어이다. 어떻게 그런 동작을 하는지(how)는 알 수 없지만, 무엇을 생각하고 있는지(what)는 알 수 있다는 것이다.결국 다음 토큰을 예측하는건데, 초반 layer에서는 말이 안되거나 이상한 값들을 예측하고 있을 것이고, 중반 layer에서는 적당히 괜찮은 값들을 추측하다가, 마지막 layer에서는 정확도가 높게 예측하고 있다는 것을 확인할 수 있.. 2025. 1. 13. [논문 리뷰] Dense Passage Retrieval for Open-Domain Question Answering 핵심 : Dense embedding을 사용해서 semantic한 정보를 더 많이 포착하고자 하는 Retrieval System0. AbstractOpen-domain Question Answering의 핵심은 효율적이고 좋은 context(passage, information)을 retrieve하는 것이다. 기존의 방법들은 Sparse 벡터 모델들을 사용했다. (e.g. TF-IDF, BM25, 단어의 사용 횟수를 바탕으로 표현) 해당 논문에서는 dense 벡터 모델을 사용하는 **Dense Passage Retrieval(DPR)**을 소개한다. simple dual-encoder 구조로 학습하며, 적은 수의 question-passage 쌍만을 필요로 하는 장점이 있다.1. Introduction기.. 2025. 1. 8. [논문 리뷰] Retrieval-Augmented Generation for Large Language Models: A Survey 핵심 : RAG 패러다임의 변화와 구조, Retriaval, Augmentation, Generation에 대한 설명과 한계점 및 추후 연구되어야 할 방향이 정리된 Survey0. AbstractLLM의 현재 한계에는 Hallucination, 최신 정보 부재, 불투명한 추론 과정 등이 있다. 이를 해결 하기 위해 외부 데이터베이스의 지식을 가져오는 Retrieval-Augmented Generation이 등장하였다. 이 survey에서는 RAG 패러다임의 변화(Naive RAG, Advanced RAG, Modular RAG)부터 RAG를 구성하는 요소들에 대해서 설명한다. 그리고 현재 RAG가 직면하고 있는 한계점들이나 추후 연구될 수 있는 방향에 대해 소개한다.1. IntroductionLLM의 성.. 2025. 1. 6. [논문 리뷰] Self-Refine: Iterative Refinement with Self-Feedback 핵심 : 동일한 LLM 하나로 생성-피드백-수정 단계를 밟으면서 생성 결과를 발전시킬 수 있다. (ChatGPT와 대화하면서 조금씩 원하는 방향으로 수정하도록 query를 넣어주는 것을 자동화한 느낌)0. Abstract해당 논문에서는 인간이 자신이 쓴 글을 개선하는 방식과 유사하게, LLM이 반복적으로 피드백하고 수정하는 과정을 통해 결과물을 개선하는 Self-Refine 방식을 소개한다. 별도의 학습이 필요하지 않고, 하나의 LLM만으로 generator, feedback provider, refiner의 역할을 모두 수행할 수 있다. 논문에서는 7개의 task에 대해 확인하였으며 GPT-4와 같은 SOTA LLM도 Self-Refine을 통해 더 개선될 수 있다는 것을 보인다.1. Introduct.. 2025. 1. 3. [논문 리뷰] ReAct: Synergizing Reasoning and Acting in Language Models 핵심 : reason과 action(검색, 가상의 공간에서의 행동)을 둘 다 수행함으로써 시너지 효과를 얻음0. AbstractReasoning(추론, e.g. CoT 프롬프팅)과 acting(e.g. action plan generation)은 별개의 주제로 다뤄졌으나, 해당 논문에서는 2개를 합침으로써 시너지 효과를 발생시키는 ReAct라는 모델을 소개한다. Reasoning traces를 통해 모델이 action plan을 더 잘 설계하고 업데이트하고, action을 통해 추가적인 정보를 얻기 때문이다.> Reasoning (Question Answering, Fact Verification tasks) : CoT의 문제인 hallucination이나 error propagation에서 더 나은 모.. 2025. 1. 2. SyntaxError: Cannot use import statement outside a module SyntaxError: Cannot use import statement outside a module 에러는 Node.js에서 import 구문을 사용할 때 발생하는 일반적인 문제입니다. Node.js는 기본적으로 CommonJS 모듈 시스템을 사용하며, import 구문은 ECMAScript Modules (ESM)을 활성화해야 사용할 수 있습니다. 해결책:package.json에 type: "module" 추가package.json 수정 전{ "name": "example", "version": "1.0.0", "main": "index.js", "scripts": { "start": "node example.js" }, "dependencies": { ... }} pac.. 2025. 1. 1. 이전 1 2 3 4 5 6 ··· 19 다음 반응형
