728x90 전체 글127 [논문 리뷰] GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning 핵심 : 실제 실행결과까지 포함된 reasoning trajectory 전체를 바탕으로 새로운 프롬프트 후보들을 만들고, Pareto 기반으로 선택한다.0. AbstractGRPO와 같은 RL 방식으로 LLM의 성능이 높게 향상되었다. 하지만 이런 방식은 수천 개의 rollout을 필요로 한다. 저자들은 자연어로 풀어져있는 정보들이 해석이 가능하고, sparse&scalar reward보다 더 좋은 학습 매개체가 될 수 있다고 한다. 따라서 자연어 정보를 바탕으로 프롬프트를 최적화하는 GEPA(Generic Pareto) 방법을 소개한다.AI를 사용할 때 나오는 trajectory(reasoning, tool call, tool output)를 보고 reflect해서 문제를 파악하고, 프롬프트 업데이트를.. 2026. 4. 2. [논문 리뷰] s1: Simple test-time scaling 핵심 : 고품질 1000개 데이터와 reasoning budget을 조절함으로써 높은 성능에 도달 가능하다.0. Abstracttest-time에서 추가적인 자원(GPU, 시간)을 제공해서 성능을 높이는 것이 가능하다는걸 OpenAI의 모델 o1이 보여줬지만, 그 구체적인 방법론은 공개되지 않았다. 따라서 저자들은 최대한 단순하게 test-time scaling의 성능을 달성하기 위한 방법을 제안한다. 첫 번째는 난이도, 다양성, 품질을 검증하여 선별된 1000개의 데이터셋인 s1K로 SFT한다. 두 번째는 budget forcing으로, 너무 길면 추론을 멈추고 너무 짧다면 “Wait” 토큰을 넣어서 더 길게 만든다. 이를 통해 test-time compute를 통제한다.Qwen2.5-32B-Instr.. 2026. 3. 30. [논문 리뷰] Comparing Bottom-Up and Top-Down Steering Approaches on In-Context Learning Tasks 핵심 : steering은 top-down(in context, contrastive)와 bottom-up(attention head)로 나뉘고, 각 방법이 잘하는 task 유형이 정해져 있다. + top-down 방식은 설정 환경(extract data 등)에 따라 많이 영향을 받는다.0. Abstractsteering 방법론을 크게 2가지 접근, “bottom-up”과 “top-down”으로 구분하여 비교한다. 전자의 대표 예시로는 Function Vector(FV), 후자의 대표 예시로는 In-Context Vector (ICV)로 설정한다. 두 접근 모두 in-context를 학습하는 task에서 representation을 압축하여 잡아내고자 한다. 하지만 정밀한 작업이 필요할 때는 FV가 효과.. 2026. 2. 26. [Wandb] ValueError: API key must be 40 characters long, yours was 86 Quick Solution:pip install --upgrade wandb Cause:Outdated wandb version 2026. 2. 7. [논문 리뷰] Steering LLM Reasoning Through Bias-Only Adaptation 핵심: Layer마다 작은 biase term으로 구성된 Steering vector를 학습시키는 것만으로 full-tuning한 성능을 거의 도달할 수 있다.0. Abstract각 layer마다 하나의 d차원의 steering vector(SV)만을 RL하고 나머지 weight은 freeze하는 것으로 모델 전체를 RL하는 것과 비슷한 성능에 도달할 수 있다. 고차원의 CoT를 위한 대부분의 weight이 불필요하다고 주장하며, 파인튜닝의 비용을 줄일 수 있다고 한다. 또한, logit lens로 분석을 했을 때, SV가 증폭시키는 토큰들의 방향이 일관성 있었기에 모델 내부 연산에 대한 방향성도 보여준다.1. IntroductionRLVR이 추론 모델의 표준이 되었지만, 큰 모델을 학습시킬 때는 많은 .. 2026. 2. 4. [논문 리뷰] One-shot Optimized Steering Vectors Mediate Safety-relevant Behaviors in LLMs 핵심: 하나의 데이터만으로 학습된 Steering Vector를 통해 Safety-relevant한 behavior를 조절할 수 있다.0. AbstractSteering Vectors (SVs)는 LLM을 해석하고 조정하기 위해 좋은 방법으로 떠오르고 있으나, 기존 방법론들은 대량의 contrastive 데이터셋이 필요하거나 중요한 특징을 잡아내지 못한다는 한계가 존재한다. 따라서 해당 연구에서는 단 하나의 training example만으로 SV를 최적화하고, 여러 모델에서 safety와 관련된 behavior를 유도함을 확인한다.무해한 예시에서 harmful한 태도를 유도하거나 그 반대의 경우도 가능함을 확인하고, 거절과 관련된 task에서도 효과를 확인한다. 취약한 코드를 작성하도록 하는 SV가 전.. 2026. 1. 21. 이전 1 2 3 4 ··· 22 다음 반응형