728x90 머신러닝2 [ML] 모델 파인튜닝 가장 적합해보이는 모델 후보들을 여러개 선택했다면, 더 좋은 성능을 위해서 모델을 파인튜닝하는 과정을 거쳐야 한다. * 파인튜닝 (Fine-tuning) = 사전에 학습된 모델에 새로운 데이터를 훈련시켜 전이학습을 진행하는 방법 1. Grid SearchGrid Search는 어떤 hyperparameter들을 어떤 값들로 조정할지 정하면, cross-validation을 사용해서 모든 경우의 성능을 확인하는 기법이다. # Grid Search 코드 예시from sklearn.model_selection import GridSearchCVfull_pipeline = Pipeline([ ("preprocessing", preprocessing), ("random_forest", RandomFo.. 2024. 8. 14. [ML] 데이터셋 준비 이번 글의 목차는 다음과 같다.- Test Set 만들기- Data Visualization - 상관관계 발견하기- 데이터 전처리 ◆ Test Set 만들기머신러닝 모델의 성능을 평가하기 위해서 train-test (주로 train-validation-test) 방식을 사용한다. 전체 데이터셋을 train용과 test 용으로 분리할 때 가장 단순한 방법은 랜덤하게 뽑는 것이다. 이 방법은 데이터셋이 충분히 크다면 대부분 괜찮지만, 그렇지 않다면 sampling bias가 발생할 수 있다. ex) 전체 인구의 남녀 비율이 48.9:51.1이고 1000명을 sampling해야 할 때, 약 10.7%의 확률로 해당 여성 sample의 비율이 48.5% 이하이거나 53.5% 이상으로 test set이 편향(s.. 2024. 8. 13. 이전 1 다음 반응형
