[딥러닝] 파라미터(Parameter)와 하이퍼 파라미터(Hyper parameter)

하이퍼 파라미터와 파라미터를 혼용해서 사용하는 사람들이 많다. 내가 그랬다.

하지만 파라미터와 하이퍼 파라미터는 명확히 다른 개념이다.

그래서 한번 정리해 보려고 한다.

 

본 글은 Machine Learning Mastery의 What is the Difference Between a Parameter and a Hyperparameter?를 번역해서 요약한 글이다.

파라미터(Parameter)

파라미터는 한국어로 매개변수로 모델 내부에서 결정되는 변수이다.

파라미터의 값은 데이터로부터 결정된다.

파라미터는 사용자의 의해 조정되지 않는다. 모델링에 의해 자동적으로 결정된다.

ex. 선형 회귀의 계수

하이퍼 파라미터(Hyper Parameter)

하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값을 뜻한다.

ex. learning rate, KNN에서의 k값

 

파라미터와 하이퍼 파라미터를 구분하는 기준은 사용자가 직접 설정하느냐 아니냐이다.

사용자가 직접 설정하면 하이퍼 파리미터, 모델 혹은 데이터에 의해 결정되면 파라미터이다.

 

참고: 귀퉁이 서재, bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter