본문 바로가기

전체 글

 (224)
[딥러닝] 활성화 함수 (Activation function) 입력 신호의 총합을 출력 신호로 변환하는 함수를 활성화 함수(Activation function)라고 한다. 활성화 함수로 주로 비선형(non-linear) 함수를 사용한다. 선형(linear) 함수만 이용해서 deep하게 신경망 모델을 구현해도 결국 선형함수이다. 선형함수를 비선형함수로 바꾸기 위해서 활성화 함수를 사용하는 것이다. 활성화 함수들을 하나씩 살펴보자. 0. Step function 0보다 크면 1, 작으면 -1의 함수값을 갖는 함수 1. Sigmoid 0 ~ 1사이의 함수값을 갖는다. output이 0 또는 1인 binary classification에서는 sigmoid를 출력 뉴런에 사용하는 것이 일반적이다. backpropagation을 수행할 때 미분을 사용하는데 그래프가 뾰족하면 ..
[딥러닝] Logistic Regression 1. Linear Regression vs Logistic Regression linear regression 입력과 출력 간의 관계를 함수로 modeling하는 방법 y=Wx+b -> 출력값이 continuous한 값 logistic regression 출력 값을 true/false 또는 0/1로 회기를 통해 알아낸다. 출력 값은 연속적인 값이 아니지만 함수를 modeling할 때는 연속적인 함수를 사용한다. 2. Logistic Regression Logistic Regression은 이진 분류를 위한 알고리즘이다. 지도 학습에서 출력될 레이블 y가 0이나 1일 경우 사용한다. linear regression에 sigmoid함수를 적용한 것이다. 출력 결과는 항상 0에서 1 사이의 확률 값이다. 3...
End-to-end deep learning input을 딥러닝 모델에 넣으면 바로 원하는 output이 나오는 deep learning 즉, 전처리와 후처리가 필요없는 deep learning
[딥러닝] train/dev/test sets 딥러닝 모델을 학습할 때 data를 train data, developement data, test data로 나눈다. train sets 딥러닝 모델의 가중치 값을 조절하는데 사용되는 data dev sets 모델 학습을 할 때 dev data의 error값도 같이 측정해보면 train data의 error값처럼 감소했다가 증가하는 경우가 발생할 수 있다. 이를 overfitting이 발생했다고 한다. train data에만 과적합한 문제라면 overfitting이 발생할 수 있으므로 train data와 독립적인 development data를 train할 때 같이 사용한다. test sets train, dev data와 완전히 독립적인 test data를 이용해서 와전히 독립적으로 학습된 모델의 ..
[딥러닝] 파라미터(Parameter)와 하이퍼 파라미터(Hyper parameter) 하이퍼 파라미터와 파라미터를 혼용해서 사용하는 사람들이 많다. 내가 그랬다. 하지만 파라미터와 하이퍼 파라미터는 명확히 다른 개념이다. 그래서 한번 정리해 보려고 한다. 본 글은 Machine Learning Mastery의 What is the Difference Between a Parameter and a Hyperparameter?를 번역해서 요약한 글이다. 파라미터(Parameter) 파라미터는 한국어로 매개변수로 모델 내부에서 결정되는 변수이다. 파라미터의 값은 데이터로부터 결정된다. 파라미터는 사용자의 의해 조정되지 않는다. 모델링에 의해 자동적으로 결정된다. ex. 선형 회귀의 계수 하이퍼 파라미터(Hyper Parameter) 하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값을 ..
[딥러닝] [Tensorflow] 모델학습 관련 개념 Epoch 전체 데이터를 몇 번 반복하여 학습할 것인지를 결정해주는 숫자 verbose=0을 사용하면 epoch과정을 보여주지 않는다. model.fit(독립, 종속, epochs=1000, verbose=0) Step 1 step당 Weight와 Bias를 1회씩 업데이트하게 된다. batch size만큼의 dataset을 학습시키는 양 Batch Size 1 step에서 사용한 데이터의 수 ex. Batch Size가 100, Step이 10이면 약 1000개의 데이터를 이용 Learning rate 경사 하강법에서 학습 단계별로 움직이는 학습 속도
[딥러닝] MNIST dataset MNIST dataset은 0부터 9까지의 수를 손글씨로 나타낸 이미지 dataset이다. 필기체 숫자의 분류를 위한 학습 데이터 셋으로 이미지와 이미지에 대한 라벨로 구성되어 있다. 이미지는 784(28x28)차원의 벡터이고 라벨은 0~9이다. 예시 mnist = input_data.read_data_sets("MNIST_data")는 MNIST_data 폴더 안에 mnist 파일들이 다운받아지고 다운받진 mnist 파일들을 load 한다는 의미이다. one_hot=True는 one hot encoding을 해준다는 의미이다. one hot encoding은 범주형 데이터를 0 또는 1의 데이터로 바꿔주는 과정이다. 만약 label이 1이면 1의 자리만 1이고 나머지 자리는 모두 0으로 나타낸다. x,..
[Python] 문자 삭제 함수 strip 1. lstrip() 문자열에서 왼쪽에 있는 연속된 모든 공백을 삭제한다. l은 왼쪽(left)를 의미한다. >>> ' Python '.lstrip() 'Python ' 2. rstrip() 문자열에서 오른쪽에 있는 연속된 모든 공백을 삭제한다. r은 오른쪽(right)를 의미한다. >>> ' Python '.rstrip() ' Python' 3. strip() 문자열에서 양쪽에 있는 연속된 공백을 삭제한다. >>> ' Python '.strip() 'Python' 4. lstrip('삭제할문자들') 삭제할 문자들을 문자열 형태로 넣어주면 문자열 왼쪽에 있는 해당 문자를 삭제한다. >>> ', python.'.lstrip(',.') ' python.' 5. rstrip('삭제할문자들') 삭제할 문자들을 ..

티스토리툴바