본문 바로가기

전체 글

 (224)
[논문 리딩] Efficient K-NN Playlist Continuation 본 글은 Efficient K-NN Playlist Continuation 논문을 읽고 제 생각대로 정리한 글입니다. Abastract RecSys Challenge 2018 competition의 main track leaderboard에서 9등을 차지한 solution을 제안한다. track 및 palylist metadata와 함께 playlist-track matrix를 사용하여 music playlist을 완성하는 a light-wight playlist-based nearest neighbor method을 개발했다. 추천 품질 개선을 위해 다양한 도메인별 휴리스틱을 사용한다. 접근 방식의 주요 장점 중 하나는 컴퓨터 리소스 사용이 적다는 것이다. 최종 솔루션은 한 시간 내에 기존의 데스크톱 ..
논문 읽기에 대한 조언 by 앤드류 응 논문 읽는 방법 1. 논문 제목(title)과 초록(abstract), 도표(figures)를 먼저 보자 논문의 제목과 초록, 핵심 아키텍쳐 그림설명과 실험연구 부분을 읽고나면 논문의 기본적인 컨셉과 아이디어를 알 수 있을 것이다. 특히나 딥러닝 계열의 논문은 한두 개의 도표로 여러개의 논문을 정리하기 때문에 처음부터 끝까지 논문 텍스트를 다 읽어볼 필요는 없다. 2. 도입(introduction), 결론(conclusion), 도표(figures)를 읽고 필요없는 부분은 생략하자 도입과 결론, 초록에는 저자가 논문 리뷰어들에게 왜 자신의 논문이 게재 승인되어야 하는지 명확히 설명하기 위해 신중하게 요약한 내용이 담겨 있다. 그리고 관련된 다른 연구에 대한 부분은 가능하면 생략하자. 이 부분은 저자의 연..
개발자는 개발을 두려워 하지 않는다. 나무에 앉은 새는 나뭇가지가 부러지는 것을 두려워하지 않는다. -김새해 '내가 상상하면 꿈이 현실이 된다.' => 개발자는 개발 하는 것을 두려워하지 않는다.
[딥러닝] Optimization Optimization 알고리즘은 신경망 모델이 빠르게 학습할 수 있게 한다. Loss function을 통해 구한 차이를 사용해 기울기를 구하고 네트워크의 parameter인 W와 b의 학습에 어떻게 반영할 것인지를 결정하는 방법이다. 1. Gradient Descent Algorithm Batch Gradient Descent (BGD) batch는 모든 data를 의미한다. 즉, 모든 데이터를 한꺼번에 계산해서 weight와 bias를 얻는 방법이다. 따라서 매끈하게 cost함숫값이 줄어든다. 한 step에 모든 학습 데이터를 사용해서 학습이 오래 걸린다는 단점이 있다. Mini-batch Gradient Descent (MGD) 전체 데이터셋을 여러 개의 mini-batch로 나누어 한 개의 mi..
[딥러닝] Overfitting을 완화시키는 방법(2) - Dropout Dropout이란? Layer에 포함된 weight들 중에서 일부만 참여시키는 방법이다. Random하게 일부 뉴런을 0으로 만드는 것이다. 일정한 mini-batch 구간 동안 dropout된 망에 대한 학습을 한다. 학습이 끝나면 다시 무작위로 다른 뉴런 들을 dropout하면서 반복적으로 학습한다. Dropout의 기대효과 - Voting효과 mini batch구간 동안 dropout된 각자의 망에 fitting이 되면서 평균 효과를 얻을 수 있다. - Co-adaptation(동조화) 방지 특정 뉴런의 bias나 weight가 큰 값을 갖게 되면 그것의 영향이 커지면서 다른 뉴런들의 학습 속도가 느려지거나 학습이 제대로 진행되지 못한다. dropout을 이용하면 특정 뉴런의 weight나 bias..
[딥러닝] Overfitting을 완화시키는 방법(1) - Regularization Regularization이란? Weight가 너무 큰 값들을 가지지 않도록 하는 것이다. Weight가 너무 큰 값을 가지게 되면 아래 이미지와 같이 과하게 구불구불한 형태의 함수가 만들어진다. 즉, Regularization은 모델의 복잡도를 낮추기 위한 방법이다. Regularization하는 방법 단순하게 cost function이 작아지는 쪽으로 학습하면 특정 가중치 값들이 커지면서 결과를 나쁘게 만들기 때문에 cost function을 바꾼다. L1 Regularization 기존의 cost function값에 weight parameter의 평균을 더해준다. cost function을 작게 만드는 방향, 각각의 weight parameter를 작게 만드는 방향으로 학습을 하게 된다. sgn함..
Startup Coding Festival 2021 참가 후기 신청 사이트 - scofe2021.goorm.io/assessment/25665/startup-coding-festival-2021 왓챠, 쏘카, 오늘의 집, 마켓컬리, 브랜디, 번개장터가 개발자들을 위해 개최한 코딩테스트이다. 2021년 3월 20일 토요일에 1차 대회가 개최됐다. 코딩테스트 환경으로는 구름EDU를 사용했는데 많이 불편했다.ㅠㅠ 코드가 저장이 안돼서 새로고침도 여러 번 했지만 되지 않아 chrome 캐시 삭제를 했더니 작성했던 코드 두 문제가 다 날아가는 속상한 일이 발생했었다.ㅠㅠ chrome 캐시 삭제로 인해 시간을 많이 낭비해서 2차 대회에는 진출하지 못했지만 마켓컬리 컬리박스에 당첨됐다!!!!!! 4월 4일에 당첨되었다는 문자가 왔지만 택배가 도착하지 않아서 오매불망 기다리고 있..
[딥러닝] Bias와 Variance Bias train data로 만들어진 모델이 train data와 얼마나 잘 부합하게 만들어졌는가 즉, train data와의 error값이 얼마나 작은지를 의미한다. Variance train data는 잘 학습이 되었더라도 실제 data에 대해서 모델에 적용시켜봤을 때 얼마나 error가 발생하는지를 의미한다. bias와 variance는 tradeoff관계다. bias를 줄이려면 variance가 늘어나고 bias를 늘리면 variance를 줄일 수 있다. deep learning에서는 둘다 줄일 수 있다. Underfitting 만들어진 모델이 너무 단순해서 실제 data의 복잡성을 잘 표현하지 못하고 있다. 너무 간단한 calssifier Overfitting Overfiting이란 train..

티스토리툴바