하마가 분석하마

본 논문은 특정 지역의 강수량을 예측하는 것에 Convolutional LSTM을 적용한 알고리즘을 제안합니다. 우선 Convolution 구조를 LSTM에 넣었다는 부분이 인상 깊었습니다. 제안하는 알고리즘의 구조는 데이터의 시공간적 관계를 모두 파악하기 위해 Convolutional LSTM을 사용했고, Encoding-Forecasting 구조를 적용하였습니다. 아직 이해가 가지 않은 것은 예측 방법입니다. 논문에서는 "As our prediction target has the same dimensionality as the input, we concatenate all the states in the forecasting network and feed them into a 1 × 1 convolu..

본 논문은 Multivariate time series prediction에서 예측 정확도를 개선하고, 비주기적 시계열 데이터에 대해서 robust한 알고리즘인 M-TCN을 제안합니다. M-TCN은 RNN 계열이 아닌 CNN의 특징을 가진 알고리즘이며 기존에 나왔던 TCN의 방법을 다르게 1D convolution과 두 개의 비대칭 residual block을 사용하는 등 여러 특징을 가지고 있습니다. 변수들에 대해서 각기 다른 sub-model을 적용했다는 점과 time series forecasting에서 causal convolution이 아닌 1D convolution을 사용했다는 점이 인상 깊었습니다. 아직 이해를 완벽하게 못 한 부분은 causal convolution이 절대적인 시간 순서에 ..

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Generative Models 1,2 Supervised vs Unsupervised Learning 1. 지도학습 Classification : image가 입력되면 class를 출력 Regression : 수치 예측 Object Detection : image 객체들의 bounding box를 그림 Semantic segmentation : 모든 pixel마다 각 pixel이 속하는 category 결정 Image captioning : image에 대해 자연어의 형태를 띈 문장을 출력 2. 비지도학습 Clustering : 유사한 데이터들끼리 그룹화 Dimensio..

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Attention Attention RNN에 기반한 seq2seq 모델은 2가지 문제가 있습니다. 모든 정보를 하나의 context vector에 압축하여 넣다보니 정보의 손실이 발생 Vanishing Gradient problem 발생 입력 문장이 길어지는 경우 발생하는 위와 같은 문제를 해결하기 위해 나온 것이 Attention입니다. Attention mechanism에 대해서 이해해보자. 지금부터 모든 단어에 대한 context를 기억하는 방법으로 RNN with Attention의 구조를 살펴보겠다. Input과 Output은 동일하게 sequence data이다..

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Recurrent Neural Networks Classical Approach for Time Series Analysis Time domain analysis -> width, step, height of signal Frequency domain analysis -> Fourier analysis or wavelets Nearest neighbors analysis -> Dynamic time warping (DTW) Probabilistic Model -> Language modeling (S)AR(I)MA(X) models -> Autocorrelation ins..

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Training Neural Network 2 neural networks를 학습시키기 위해, 학습에 필요한 설정들, 그리고 트레이닝을 진행하는 동안 필요한 것들에 대해 알아봄 Learning Rate Schedules Learning rate에 값을 넣어서, 트레이닝 진행하는 동안 epoch가 커지면서 learning rate가 어떻게 낮아지는지를 살펴보아야 한다. 즉, 사전에 지정해주어야하는 hyperparameter이다. 너무 높게잡으면, loss가 떨어지다가 오히려 커지는 방향으로 간다. 너무 낮게 작으면, 점점 내려가지만 속도가 너무 느려서 epoch를 많이 돌려..

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Training Neural Network neural networks를 학습시키기 위해, 학습 이전에 필요한 설정들, 그리고 트레이닝을 진행하는 동안 필요한 것들에 대해 알아봄 Activation Function 활성화 함수 각각에 대해서 어떤 특징과 장단점이 있는지 하나씩 살펴보겠다. 1. Sigmoid 전통적으로 사용해온 활성함수이다. Sigmoid 함수는 로지스틱 회귀분석으로부터 왔고, 확률적인 해석이 가능하다. 따라서 확률과 비슷하게 [0,1] 값을 갖는다. 예를 들어, σ(x)=0.8 이면, 다음 레이어의 특정 노드를 활성화시킬 확률이 0.8이라고 해석할 수 있..

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. CNN Architectures AlexNet AlexNet은 ReLU를 사용한 첫 번째 Neural Network이다. (이전 LeNet까지는 Tanh 함수를 사용) 'Local response normalization'을 사용했는데 Batch Normalization의 옛날 버전이라고 생각하면 된다. Local response normalization은 강하게 활성화된 neuron의 주변 이웃들에 대해서 normalization을 실행한다. 주변에 비해 어떤 neuron이 비교적 강하게 활성화되어 있다면, 그 neuron의 영향력은 커질 것이다. 반면 강하게 활성화된 ..