목록michigan university deep learning for computer vision (6)

하마가 분석하마

12. Recurrent Neural Networks

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Recurrent Neural Networks Classical Approach for Time Series Analysis Time domain analysis -> width, step, height of signal Frequency domain analysis -> Fourier analysis or wavelets Nearest neighbors analysis -> Dynamic time warping (DTW) Probabilistic Model -> Language modeling (S)AR(I)MA(X) models -> Autocorrelation ins..
Deep learning/Michigan university deep learning 2022. 2. 11. 13:31
10. Training Neural Network

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Training Neural Network neural networks를 학습시키기 위해, 학습 이전에 필요한 설정들, 그리고 트레이닝을 진행하는 동안 필요한 것들에 대해 알아봄 Activation Function 활성화 함수 각각에 대해서 어떤 특징과 장단점이 있는지 하나씩 살펴보겠다. 1. Sigmoid 전통적으로 사용해온 활성함수이다. Sigmoid 함수는 로지스틱 회귀분석으로부터 왔고, 확률적인 해석이 가능하다. 따라서 확률과 비슷하게 [0,1] 값을 갖는다. 예를 들어, σ(x)=0.8 이면, 다음 레이어의 특정 노드를 활성화시킬 확률이 0.8이라고 해석할 수 있..
Deep learning/Michigan university deep learning 2022. 2. 7. 11:49
8. CNN Architectures

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. CNN Architectures AlexNet AlexNet은 ReLU를 사용한 첫 번째 Neural Network이다. (이전 LeNet까지는 Tanh 함수를 사용) 'Local response normalization'을 사용했는데 Batch Normalization의 옛날 버전이라고 생각하면 된다. Local response normalization은 강하게 활성화된 neuron의 주변 이웃들에 대해서 normalization을 실행한다. 주변에 비해 어떤 neuron이 비교적 강하게 활성화되어 있다면, 그 neuron의 영향력은 커질 것이다. 반면 강하게 활성화된 ..
Deep learning/Michigan university deep learning 2022. 2. 7. 11:35
7. Convolutional Network

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. 이번 포스팅은 제 발표자료를 캡처해서 올렸습니다. Convolutional Network Fully Connected Network Convolutional Layer 1. Convolutional Layer의 연산 방법 2. Stacking Convolutions 3. Filters of Conv Layer Padding & Pooling Normalization 1. 정규화의 의미 2. Covariate Shift 3. Internal Covariate Shift (ICS) 4. Batch Normalization의 특징 5. Learnable parameters in..
Deep learning/Michigan university deep learning 2022. 2. 3. 10:51
6강. Backpropagation

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Backpropagation How to compute gradients? W1, W2에 대한 gradient = loss를 w1, w2의함수로 보고 각각에 대해 편미분한다. 1. gradient 값 직접 구하기 시간과 종이가 많이 든다. loss 값을 바꾸면 다시 처음부터 다시 계산해야 함 복잡한 모델에는 적합하지 않음 2. Computational Graph를 통해 구하기 계산 그래프를 보고 gradient 구하기 Backpropagation Simple Example Downstream gradients는 Local gradients와 Upstream gradient..
Deep learning/Michigan university deep learning 2022. 1. 24. 12:13
5강. Neural Networks

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Neural Networks Linaer classifier의 문제점 Geometric Viewpoint 단점 : 이런 형식의 데이터는 선형 분류기가 좋은 성능으로 분류하기 어려움 Visual Viewpoint 단점 : 클래스 당 하나의 template만 가질 수 있기에 실제로 같은 class여도 정해진 template과 비슷한 생김새가 아니라면 그 class로 인식할 수 없다. Neural Networks Feature Extraction의 두 단계를 보자. 도메인 지식을 이용하여 feature를 잘 추출 -> 어떻게 해야 추출을 잘할까? 추출된 feature로 머신러닝..
Deep learning/Michigan university deep learning 2022. 1. 16. 16:21
이전 Prev 1 Next 다음