목록Deep learning/Michigan university deep learning (12)

하마가 분석하마

19~20. Generative Models 1,2

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Generative Models 1,2 Supervised vs Unsupervised Learning 1. 지도학습 Classification : image가 입력되면 class를 출력 Regression : 수치 예측 Object Detection : image 객체들의 bounding box를 그림 Semantic segmentation : 모든 pixel마다 각 pixel이 속하는 category 결정 Image captioning : image에 대해 자연어의 형태를 띈 문장을 출력 2. 비지도학습 Clustering : 유사한 데이터들끼리 그룹화 Dimensio..
Deep learning/Michigan university deep learning 2022. 2. 28. 12:59
13. Attention

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Attention Attention RNN에 기반한 seq2seq 모델은 2가지 문제가 있습니다. 모든 정보를 하나의 context vector에 압축하여 넣다보니 정보의 손실이 발생 Vanishing Gradient problem 발생 입력 문장이 길어지는 경우 발생하는 위와 같은 문제를 해결하기 위해 나온 것이 Attention입니다. Attention mechanism에 대해서 이해해보자. 지금부터 모든 단어에 대한 context를 기억하는 방법으로 RNN with Attention의 구조를 살펴보겠다. Input과 Output은 동일하게 sequence data이다..
Deep learning/Michigan university deep learning 2022. 2. 20. 23:00
12. Recurrent Neural Networks

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Recurrent Neural Networks Classical Approach for Time Series Analysis Time domain analysis -> width, step, height of signal Frequency domain analysis -> Fourier analysis or wavelets Nearest neighbors analysis -> Dynamic time warping (DTW) Probabilistic Model -> Language modeling (S)AR(I)MA(X) models -> Autocorrelation ins..
Deep learning/Michigan university deep learning 2022. 2. 11. 13:31
11. Training Neural Network 2

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Training Neural Network 2 neural networks를 학습시키기 위해, 학습에 필요한 설정들, 그리고 트레이닝을 진행하는 동안 필요한 것들에 대해 알아봄 Learning Rate Schedules Learning rate에 값을 넣어서, 트레이닝 진행하는 동안 epoch가 커지면서 learning rate가 어떻게 낮아지는지를 살펴보아야 한다. 즉, 사전에 지정해주어야하는 hyperparameter이다. 너무 높게잡으면, loss가 떨어지다가 오히려 커지는 방향으로 간다. 너무 낮게 작으면, 점점 내려가지만 속도가 너무 느려서 epoch를 많이 돌려..
Deep learning/Michigan university deep learning 2022. 2. 10. 15:04
10. Training Neural Network

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Training Neural Network neural networks를 학습시키기 위해, 학습 이전에 필요한 설정들, 그리고 트레이닝을 진행하는 동안 필요한 것들에 대해 알아봄 Activation Function 활성화 함수 각각에 대해서 어떤 특징과 장단점이 있는지 하나씩 살펴보겠다. 1. Sigmoid 전통적으로 사용해온 활성함수이다. Sigmoid 함수는 로지스틱 회귀분석으로부터 왔고, 확률적인 해석이 가능하다. 따라서 확률과 비슷하게 [0,1] 값을 갖는다. 예를 들어, σ(x)=0.8 이면, 다음 레이어의 특정 노드를 활성화시킬 확률이 0.8이라고 해석할 수 있..
Deep learning/Michigan university deep learning 2022. 2. 7. 11:49
8. CNN Architectures

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. CNN Architectures AlexNet AlexNet은 ReLU를 사용한 첫 번째 Neural Network이다. (이전 LeNet까지는 Tanh 함수를 사용) 'Local response normalization'을 사용했는데 Batch Normalization의 옛날 버전이라고 생각하면 된다. Local response normalization은 강하게 활성화된 neuron의 주변 이웃들에 대해서 normalization을 실행한다. 주변에 비해 어떤 neuron이 비교적 강하게 활성화되어 있다면, 그 neuron의 영향력은 커질 것이다. 반면 강하게 활성화된 ..
Deep learning/Michigan university deep learning 2022. 2. 7. 11:35
7. Convolutional Network

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. 이번 포스팅은 제 발표자료를 캡처해서 올렸습니다. Convolutional Network Fully Connected Network Convolutional Layer 1. Convolutional Layer의 연산 방법 2. Stacking Convolutions 3. Filters of Conv Layer Padding & Pooling Normalization 1. 정규화의 의미 2. Covariate Shift 3. Internal Covariate Shift (ICS) 4. Batch Normalization의 특징 5. Learnable parameters in..
Deep learning/Michigan university deep learning 2022. 2. 3. 10:51
6강. Backpropagation

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Backpropagation How to compute gradients? W1, W2에 대한 gradient = loss를 w1, w2의함수로 보고 각각에 대해 편미분한다. 1. gradient 값 직접 구하기 시간과 종이가 많이 든다. loss 값을 바꾸면 다시 처음부터 다시 계산해야 함 복잡한 모델에는 적합하지 않음 2. Computational Graph를 통해 구하기 계산 그래프를 보고 gradient 구하기 Backpropagation Simple Example Downstream gradients는 Local gradients와 Upstream gradient..
Deep learning/Michigan university deep learning 2022. 1. 24. 12:13
이전 Prev 1 2 Next 다음