InformationSecurity-Study

이 아이디어의 유래에 대해서 먼저 알아보자. 인류의 궁극적인 꿈이 인간을 대신해서 골치 아픈 문제를 해결하는 것이다. 이 뇌가 복잡하게 연결되어 있다는 것에 놀랐고 연결된 부분부분들을 자세히 보았더니 Neuron이라는 unit이 너무나 단순하게 동작된다는 것이 더 놀랍다. 이런 형태의 뉴런은 수학적으로 만들어낸 것이 Activation Function이라 부르는 수식이다. 어떤 신호가 들어오는데 x가 들어오면 어떤 형태로 곱이 되고 곱이 된 값을 다 더한 다음에 bias를 합하고 Activation Function을 통해서 합한 값이 일정값을 넘으면 1이라는 신호를, 넘지 않으면 0이라는 신호를 보낸다. CIFAR(Canadian Institue for Adavanded Research)에서 Hinton..

오늘 사용할 데이터는 MNIST Dataset이다. 미국 우체국에서 우편번호를 머신러닝을 이용하여 자동으로 읽게 하기 위해서 만든 Data Set이다. Data Set이 어떻게 구성되어 있는지 자세히 보도록 하자. 28x28 픽셀의 image이다. x는 28*28으로 784의 placeholder를 가지고, y는 0~9으로 10개의 경우를 나누는 것이므로 10개의 출력으로 나타나게 된다. import 한 다음에 데이터를 읽어와라하고 디렉토리를 설정하고 그 다음부터는 디렉토리 내용을 읽어들인다. 여기서 mnist.train.next_batch(100)란 100개의 x와 y의 데이터를 읽어들인다는 의미이다. 데이터를 읽어올 때 one_hot을 True로 하면 Y값을 one_hot으로 읽어들인다. 이 모든 과..

머신러닝 모델이 얼마나 잘 동작하는 확인하는 방법에 대해서 알아보도록 하자. 머신러닝 모델을 데이터를 가지고 학습을 시키고 나서, 이 모델이 얼마나 정확한지 어떻게 평가할까? 트레이닝 데이터 셋과 테스트셋을 아래와 같이 나누는 것이 일반적이다. 트레이닝 셋을 두개로 나누어서 완벽한 트레이닝 셋(학습)과 Validation으로 Tuning(알파값 측정)을 하게 된다. 모의 시험을 해보는 것이다. 완벽하게 되면 테스트 데이터 셋을 가지고 시험해보는 것이다. Data set이 굉장히 많은 경우에 한번에 다 넣어서 학습시키기 어려울 경우가 있기 때문에 Online Learning이라는 형태의 학습 방법도 존재한다. 학습 데이터 셋이 100만개가 있다고 가정해보자. 100만개를 한번에 학습시키는 것이 아니라 10..

Learning rate를 조절, data 선처리, 오버피팅을 방지하는 방법을 이야기 하겠다. cost function을 정의하고 최소화하기 위해 사용했던 것이 Gradient descent 알고리즘이다. 이 알고리즘을 정할 때 앞을 잘 보면 알파값을 임의로 정하였다. 이 알파값을 프로그램에서는 이 소스코드에서 이 코드를 정의하고 최소화할 때 learning_Rate인 알파 값을 0.001으로 정하였다. 이 Learning_Rate를 굉장히 큰 값을 정한다고 생각해보자. 이 경사면을 따라서 내려가는 스텝이 굉장히 크다면 어떤 일이 발생할까? 내려가는 폭이 더욱 커진다. 그에 따라 overshooting이라고 불리는 현상이 일어난다. cost가 줄어들지 않고 커지다가 바깥으로 튕겨나가는 현상을 의미한다. ..

지금까지 Logistic Classification의 원리를 배워보았으니 Tensorflow에 적용하는 법에 대해서 알아보자. https://github.com/hunkim/DeepLearningZeroToAll/ 에 접속하면 모두의 딥러닝 강의와 관련된 모든 소스코드가 공개되어 있다고 한다. 함께 참고해서 공부하도록 하자. Logistic Regression을 다시 살펴보면 아래와 같다. Hypothesis도 바뀌었기 때문에 cost 함수 또한 바뀌었다. cost를 작게 하는 W를 구하는 것이 학습 과정이라고 생각하면 된다. 이걸 그대로 구현해보자. array로 주어진 x_data와 y_data가 트레이닝 데이터이다. y_data는 0이나 1로 이루어진 Binary Data이다. 이게 Logistic ..

Classification 알고리즘 중에서 굉장히 정확도가 높은 알고리즘인 Logistic Classification 딥러닝을 이해하는 데 굉장히 중요한 알고리즘이라 볼 수 있다. 지난화 복습 Regression (HCG) - H: Hypothesis, H(X) = WX 이건 Linear한 함수. - C: Cost, 가설과 실제값의 차이를 전체 합해서 평균을 낸 것. Cost를 최소화하는 weight를 찾아내야 함. - G: Gradient decent, 경사타고 내려가기 아이디어. 어떤 점에서 시작하더라도 경사가 어디를 향하는 지 본다 (Binary) Classification 둘 중 한 개를 정해진 카테고리로 분류하는 것이다. ex) Spam Detection: Spam or Ham ex) Faceb..