지식을 나누면 두배로

기본 명령어 a, b, c와 같은 문자, 1, 2, 3과 같은 숫자, +, -, *, /와 같은 기호, ()와 같은 소괄호는 문자 그대로 사용한다. {}, []와 같은 중괄호나 대괄호는 그룹화나 배열 작성에 사용한다. 수식 명령어 \frac{a}{b}: $\frac{a}{b}$ (분수) \sqrt{x}: $\sqrt{x}$ (제곱근) \sqrt[n]{x}: $\sqrt[n]{x}$ (n 제곱근) \sum_{i=1}^{n} a_i: $\sum_{i=1}^{n} a_i$ (시그마 합) \prod_{i=1}^{n} a_i: $\prod_{i=1}^{n} a_i$ (파이 곱) \int_{a}^{b} f(x)dx: $\int_{a}^{b} f(x)dx$ (적분) \iint_{D} f(x,y)dxdy: $\iint..

기본적인 딥러닝 모델 중 하나인 CNN과 RNN의 개념에 대해 알아보자. CNN 커널을 입력벡터 상에서 움직여가면서 선형 모델과 합성함수가 적용되는 구조이다. 입력이 3차원인 경우, 즉 여러 채널의 2차원 입력이 주어질 경우, 커널의 채널 수를 입력의 채널 수와 같게 만들어야 한다. 출력의 채널 개수를 O_c개로 만들고 싶다면, 커널을 O_c개 사용하면 된다. CNN의 역전파 간단한 CNN 구조에서 순전파의 예시 그림이다. 그레디언트가 출력 벡터에 전달된다. 커널의 각 파라미터에 전달되는 그레디언트는 convolution 연산과 같은 형태가 된다. RNN 시퀀스 데이터의 패턴을 학습하는데 특화된 인공 신경망의 한 종류이다. 이전 시퀀스의 정보들을 잠재변수 H_t에 모아, 출력을 만들고, 다음 순서의 잠재..

머신러닝 모델을 모델링 하는데 있어서 중요한 개념인 조건부 확률의 베이즈 정리와 인과 관계에 대해서 알아보자. 베이즈 정리 조건부 확률을 이용해서 새로운 정보가 주어졌을 때 정보를 갱신할 때 사용한다. B라는 새로운 정보가 주어졌을 때 P(A)로부터 P(A|B)를 계산하는 방법을 제공한다. 사후확률 : 데이터가 관찰되었을 때 파라미터가 성립할 확률 사전확률 : 데이터를 관찰하기 전, 사전에 가정하고 있는 확률 가능도 : 현재의 파라미터에서 관찰된 데이터가 등장할 확률 Evidence : 데이터의 분포 사전 확률을 가능도와 Evidence를 활용해 사후확률로 업데이트 한다. 새롭게 데이터가 관찰될 때마다 사후확률을 업데이트할 수 있다. 인과 관계 인과 관계는 데이터 분포가 바뀌더라도 예측 정확도가 유지될 ..

다층 퍼셉트론의 구조와 데이터를 갖고 학습하는 방식, 결과물을 만드는 방법에 대해 알아보자. 입력 데이터 X와 가중치 행렬 W, 절편 행렬 b의 선형 결합으로 결과 행렬 O가 생성된다. 하나의 입력 데이터, 즉 X 행렬에서 하나의 행 벡터(xk)는 W 행렬에서 하나의 열 벡터와 내적하여 하나의 결과값(ok)를 만들어 낸다. 위 선형 결합에서 p개의 선형 모델이 입력 데이터를 받아 p개의 결과값을 만들어낸다고 생각할 수 있다. (W 행렬의 열이 p개 이므로) Softmax 함수는 선형 모형의 출력을 확률로 해석할 수 있게 확률 벡터로 변환해주는 함수이다. 선형 결합의 결과 벡터 O를 Softmax 함수의 인자로 넣어 분류 문제를 해결할 수 있다. 신경망은 선형 모델과 활성함수를 합성한 함수이다. 활성 함수..

머신러닝 및 딥러닝 분야에서 핵심적인 개념 중 하나인 경사 하강법에 대해 알아보자. 경사 하강법 AI 모델의 가중치를 최적화 하는 방법 중 하나이다. 현재 위치에서 미분한 값을 빼서 함수 값을 감소시킨다. 벡터로 입력받는 다변수 함수의 경우, 편미분을 통해 그레디언트 벡터를 얻어 경사 하강법에 사용한다. 경사 하강법의 한계 경사 하강법은 미분 가능하고 볼록(convex)한 함수에 대해서만 이론적으로 수렴할 수 있다. 그러나, 그 외의 함수에서는 최소점으로의 수렴을 보장하지 않는다. 확률적 경사 하강법 (SGD) 볼록하지 않은 (non-convex) Cost Function을 최적화하기 위해 사용한다. 모든 데이터를 사용해서 업데이트하는 것이 아닌, 데이터 한 개 또는 데이터 일부를 활용해 업데이트한다. ..

AI 수학의 기본적인 개념인 벡터와 행렬에 대해서 알아보자. 벡터 벡터는 숫자를 원소로 갖는 리스트 또는 배열이다. 벡터는 공간에서 한 점을 나타낸다. x = np.array([1,3,5]) # x는 벡터 노름(norm) 벡터의 크기 또는 길이를 측정하는 방식이다. 1. L1-노름 각 성분의 변화량의 절대값의 총합 맨허튼 거리를 구하는 방식과 동일하다. 2. L2-노름 유클리드 거리를 계산하는 방식과 동일하다. 두 벡터 사이의 각도 구하는 방법 제2 코사인 법칙을 사용해서 두 벡터 사이의 각도를 계산할 수 있다. 여기서 제2 코사인 법칙 공식에서 분자의 값은 2*(벡터 x와 벡터 y의 내적)으로 정리할 수 있다. 행렬 행렬은 벡터를 원소를 갖는 2차원 배열이다. 벡터를 공간에서 한 점으로 볼 때, 행렬은..