Mathematics for Machine Learning(1)

머신러닝에 사용되는 수학 분야로는 크게 세가지가 존재한다.

• Linear Algebra(선형대수학)
• Calculus(미적분학)
• Statistics(통계학)

-선형대수학:

선형대수학에서는 많은 종류의 수학적인 대상을 다루는데

• 스칼라- 하나의 숫자 x
• 벡터- 숫자의 배열
  • 벡터는 Column Vector (열벡터/종벡터) and Row Vector (행벡터/횡벡터)가 있다.

• 

  
  
  • Vector Transpose(전치) / Scalar Multiplication(상수배):

  • 

  • 연산에는 덧셈,뺄셈, Element-wise Multiplication과 Inner Product가 있다.

Addition / Subtraction

Element-wise Multiplication (Hadamard Product)

Inner Product (Dot Product)

• 벡터의 연산에는 온갖 법칙이 다 적용 가능하다.

• 행렬(Matrix)- 숫자의 2차원 배열
  • a_mn는 entry, 혹은 element로 불린다.
  • 연산에는 덧셈,뺄샘, 상수배는 그냥 아는 것처럼 적용을 하면 된다. 하지만 곱셈에는 두가지 방식이 있다. 이는  Element-wise Multiplication (Hadamard Product)와 Inner Product (Dot Product)인데 서로 계산하는 방식이 다르다.

  • 

    Element-wise Multiplication (Hadamard Product)

    

    Inner Product (Dot Product)

    
    
    
  • 특별한 행렬에는 
    • 영행렬(Zero Matrix): 모든 성분이 0인 행렬

    • 

    • 정방행렬(Square Matrix):행과 열의 개수가 동일한 행렬

    • 

    • 대각 행렬(Diagonla matrix):주대각선 성분이 아닌 모든 성분이 0인 정사각 행렬

    • 

    • 단위행렬or 항등행(Identity Matrix):주대각선의 원소가 모두 1이며 나머지 원소는 모두 0인 정사각 행렬

    • 

    • 삼각행렬(Triangular Matrix): 정사각행렬에서 주대각선을 기준으로 대각항의 위쪽이나 아래쪽 항들의 값이 모두 0인 행렬

    • 

  • 행렬에 대해서는 일반적인 규칙이 적용되는 것도 있고 아닌 것도 있다.
    • Commutative Law (교환 법칙): 교환 법칙은 적용이 되지 않는다. AB ≠ BA이다,

    • 

      물론 해당되는 경우도 있지만 아닌 경우도 존재한다.

    • Associative Law (결합 법칙): 행렬에서 결합법칙은 적용된다. A(BC) = (AB)C\
    • Distributive Law (분배 법칙): 행렬에서 분배법칙은 적용된다. A(B+C) = AB+AC
  • 역행렬(Inverse Matrix): 정사각 행렬의 역원을 역행렬이라고 한다. 역원은 행렬 A에 X 행렬을 곱했을 때 나온 결과값이 항등행렬이면 X행렬을 A의 역원이라고 한다. A의 역행렬은 보통 A^-1이라고 표시한다.
    • 역행렬에 대한 계산
      • 1. 행렬 곱의 역행렬:

      • 

      • 역행렬의 역행렬

      • 

      • 역행렬의 전치

      •