오늘은 mit Gilbert Strang 선생님의 선형대수 Subspace에 관한 부분을 정리해 보았다.

I. 4 Fundamental Subspaces

A is m x n

1. columnspace C(A) in $R^m$
   dimension of C(A) = # of pivot columns = rank r
2. nullspace N(A) in $R^n$
   dimension of N(A) = # of free variables = n - r
3. rowspace = all combs of rows = all combs of columns = $A^T = C(A^T)$
   same dimension as columnspace
4. nullspace of $A^T$ N($A^T$) = left nullspace of A
   dimension = m - r left nullspace라는 이름은 row벡터로 만들면 왼쪽에 오기 때문 ($y^TA = O$)

II. Orthogonal Vectors and Subspaces

1) Test for orthogonality: dot product is zero($X^Ty = 0$)
orthogonal한 벡터 간에는 피타고라스 정리가 성립한다.
$X^TX + Y^TY = (X+Y)^T(X+Y)$
2) Subspace S와 T가 orthogonal하다는 것의 의미
S에 속한 모든 벡터가 T에 속한 모든 벡터와 orthogonal하다.
=> Rowspace is Orthogonal to nullspace - 이유 $Ax = O$
=> Rowspace and Nullspace are orthogonal complements in $R^n$ // 둘의 dimension을 더하면 n Nullspace contains all vectors perpendicular to rowspace

$Ax = b$ => 양쪽변에 $A^T$를 곱해준다. How to “solve” the equation when there is no solution?
m > n
실생활에서 noise 때문에 A를 제대로 알 수 없는 경우 - noise를 제거해야.
$A^TA$: square, symmetric, invertible? $N(A^TA) = N(A)$
rank of $A^TA$ = rank of A
$A^TA$ is invertible exactly if A has independent columns

III. Projections onto Subspaces

1. Projection Matrix (P)
   projp = Pb P = $(aa^T) / (a^Ta)$
   columnspace of C(P) = line through a
   rank(P) = 1
   
   • P is symmetric
   • $P^2 = P$
     Projection이 필요한 이유? Ax=b의 해가 없을 수도 있어서 가장 비슷한 문제를 푼다. => Solve Ax = p(proj of b onto columnspace) Key: b-Ax is perpendicular to plane $(a_1)^T(b-Ax)=0, (a_2)^T(b-Ax)=0$
     $A^T(b-Ax) = O$

What subsapce is error vector e(b-Ax) in?
e is in $N(A^T)$ => e is perpendicular to C(A)
$A^TAx = A^Tb$
$x = (A^TA)^(-1)A^Tb$ P = Ax = A(A^TA)^(-1)A^Tb

• $$P^T = P$$
• $P^2 = P$
  Application: Least squares fitting by a line