방송대 방통대 선형대수 15강 - 직교화와 최소자승법 - 요약 노트 시험족보 예상문제 - 올에이클래스

선형대수 15강 - 직교화와 최소자승법

직교기저의 간단한 좌표 공식을 익히고 그램-슈미트 과정으로 임의의 기저를 직교·단위직교기저로 바꾼다. 정사영이 최적 근사라는 사실을 이용해 해가 없는 연립방정식의 최소자승해와 회귀직선을 구한다.

제1장 직교기저와 방향성분

내적공간에서 서로 다른 벡터의 내적이 0인 집합은 직교집합이며, 공간을 생성하면 직교기저다. 각 벡터의 노름까지 1이면 단위직교기저다. 영벡터를 포함하지 않는 직교집합은 일차독립이다.

직교기저 (A₁,…,A_n)가 생성하는 U의 B에 대해 B=Σ(<B,A_i>/<A_i,A_i>)A_i이다. 계수는 A_i 방향성분 또는 푸리에 계수다. 단위직교기저이면 분모가 1이 되어 계수는 <B,A_i>다.

직교하지 않은 일반 기저에서는 이 단순 내적 공식으로 좌표를 구할 수 없다. 연립방정식을 풀거나 먼저 직교화해야 한다.

제2장 그램-슈미트 직교화

기저 A₁,…,A_k에서 B₁=A₁로 두고, B_j=A_j-Σ_i<jproj_BᵢA_j로 정의한다. 여기서 proj_BA=(<A,B>/<B,B>)B다. 앞서 얻은 모든 방향성분을 빼므로 B_j는 이전 B들과 직교한다.

1. 첫 벡터를 그대로 둔다.
2. 새 벡터에서 기존 직교벡터 방향의 정사영을 모두 뺀다.
3. 결과가 영벡터가 아닌지 확인한다.
4. 단위직교기저가 필요하면 C_i=B_i/||B_i||로 정규화한다.

강의의 R⁴ 예에서 (1,0,0,0),(1,1,0,0),(1,1,1,0)은 직교화 후 표준방향 (1,0,0,0),(0,1,0,0),(0,0,1,0)이 된다. 함수공간에서도 적분 내적을 사용해 1, x-1/2, x²-x+1/6을 얻는다.

그램-슈미트는 생성 부분공간을 바꾸지 않는다. 결과 기저의 순서는 입력 기저 순서에 따라 달라질 수 있지만 같은 부분공간을 생성한다.

제3장 직교보공간과 정사영

부분공간 W의 직교보 W^⊥는 W의 모든 벡터와 직교하는 벡터들의 집합이다. V=W⊕W^⊥이므로 모든 A∈V는 A=A_W+A^⊥로 유일하게 분해된다.

W의 직교기저 B₁,…,B_k가 있으면 A_W=Σproj_BᵢA이고 A^⊥=A-A_W다. A_W는 W에서 A와 거리가 가장 가까운 벡터이며 모든 B∈W에 대해 ||A-A_W||≤||A-B||이다.

강의 예에서 A=(3,1,1), W=span{(1,1,1),(1,1,-2)}이면 A_W=(2,2,1), A^⊥=(1,-1,0)이다. 잔차는 두 기저벡터 모두와 직교한다.

제4장 최소자승해와 정규방정식

MB=A가 해를 갖지 않을 때 최소자승해 B̂는 잔차 ||A-MB||를 최소로 하는 B다. 열공간 W=Col(M)에서 MB̂는 A의 W로의 정사영이며 잔차 A-MB̂는 W와 직교한다.

M의 모든 열과 잔차가 직교하므로 M^T(A-MB̂)=O, 즉 정규방정식 M^TMB̂=M^TA를 얻는다. B̂가 최소자승해일 필요충분조건은 이 정규방정식의 해인 것이다.

M의 열들이 일차독립, 즉 rank M=n이면 M^TM이 정칙이고 유일한 최소자승해 B̂=(M^TM)^-1M^TA를 갖는다.

강의 예의 M=[[1,1],[2,1],[1,-1]], A=(2,2,0)에서는 M^TM=[[6,2],[2,3]], M^TA=(6,4)이고 B̂=(5/7,6/7)이다.

제5장 최소자승 직선

자료 (x_i,y_i)를 y=ax+b로 근사할 때 M의 i행을 (x_i,1), 미지수 B를 (a,b), 관측열 A를 y값으로 둔다. 정규방정식을 풀면 수직 오차 제곱합을 최소화하는 회귀직선을 얻는다.

(1,2),(2,3),(3,5),(4,7)에 대해 M^TM=[[30,10],[10,4]], M^TA=(51,17)이고 (a,b)=(1.7,0)이므로 최적 직선은 y=1.7x다.

핵심 개념 정리

직교기저에서는 내적만으로 방향성분을 구한다. 그램-슈미트는 각 새 벡터에서 이전 직교방향의 정사영을 빼 직교기저를 만든다. 정사영은 부분공간 안의 최적 근사이며 잔차가 부분공간과 직교한다. 이 조건이 최소자승법의 정규방정식 MᵀMB̂=MᵀA를 만든다.

시험에서는 분모 <Bᵢ,Bᵢ>를 빠뜨리지 말고, 직교화 후 정규화 여부를 구분한다. 최소자승해는 원래 식 MB=A의 정확한 해가 아니라 잔차 노름을 최소화하는 정규방정식의 해다.

예상문제 20선

1. 직교집합의 서로 다른 두 벡터는?

① 내적이 1② 내적이 0③ 항상 같은 벡터④ 합이 영벡터

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ②

서로 다른 벡터들의 내적이 0인 집합이 직교집합이다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

2. 단위직교기저의 추가 조건은?

① 모든 벡터의 합이 1② 행렬식이 0③ 각 기저벡터의 노름이 1④ 모든 성분이 양수

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ③

직교기저의 각 벡터를 정규화한 것이 단위직교기저다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

3. 직교기저에서 B의 Aᵢ방향 계수는?

① <B,Aᵢ>/<Aᵢ,Aᵢ>② <Aᵢ,Aᵢ>/<B,Aᵢ>③ <B,B>④ <B,Aᵢ>만 항상

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ①

일반 직교기저는 단위벡터가 아닐 수 있어 분모가 필요하다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

4. 단위직교기저에서 위 계수는?

① 0만② <Aᵢ,Aᵢ>③ 벡터의 길이④ <B,Aᵢ>

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ④

단위벡터이면 <Aᵢ,Aᵢ>=1이라 분모가 사라진다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

5. 그램-슈미트에서 B₁은?

① O② A₁③ A₂④ A₁+A₂

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ②

첫 벡터는 그대로 직교화 과정의 시작 벡터로 둔다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

6. B₂의 올바른 식은?

① A₂-proj_B₁ A₂② A₂+B₁③ proj_A₂ B₁④ A₁-A₂

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ①

A₂에서 B₁ 방향 성분을 제거하면 B₁과 직교한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

7. Bⱼ를 만들 때 빼야 하는 것은?

① 마지막 벡터만② Aⱼ 자체③ 영벡터④ 이전 모든 Bᵢ 방향의 정사영

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ④

앞서 만든 모든 직교방향 성분을 제거해야 한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

8. 직교기저를 단위직교기저로 바꾸려면?

① 각 벡터를 더함② 행렬식을 구함③ 각 벡터를 자신의 노름으로 나눔④ 모든 벡터를 0으로 만듦

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ③

정규화 Cᵢ=Bᵢ/||Bᵢ||를 수행한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

9. 그램-슈미트 전후에 유지되는 것은?

① 생성 부분공간② 벡터 성분 전체③ 각 벡터의 길이④ 기저 순서와 값 모두

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ①

직교화는 같은 span 안에서 기저만 바꾼다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

10. V=W⊕W⊥의 의미는?

① W=W⊥② 교집합이 V③ 합이 영공간④ 모든 벡터가 두 부분의 합으로 유일 분해

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ④

직교 부분공간의 직합은 유일한 분해를 제공한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

11. A의 W로의 정사영은?

① W 밖의 임의 벡터② W에서 A와 가장 가까운 벡터③ 항상 A 자체④ 항상 영벡터

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ②

정사영은 거리 최소화 성질을 갖는 최적 근사다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

12. 정사영 잔차 A-A_W는?

① W에 속하기만 함② A와 평행③ W와 직교④ 항상 단위벡터

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ③

정사영 정의에 따라 잔차는 W⊥에 속한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

13. 직교기저 Bᵢ를 이용한 A_W는?

① 정사영들의 합② 벡터들의 곱③ A의 역벡터④ 영벡터만

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ①

각 직교방향으로의 정사영을 더하면 부분공간 정사영이다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

14. 최소자승해가 최소화하는 것은?

① ||B||② det M③ 행렬 원소의 합④ ||A-MB||

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ④

관측 A와 예측 MB 사이 잔차 노름을 최소화한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

15. 최소자승에서 MB̂는?

① A의 열공간 밖 벡터② A의 Col(M)로의 정사영③ 항상 A와 같음④ M의 영공간 벡터

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ②

가능한 예측 벡터 중 A에 가장 가까운 열공간 벡터다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

16. 정규방정식은?

① MᵀMB̂=MᵀA② MB̂=O만③ MMᵀ=A④ M+B̂=A

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ①

잔차가 M의 모든 열과 직교한다는 조건을 행렬식으로 쓴다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

17. 정규방정식이 나오는 직교 조건은?

① B̂⊥A② M⊥B̂③ A-MB̂가 Col(M)과 직교④ A가 영벡터

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ③

최적 정사영의 잔차는 열공간에 수직이다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

18. MᵀM이 정칙이 되는 충분한 조건은?

① M의 열들이 일차종속② M이 영행렬③ rank M=n④ 모든 행이 같음

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ③

열계수가 n이면 Gram 행렬 MᵀM이 양의 정부호이고 정칙이다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

19. 유일 최소자승해 공식은?

① MᵀA만② (MᵀM)⁻¹MᵀA③ MA④ M⁻¹A가 항상

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ②

MᵀM이 정칙일 때 정규방정식 양변에 역행렬을 곱한다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.

20. 자료 (xᵢ,yᵢ)를 y=ax+b로 맞출 때 M의 i행은?

① (yᵢ,1)② (a,b)③ (1,yᵢ)④ (xᵢ,1)

정답입니다.

다시 생각해 보세요.

정답 및 해설 보기

정답: ④

각 식 axᵢ+b≈yᵢ의 계수는 (xᵢ,1)이다. 다른 선택지는 직교성이나 최소화 조건을 만족하지 않는다.