방송대 선형대수 15강: 그램-슈미트 직교화와 최소자승법

방송대 선형대수 15강: 그램-슈미트 직교화와 최소자승법

연립방정식에 정확한 해가 없다고 계산이 끝나는 것은 아니다. 직교기저를 만들고 정사영을 구하면, 주어진 값에 가장 가까운 해를 체계적으로 찾을 수 있다. 이 글은 그 계산을 처음부터 검산까지 재현한다.

정확히 맞출 수 없다면 가장 가까운 점을 찾는다

방정식 MB = A에서 MB는 M의 열벡터들의 일차결합이다. 따라서 가능한 모든 MB는 M의 열공간 W 안에 있다. A가 W에 속하면 정확한 해를 구할 수 있지만, A가 W 밖에 있으면 어떤 B를 선택해도 MB = A가 되지 않는다.

이때 목표를 바꾼다. A와 정확히 같은 점이 아니라, W 안에서 A와 가장 가까운 점 A_W를 찾는다. A_W = MB̂을 만족하는 계수 B̂가 최소자승해다. 여기서 ‘가깝다’는 잔차 A - MB̂의 길이가 최소라는 뜻이다.

문제 전환: 해가 없는 MB = A를 억지로 풀지 않는다. A를 열공간 W에 정사영한 뒤 MB̂ = A_W를 푼다. 최소자승법은 근사 계산처럼 보이지만 실제 핵심은 정사영이다.

직교기저에서는 좌표가 서로 간섭하지 않는다

내적공간에서 {A₁, ..., A_n}이 부분공간 U의 직교기저이고 B ∈ U라면, B의 각 방향 계수는 다른 방향을 동시에 풀지 않고 내적 하나로 구할 수 있다.

B = Σ[⟨B, A_i⟩/⟨A_i, A_i⟩]A_i

⟨B, A_i⟩/⟨A_i, A_i⟩는 A_i 방향의 좌표인 푸리에 계수이고, 여기에 A_i를 곱한 벡터가 그 방향성분이다. 단위직교기저라면 분모가 1이어서 계수는 ⟨B, A_i⟩만 남는다.

학습을 위해 직접 구성한 예에서 A₁ = (1, 1, 0), A₂ = (1, -1, 0), A₃ = (0, 0, 2), B = (4, 1, 3)이라 하자. 세 기저벡터는 서로 직교한다. 계수는 차례로 5/2, 3/2, 3/2이므로

B = (5/2)A₁ + (3/2)A₂ + (3/2)A₃ = (4, 1, 3)이다. 마지막 등식이 좌표 계산의 검산이다.

분모를 생략할 수 있는 경우는 기저가 ‘직교’일 때가 아니라 ‘단위직교’일 때다. 직교기저의 벡터 길이가 1이 아니면 ⟨A_i, A_i⟩로 반드시 나누어야 한다.

함수공간에서도 같은 좌표 공식이 작동한다

강의의 함수공간 예는 직교기저 공식이 좌표벡터에만 쓰이는 것이 아님을 보여 준다. [0, 1]에서 ⟨f, g⟩ = ∫₀¹f(x)g(x)dx로 두고

A₁ = 1, A₂ = 2x - 1, A₃ = 6x² - 6x + 1, B = x² + 1이라 하자. {A₁, A₂, A₃}은 직교집합이다.

방향	⟨B, Ai⟩	⟨Ai, Ai⟩	푸리에 계수
A1	4/3	1	4/3
A2	1/6	1/3	1/2
A3	1/30	1/5	1/6

따라서 x² + 1 = (4/3)A₁ + (1/2)A₂ + (1/6)A₃이다. 우변을 전개하면 x²항, x항, 상수항이 각각 1, 0, 1이 되어 원래 함수와 일치한다.

그램-슈미트는 앞 방향을 하나씩 제거한다

일반 기저 {A₁, ..., A_k}는 서로 직교하지 않을 수 있다. 그램-슈미트 직교화는 각 벡터에서 이미 만든 직교방향 성분을 빼서 같은 부분공간을 생성하는 직교기저 {B₁, ..., B_k}로 바꾼다.

B₁ = A₁

B₂ = A₂ - [⟨A₂, B₁⟩/⟨B₁, B₁⟩]B₁

B₃ = A₃ - [⟨A₃, B₁⟩/⟨B₁, B₁⟩]B₁ - [⟨A₃, B₂⟩/⟨B₂, B₂⟩]B₂

핵심은 A₃에서 A₁, A₂ 방향을 빼는 것이 아니라, 이미 직교화된 B₁, B₂ 방향을 빼는 것이다. 그래야 서로 간섭하지 않는 방향성분을 정확히 제거할 수 있다.

실패 지점: B₃을 만들 때 B₁ 방향만 빼면 B₃은 B₁과는 직교해도 B₂와 직교하지 않을 수 있다. 매 단계에서 앞서 만든 모든 B 방향을 제거해야 한다.

강의 연습문제로 직교화 계산을 끝까지 확인한다

강의 연습문제의 A₁ = (2, 0, 0), A₂ = (2, 2, 0), A₃ = (2, 2, 2)에 그램-슈미트를 적용해 보자.

첫 단계: B₁ = A₁ = (2, 0, 0).

둘째 단계: ⟨A₂, B₁⟩/⟨B₁, B₁⟩ = 4/4 = 1이므로 B₂ = (2, 2, 0) - (2, 0, 0) = (0, 2, 0).

셋째 단계: A₃의 B₁, B₂ 방향 계수는 모두 1이다. 따라서 B₃ = (2, 2, 2) - (2, 0, 0) - (0, 2, 0) = (0, 0, 2).

결과 {B₁, B₂, B₃}의 쌍별 내적은 모두 0이고, 각 B_i는 앞의 A 벡터들의 일차결합이다. 반대로 A₁ = B₁, A₂ = B₁ + B₂, A₃ = B₁ + B₂ + B₃이므로 생성공간도 바뀌지 않았다.

단위직교기저가 필요하면 각 벡터를 길이 2로 나누어 (1, 0, 0), (0, 1, 0), (0, 0, 1)을 얻는다. 직교화와 정규화는 서로 다른 단계다.

정사영은 벡터를 부분공간과 수직방향으로 분해한다

부분공간 W의 직교기저가 {B₁, ..., B_k}이면 A의 W로의 정사영은

A_W = Σ[⟨A, B_i⟩/⟨B_i, B_i⟩]B_i

이고 A^⊥ = A - A_W는 W^⊥에 속한다. 따라서 A = A_W + A^⊥로 유일하게 분해되며, 유한차원 내적공간에서는 V = W ⊕ W^⊥이다.

강의 예에서 A = (3, 1, 1), W = span{(1, 1, 1), (1, 1, -2)}이다. 두 생성벡터는 직교하므로 공식에 바로 넣으면 A_W = (2, 2, 1), A^⊥ = (1, -1, 0)이다. A^⊥와 W의 두 기저벡터의 내적이 모두 0인지 확인하면 분해를 검산할 수 있다.

가장 가까운 벡터라는 결론은 피타고라스 관계에서 나온다

정사영 A_W가 왜 W 안에서 A와 가장 가까운가? 임의의 B ∈ W에 대해

A - B = (A - A_W) + (A_W - B)이다. 첫 항은 W^⊥에, 둘째 항은 W에 있으므로 서로 직교한다. 따라서

||A - B||² = ||A - A_W||² + ||A_W - B||² ≥ ||A - A_W||².

등호는 B = A_W일 때 성립한다. 즉, ‘가장 가깝다’는 그림의 직관이 아니라 직교분해와 피타고라스 관계의 결과다.

조건이 바뀌어 직교하지 않는 기저만 주어졌다면 정사영 공식에 그대로 각 기저벡터를 넣으면 안 된다. 먼저 그램-슈미트로 직교기저를 만들거나, 뒤에서 다루는 정규방정식을 사용해야 한다.

잔차의 직교 조건이 정규방정식을 만든다

M이 m×n 행렬이면 각 열은 R^m의 벡터이고, 열공간 W = Col(M)는 R^m의 부분공간이다. 최소자승해 B̂가 만드는 MB̂은 A의 W로의 정사영이므로 잔차 r = A - MB̂은 W의 모든 열벡터와 직교해야 한다.

열별 직교 조건을 한 식으로 모으면 M^Tr = O이다. r을 대입하면

M^T(A - MB̂) = O   ⇒   M^TMB̂ = M^TA.

이 식이 정규방정식이다. M의 열들이 일차독립, 즉 rank(M) = n이면 M^TM은 정칙이므로 최소자승해는 유일하고

B̂ = (M^TM)^-1M^TA

로 쓸 수 있다. 열들이 일차종속이면 역행렬 공식은 사용할 수 없으며 계수 해가 여러 개일 수 있다. 하지만 정규방정식 자체는 여전히 최소자승 조건을 표현한다.

차원 점검: M이 m×n이면 Col(M) ⊆ R^m, M^TM은 n×n, M^TA는 n차원 벡터다. 이 세 차원을 먼저 확인하면 전치 위치 오류를 쉽게 잡을 수 있다.

해가 없는 연립방정식을 최소자승해로 바꿔 푼다

강의의 연립방정식은

x + y = 2,   x - y = 0,   2x + y = 2

이고 M = [[1, 1], [1, -1], [2, 1]], A = (2, 0, 2)^T이다. 세 식을 동시에 만족하는 정확한 해는 없지만

M^TM = [[6, 2], [2, 3]],   M^TA = (6, 4)^T

이므로 정규방정식을 풀어 B̂ = (5/7, 6/7)^T를 얻는다.

검산은 원래 세 식에 대입해 등호를 기대하는 방식으로 하지 않는다. MB̂ = (11/7, -1/7, 16/7)^T이고 잔차 r = A - MB̂ = (3/7, 1/7, -2/7)^T이다. M의 첫 열 (1, 1, 2), 둘째 열 (1, -1, 1)과 r의 내적은 각각 0이다. 즉 M^Tr = O이므로 최소자승 조건을 만족한다.

직선 적합도 같은 정규방정식으로 해결된다

자료 (1, 2), (2, 3), (3, 5), (4, 7)에 직선 y = ax + b를 맞추면 네 식과 두 미지수로 이루어진 과잉결정 시스템이 된다.

M = [[1, 1], [2, 1], [3, 1], [4, 1]], A = (2, 3, 5, 7)^T로 두면 M^TM = [[30, 10], [10, 4]], M^TA = (51, 17)^T이다. 정규방정식의 해는 a = 17/10, b = 0이므로 적합 직선은 y = 1.7x이다.

예측값은 1.7, 3.4, 5.1, 6.8이고 잔차 A - MB̂는 (0.3, -0.4, -0.1, 0.2)^T이다. 잔차 합이 0이고 x를 곱한 잔차 합도 0이므로 잔차는 M의 두 열과 직교한다. 이것이 계산 결과가 정규방정식을 만족한다는 빠른 검산이다.

핵심 개념 정리

1. 직교기저에서는 내적을 이용해 각 방향 계수를 독립적으로 계산한다.
2. 일반 기저는 그램-슈미트로 앞서 만든 모든 직교방향을 제거해 직교기저로 바꾼다.
3. 정사영은 A를 A_W + A^⊥로 분해하고 A_W를 W 안의 최단거리 점으로 만든다.
4. 최소자승법은 A를 Col(M)에 정사영하며, 잔차 직교 조건이 M^TMB̂ = M^TA를 만든다.
5. rank(M) = n일 때만 (M^TM)^-1을 이용한 유일해 공식을 쓸 수 있다.

계산 문제를 만나면 먼저 주어진 기저가 직교인지 확인한다. 직교하면 내적으로 좌표나 정사영을 바로 구하고, 아니면 그램-슈미트로 직교화한다. 방정식의 우변이 열공간 밖에 있으면 잔차가 열공간에 직교하도록 정규방정식을 세우고, 마지막에는 M^T(A - MB̂) = O로 검산한다.

예상문제 10선

1. 직교기저 {A_i}에 대한 벡터 B의 A_i 방향 계수는?

① ⟨A_i, A_i⟩/⟨B, A_i⟩ ② ⟨B, B⟩/⟨A_i, A_i⟩ ③ ⟨B, A_i⟩/⟨A_i, A_i⟩ ④ ⟨B, A_i⟩/⟨B, B⟩

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: 분자와 분모를 뒤집으면 방향성분의 크기를 구할 수 없다.
• ② 오답: B의 자기 내적은 특정 기저방향과의 관계를 나타내지 않는다.
• ③ 정답: B와 해당 방향의 내적을 기저벡터의 길이 제곱으로 나눈 값이다.
• ④ 오답: 분모에는 B가 아니라 기준 방향 A_i의 길이 제곱이 필요하다.

2. 직교기저와 단위직교기저의 좌표 공식 차이에 대한 설명으로 옳은 것은?

① 단위직교기저에서는 ⟨A_i, A_i⟩ = 1이라 분모가 생략된다. ② 직교기저에서는 내적을 사용할 수 없고 연립방정식만 풀어야 한다. ③ 단위직교기저에서는 서로 다른 기저벡터의 내적이 1이다. ④ 두 공식은 기저벡터의 길이와 관계없이 언제나 같다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: 단위벡터의 자기 내적은 1이므로 계수가 ⟨B, A_i⟩로 단순화된다.
• ② 오답: 직교기저에서도 내적 공식을 사용하되 길이 제곱으로 나눈다.
• ③ 오답: 서로 다른 단위직교벡터의 내적은 0이다.
• ④ 오답: 길이가 1이 아닌 직교기저에서는 분모가 필수다.

3. 그램-슈미트로 B₃을 만드는 올바른 방법은?

① A₃에서 A₁ 방향만 제거한다. ② A₃에 B₁, B₂ 방향성분을 더한다. ③ B₁과 B₂를 먼저 서로 더한 뒤 정규화한다. ④ A₃에서 B₁, B₂ 방향성분을 모두 뺀다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: B₂ 방향을 남기면 B₃과 B₂의 직교성이 보장되지 않는다.
• ② 오답: 방향성분을 더하면 기존 방향이 강화되어 직교화와 반대가 된다.
• ③ 오답: 벡터의 합을 정규화해도 A₃의 겹치는 방향을 제거하지 못한다.
• ④ 정답: 앞서 만든 모든 직교방향을 제거해야 새 벡터가 이들 모두와 직교한다.

4. A₁ = (2, 0, 0), A₂ = (2, 2, 0)에 그램-슈미트를 적용할 때 B₂는?

① (2, 2, 0) ② (0, 2, 0) ③ (0, 0, 2) ④ (4, 2, 0)

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: A₁ 방향을 제거하지 않은 원래 벡터다.
• ② 정답: 방향 계수 4/4 = 1이므로 A₂ - B₁ = (0, 2, 0)이다.
• ③ 오답: 이 벡터는 셋째 단계에서 얻는 B₃이다.
• ④ 오답: 방향성분을 빼지 않고 더한 결과다.

5. A의 W로의 정사영 A_W에 대한 설명으로 옳은 것은?

① A_W는 W^⊥에 속한다. ② A - A_W는 W 안에 속한다. ③ A_W는 W에서 A와 가장 먼 벡터다. ④ A_W ∈ W이고 A - A_W ∈ W^⊥이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: 정사영은 투영 대상인 W 안의 벡터다.
• ② 오답: 남는 잔차는 W가 아니라 W^⊥에 속한다.
• ③ 오답: 피타고라스 관계에 의해 A_W는 가장 가까운 벡터다.
• ④ 정답: 이 직교분해가 정사영의 소속과 잔차 방향을 함께 나타낸다.

6. A = (1, 2, 3)을 x-y평면 W에 정사영한 결과는?

① (1, 2, 0) ② (0, 0, 3) ③ (1, 2, 3) ④ (-1, -2, 0)

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: x와 y 성분은 유지하고 W에 수직인 z 성분을 제거한 벡터다.
• ② 오답: 이는 정사영이 아니라 잔차 A - A_W이다.
• ③ 오답: 원래 벡터는 z 성분 때문에 W에 속하지 않는다.
• ④ 오답: 부호를 바꿀 근거가 없고 원래 벡터와의 거리도 최소가 아니다.

7. MB = A의 최소자승해를 구하는 올바른 흐름은?

① M을 제곱한 뒤 M²B = A를 푼다. ② M^TM과 M^TA를 구해 정규방정식을 푼 뒤 잔차 직교를 확인한다. ③ A의 각 성분 평균을 B의 모든 성분으로 사용한다. ④ M의 각 열을 정규화한 값 자체를 해로 선택한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: 비정방행렬에서는 M²가 정의되지 않을 수 있고 최소거리 조건도 반영하지 않는다.
• ② 정답: 정규방정식은 잔차가 열공간에 직교한다는 최소자승 조건을 담는다.
• ③ 오답: 성분 평균은 M의 열공간 구조를 고려하지 않는다.
• ④ 오답: 열의 정규화만으로 A에 가장 가까운 일차결합 계수를 얻을 수 없다.

8. “M^TMB̂ = M^TA를 풀었으니 반드시 MB̂ = A이다”라는 판단이 틀린 이유는?

① 정규방정식은 정방행렬에만 정의되기 때문이다. ② 전치행렬은 내적과 관련이 없기 때문이다. ③ 정규방정식은 잔차가 열공간에 직교함을 뜻하며 잔차가 0임을 뜻하지는 않는다. ④ 최소자승해에서는 잔차가 열공간 안에 있어야 하기 때문이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: M이 m×n이어도 M^TM은 n차 정방행렬로 정의된다.
• ② 오답: M^Tr = O가 바로 각 열과 잔차의 내적이 0임을 나타낸다.
• ③ 정답: A가 열공간 밖이면 최적 잔차는 0이 아니어도 열공간과 직교한다.
• ④ 오답: 잔차는 열공간 안이 아니라 그 직교보공간에 속한다.

9. 강의의 직선 적합 자료에 대해 얻은 y = 1.7x에서 x = 3의 예측값과 실제값의 잔차 ‘실제값 - 예측값’은?

① 예측값 5.1, 잔차 -0.1 ② 예측값 5.0, 잔차 0 ③ 예측값 5.1, 잔차 0.1 ④ 예측값 5.7, 잔차 -0.7

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: 1.7×3 = 5.1이고 실제값 5에서 빼면 5 - 5.1 = -0.1이다.
• ② 오답: 적합 직선은 해당 점을 정확히 통과할 필요가 없다.
• ③ 오답: 잔차의 방향을 예측값 - 실제값으로 반대로 계산했다.
• ④ 오답: 기울기에 x = 3을 곱한 값이 잘못되었다.

10. 최소자승 계산을 마친 뒤 결과를 가장 직접적으로 검산하는 식은?

① MB̂ = A가 모든 경우에 정확히 성립하는지 본다. ② det(M) = 1인지 확인한다. ③ 각 계수의 절댓값이 1 이하인지 확인한다. ④ M^T(A - MB̂) = O인지 확인한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: A가 열공간 밖인 최소자승 문제에서는 잔차가 0일 필요가 없다.
• ② 오답: M은 비정방행렬일 수 있어 행렬식이 정의되지 않으며 최소자승 조건도 아니다.
• ③ 오답: 계수의 크기에는 이런 제한이 없고 잔차의 직교성이 핵심이다.
• ④ 정답: 잔차가 M의 모든 열에 직교한다는 정규방정식 조건을 직접 확인한다.

참고 자료와 작성 기준

이 글은 해당 차시 강의자료를 바탕으로 학습 목적에 맞게 재구성한 비공식 학습자료입니다. 단계별 계산, 검산과 문제 해설은 학습자의 이해를 돕도록 구성하고 검토했습니다.

• 작성·편집: 올에이클래스 학습연구팀
• 주요 근거: 한국방송통신대학교 선형대수 제15강 「직교화 과정과 최소자승법」 강의자료(2024)
• 보충 자료: 외부 보충 자료를 사용하지 않았습니다.
• 편집 원칙: 올에이클래스 편집 정책
• 최종 내용 검토: 2026-08-27