방송대 선형대수 14강: 내적공간과 직교변환

방송대 선형대수 14강: 내적공간과 직교변환

좌표가 달라져도 길이와 각을 말할 수 있는 이유는 내적에 있다. 이 글은 내적에서 길이·각·직교가 어떻게 파생되고, 그 관계가 직교행렬과 직교변환의 보존 성질로 이어지는지를 하나의 연결망으로 재구성한다.

출발점은 ‘무엇을 보존할 것인가’이다

벡터공간은 벡터를 더하고 실수배하는 규칙을 제공하지만, 두 벡터가 얼마나 가까운 방향인지 또는 길이가 얼마인지는 그 규칙만으로 정할 수 없다. 내적은 두 벡터에 실수를 대응시켜 길이와 각을 측정할 수 있게 하는 추가 구조다. 따라서 14강의 개념은 서로 흩어진 정의가 아니라 다음 관계로 이어진다.

내적 → 벡터의 크기와 사이각 → 직교 → 직교집합·직교보공간 → 직교행렬 → 직교변환

층위	핵심 질문	판정식
측정 규칙	두 벡터의 관계를 어떤 실수로 나타내는가?	⟨A, B⟩
기하 관계	길이와 각, 직교를 어떻게 계산하는가?	||A||, cos θ, ⟨A, B⟩ = 0
행렬 구조	단위직교 방향을 열이나 행으로 모았는가?	MTM = I
변환 성질	변환 뒤에도 측정값이 그대로인가?	⟨T(A), T(B)⟩ = ⟨A, B⟩

판단 핵심: ‘직교’는 두 벡터의 관계이고, ‘직교행렬’은 행과 열이 단위직교벡터인 행렬이며, ‘직교변환’은 길이와 내적을 보존하는 선형변환이다. 이름이 비슷해도 대상이 다르다.

내적의 네 조건이 측정을 가능하게 한다

실수 벡터공간 V에서 ⟨A, B⟩가 내적이 되려면 임의의 A, B, C ∈ V와 실수 k에 대해 다음을 만족해야 한다.

• 대칭성: ⟨A, B⟩ = ⟨B, A⟩
• 덧셈에 대한 선형성: ⟨A, B + C⟩ = ⟨A, B⟩ + ⟨A, C⟩
• 실수배에 대한 선형성: ⟨kA, B⟩ = k⟨A, B⟩
• 양의 정부호성: ⟨A, A⟩ ≥ 0이고, ⟨A, A⟩ = 0일 필요충분조건은 A = O이다.

이 조건이 주어진 벡터공간을 내적공간이라 한다. 익숙한 Rⁿ의 점곱 A · B = a₁b₁ + ··· + a_nb_n은 한 가지 내적이지만, 내적은 좌표벡터에만 한정되지 않는다.

양의 정부호성에서 ‘0 이상’만 확인하면 부족하다. 영벡터가 아닌 A에 대해 ⟨A, A⟩ = 0이 가능하다면 ||A|| = √⟨A, A⟩를 길이로 해석할 수 없기 때문이다.

길이와 각은 내적에서 차례로 나온다

내적이 정해지면 벡터의 크기를 ||A|| = √⟨A, A⟩로 정의한다. 영벡터가 아닌 A, B의 사이각은 다음 식으로 정한다.

cos θ = ⟨A, B⟩ / (||A||||B||),   0 ≤ θ ≤ π

이 비율이 -1과 1 사이에 있다는 사실은 코시-슈바르츠 부등식 |⟨A, B⟩| ≤ ||A||||B||가 보장한다. 그 이유를 생략하지 않고 추적해 보자. 모든 실수 x에 대해 ⟨xA + B, xA + B⟩ ≥ 0이므로

⟨A, A⟩x² + 2⟨A, B⟩x + ⟨B, B⟩ ≥ 0이다. 이 이차식이 음수가 되지 않으려면 판별식이 0 이하여야 하므로

⟨A, B⟩² ≤ ⟨A, A⟩⟨B, B⟩ = ||A||²||B||²를 얻는다.

예를 들어 A = (2, 1), B = (1, -2)이면 A · B = 2 - 2 = 0이다. 두 벡터의 길이는 모두 √5이지만, 직교 판정에는 길이가 아니라 내적이 0인지가 결정적이다.

직교는 벡터 묶음과 부분공간의 구조를 정리한다

⟨A, B⟩ = 0이면 A와 B는 직교한다. 영벡터가 아닌 벡터들이 서로 직교하면 자동으로 일차독립이다. 따라서 n차원 공간에서 n개의 서로 직교인 영이 아닌 벡터를 얻으면 곧바로 기저가 된다.

직교집합은 서로 직교인 영이 아닌 벡터들의 집합이고, 각 벡터의 길이까지 1이면 단위직교집합이다. 직교벡터 A_i를 B_i = A_i/||A_i||로 바꾸는 과정을 정규화라고 한다. 방향은 유지되고 길이만 1이 된다.

강의의 예 A₁ = (1, 1, 0), A₂ = (-1, 1, 0), A₃ = (0, 0, 1)은 서로 직교하지만 앞의 두 벡터 길이가 √2이다. 따라서 B₁ = (1/√2, 1/√2, 0), B₂ = (-1/√2, 1/√2, 0), B₃ = (0, 0, 1)로 정규화해야 단위직교기저가 된다.

흔한 오개념: 일차독립이라고 해서 직교인 것은 아니다. 직교인 영 아닌 벡터들은 일차독립이지만, 그 역은 일반적으로 성립하지 않는다. 또한 정규화는 이미 직교인 방향들을 서로 직교하게 만드는 과정이 아니라 길이만 1로 바꾸는 과정이다.

직교보공간은 한 부분공간에 수직인 방향을 모두 모은다

V의 부분공간 U에 대해 U의 모든 벡터와 직교하는 벡터들을 모은 집합을 직교보공간 U^⊥라 한다.

U^⊥ = {A ∈ V | 모든 B ∈ U에 대해 ⟨A, B⟩ = 0}

R³에서 U가 x-y평면이라면 U의 모든 벡터는 (a, b, 0)이고, z축 위의 벡터 (0, 0, c)는 이들과 내적이 0이다. 따라서 U^⊥는 z축이다. 매번 U의 모든 벡터를 검사할 필요는 없다. U의 기저 각각과 직교하는지만 확인하면 U 전체와 직교함을 알 수 있다.

강의의 유한차원 맥락에서는 U^⊥도 부분공간이고, U ∩ U^⊥ = {O}, (U^⊥)^⊥ = U가 성립한다. 이는 한 공간의 방향을 U 쪽과 그에 수직인 쪽으로 분리하는 바탕이 된다.

직교행렬은 단위직교기저를 열과 행에 담는다

n차 정방행렬 M이 M^-1 = M^T, 즉 M^TM = I를 만족하면 직교행렬이다. 이 식은 역행렬 계산을 빠르게 하는 공식이면서 동시에 M의 열벡터들이 단위직교벡터라는 뜻이다. 행벡터들에 대해서도 같은 결론이 성립한다.

확인 방법	확인하는 내용	언제 유용한가
MTM = I	행렬 전체의 직교성	행렬 곱이 간단할 때
열벡터의 내적	서로 수직이고 각각 길이 1인지	열이 간단한 벡터일 때
M-1 = MT	전치가 실제 역행렬인지	역행렬이 이미 주어졌을 때

M이 직교행렬이면 det(M)² = det(M^TM) = 1이므로 det(M) = 1 또는 -1이다. 그러나 그 역은 성립하지 않는다. 행렬식의 절댓값이 1이라는 사실만으로는 열벡터들이 단위직교인지 알 수 없다.

R²에서는 det(M) = 1인 직교행렬이 회전에, det(M) = -1인 직교행렬이 대칭에 대응한다. 두 경우 모두 길이와 각을 보존하지만 공간의 방향성을 보존하는지는 행렬식의 부호로 갈린다.

대칭행렬은 직교하는 고유방향으로 대각화된다

13강의 대각화와 연결되는 중요한 결론은 실수 대칭행렬은 직교행렬로 대각화할 수 있다는 것이다. 일반 대각화의 P는 정칙이면 충분하지만, 대칭행렬에서는 정규화된 고유벡터들을 열로 두어 P 자체를 직교행렬로 선택할 수 있다. 그러면 P^-1 = P^T이므로 M = PDP^T가 된다.

강의의 M = [[1, 0, -2], [0, 0, 0], [-2, 0, 4]]는 고유값 0, 0, 5를 갖는다. λ = 0에 대응하는 서로 직교인 벡터 (0, 1, 0), (2, 0, 1)과 λ = 5의 벡터 (-1, 0, 2)를 각각 정규화하면

P의 열은 (0, 1, 0), (2/√5, 0, 1/√5), (-1/√5, 0, 2/√5)가 되고 D = diag(0, 0, 5)이다. 각 열의 길이가 1이고 서로 내적이 0이므로 P^TP = I이며, MP = PD까지 확인하면 계산이 완결된다.

반복 고유값이 있다고 아무 고유벡터나 열에 놓으면 직교행렬 P가 되지 않을 수 있다. 같은 고유공간 안에서도 서로 직교하는 기저를 선택하고 모든 열을 정규화해야 한다.

직교변환은 내적이 만든 기하 정보를 보존한다

내적공간의 선형변환 T가 모든 벡터 A에 대해 ||T(A)|| = ||A||를 만족하면 직교변환이다. 길이 보존, 내적 보존, 단위직교기저를 단위직교집합으로 보내는 성질은 서로 동치다. 같은 차원의 단위직교기저로 표현한 행렬 M은 M^TM = I를 만족한다.

행렬식만 외우기보다 보존의 흐름을 확인하면 이유가 분명해진다.

||MA||² = (MA)^T(MA) = A^TM^TMA = A^TA = ||A||²

또한 ⟨MA, MB⟩ = A^TM^TMB = A^TB이므로 내적도 유지된다. 길이와 내적이 모두 같으면 cos θ를 정하는 분자와 분모가 모두 유지되어 사이각도 보존된다.

검산 순서: 변환이 직교변환인지 묻는 문제에서는 ① 선형변환인지 확인하고, ② 행렬 M을 구한 뒤, ③ M^TM = I를 검사한다. 성립하면 길이·내적·각 보존을 각각 다시 계산하지 않아도 된다.

함수도 내적을 가지면 길이와 각을 계산할 수 있다

강의 연습문제는 벡터를 좌표의 열로만 보는 습관을 깨 준다. [0, 1]에서 연속인 함수들의 공간 C에 ⟨f, g⟩ = ∫₀¹f(x)g(x)dx를 정의하고 A₁(x) = 1, A₂(x) = 2x라 하자.

먼저 내적은 ⟨A₁, A₂⟩ = ∫₀¹2x dx = [x²]₀¹ = 1이다.

각 함수의 길이는 ||A₁|| = √(∫₀¹1 dx) = 1, ||A₂|| = √(∫₀¹4x²dx) = 2/√3이다. 따라서

cos θ = 1/(2/√3) = √3/2이므로 θ = π/6이다.

이 계산의 핵심은 공식이 달라진 것이 아니라 내적의 계산 규칙이 점곱에서 적분으로 바뀌었다는 데 있다. 내적을 먼저 계산하면 길이와 각의 정의는 그대로 재사용된다.

핵심 개념 정리

• 내적은 대칭성, 선형성, 양의 정부호성을 만족하며 길이와 각의 출발점이 된다.
• 직교는 내적이 0인 관계이고, 서로 직교인 영 아닌 벡터들은 일차독립이다.
• 정규화는 방향을 유지하며 길이를 1로 만들고, 직교보공간은 한 부분공간 전체에 수직인 방향을 모은다.
• 직교행렬은 M^TM = I를 만족하며 열과 행이 단위직교벡터다.
• 직교변환은 길이, 내적, 각을 보존하고, 실수 대칭행렬은 직교행렬로 대각화할 수 있다.

새 문제에서는 먼저 주어진 대상이 벡터·부분공간·행렬·변환 중 무엇인지 구분한다. 그다음 내적을 계산해 길이와 직교를 판정하고, 여러 방향을 모은 행렬이라면 M^TM을 검사한다. 마지막으로 이 식이 I라면 길이·내적·각 보존을 한꺼번에 결론 내리는 것이 가장 짧고 재사용 가능한 사고 순서다.

예상문제 10선

1. 실수 벡터공간에서 내적의 양의 정부호성을 정확히 설명한 것은?

① ⟨A, A⟩은 모든 A에 대해 양수이다. ② ⟨A, A⟩ ≥ 0이고, 그 값이 0일 필요충분조건은 A = O이다. ③ ⟨A, B⟩ = 0이면 A와 B는 모두 영벡터이다. ④ ⟨A, A⟩은 A의 각 성분의 합이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: 영벡터에서는 값이 0이므로 모든 경우에 양수는 아니다.
• ② 정답: 비음성과 영벡터 판별을 함께 요구하는 조건이다.
• ③ 오답: 서로 직교인 영 아닌 두 벡터도 내적이 0일 수 있다.
• ④ 오답: 자기 자신과의 내적은 선택한 내적 규칙으로 계산하며 단순 성분 합이 아니다.

2. 내적이 정의된 공간에서 두 영 아닌 벡터의 사이각을 구하는 순서로 알맞은 것은?

① 각 벡터를 더한 뒤 그 합의 길이만 구한다. ② 행렬식을 구하고 부호로 각을 판정한다. ③ 두 벡터를 정규화한 뒤 좌표의 합을 비교한다. ④ 내적과 두 길이를 구해 cos θ = ⟨A, B⟩/(||A||||B||)에 대입한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: 합의 길이 하나만으로는 내적과 두 벡터의 길이를 분리할 수 없다.
• ② 오답: 행렬식 부호는 2차 직교행렬의 변환 유형과 관련되며 일반 벡터의 사이각 공식이 아니다.
• ③ 오답: 정규화는 가능하지만 좌표의 합이 아니라 정규화된 벡터의 내적을 사용해야 한다.
• ④ 정답: 코시-슈바르츠 부등식이 이 비율을 [-1, 1]에 두므로 각을 정할 수 있다.

3. R²의 점곱에서 A = (3, 1), B = (1, -3)일 때 두 벡터의 관계는?

① 같은 방향이다. ② 내적이 0이므로 직교한다. ③ 두 벡터 모두 단위벡터이다. ④ 일차종속이므로 직교할 수 없다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: 한 벡터가 다른 벡터의 양의 실수배가 아니다.
• ② 정답: A · B = 3 - 3 = 0이므로 두 영 아닌 벡터는 직교한다.
• ③ 오답: 두 벡터의 길이는 모두 √10이다.
• ④ 오답: 서로 직교인 영 아닌 벡터는 오히려 일차독립이다.

4. 직교집합과 단위직교집합의 차이를 바르게 설명한 것은?

① 둘 다 서로 직교하지만 단위직교집합은 각 벡터의 길이가 1이다. ② 직교집합은 일차종속이고 단위직교집합만 일차독립이다. ③ 직교집합에는 영벡터가 반드시 포함된다. ④ 단위직교집합은 벡터 사이의 내적이 1이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: 정규화 여부, 즉 각 벡터 길이가 1인지가 결정적 차이다.
• ② 오답: 두 집합 모두 영 아닌 서로 직교인 벡터들로 이루어져 일차독립이다.
• ③ 오답: 직교집합의 벡터는 영벡터가 아니어야 한다.
• ④ 오답: 서로 다른 벡터의 내적은 0이고 각 벡터의 자기 내적이 1이다.

5. R³에서 U = span{(1, 0, 0), (0, 1, 0)}일 때 U^⊥는?

① x축 ② x-y평면 ③ z축 ④ R³ 전체

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: x축 벡터는 U 안에 있으며 (1, 0, 0)과 직교하지 않는다.
• ② 오답: U 자체이므로 U의 영 아닌 벡터와 직교하지 않는다.
• ③ 정답: (0, 0, c)는 U의 두 기저벡터와 모두 내적이 0이다.
• ④ 오답: U의 벡터까지 포함하므로 U 전체와 직교하는 집합일 수 없다.

6. 정방행렬 M이 직교행렬임을 나타내는 식은?

① M^TM = M ② M² = O ③ M^TM = I ④ det(M) = 0

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: 이 식은 직교성의 정의가 아니며 전치와 역행렬의 관계를 주지 않는다.
• ② 오답: 영멱행렬의 조건에 가깝고 정칙인 직교행렬과 양립하지 않는다.
• ③ 정답: 이 식에서 곧 M^-1 = M^T가 따른다.
• ④ 오답: 직교행렬의 행렬식은 1 또는 -1이므로 0이 아니다.

7. “det(M) = 1이므로 M은 직교행렬이다”라는 판단의 문제점은?

① 행렬식 조건은 필요조건일 뿐, M^TM = I를 보장하지 않는다. ② 직교행렬의 행렬식은 언제나 0이기 때문이다. ③ 직교행렬에서는 전치행렬을 정의할 수 없기 때문이다. ④ det(M) = -1인 경우만 직교행렬이기 때문이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: det(M) = ±1은 직교행렬에서 따라오지만 이것만으로 열의 단위직교성을 확인할 수 없다.
• ② 오답: 직교행렬은 정칙이며 행렬식이 0일 수 없다.
• ③ 오답: 모든 행렬에는 전치행렬을 정의할 수 있고 직교행렬은 이를 역행렬로 사용한다.
• ④ 오답: 행렬식 1인 회전행렬도 직교행렬이다.

8. 실수 2차 직교행렬의 행렬식과 변환 유형의 연결로 옳은 것은?

① det = 0이면 회전, det = 1이면 대칭이다. ② det = 1이면 확대, det = -1이면 축소이다. ③ det의 부호와 관계없이 모든 직교행렬은 대칭만 나타낸다. ④ det = 1이면 회전, det = -1이면 대칭에 대응한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: 직교행렬은 정칙이므로 행렬식이 0일 수 없고 유형 연결도 뒤바뀌었다.
• ② 오답: 직교변환은 길이를 보존하므로 확대나 축소가 아니다.
• ③ 오답: 행렬식 1인 경우에는 방향성을 보존하는 회전이 포함된다.
• ④ 정답: R² 직교행렬의 두 유형을 행렬식 부호가 구분한다.

9. 함수공간에서 ⟨f, g⟩ = ∫₀¹f(x)g(x)dx이고 f(x) = 1, g(x) = 2x일 때 사이각은?

① 0 ② π/6 ③ π/2 ④ 5π/6

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: 각이 0이면 두 함수가 같은 방향의 실수배여야 하지만 1과 2x는 그렇지 않다.
• ② 정답: 내적은 1, 길이는 1과 2/√3이므로 cos θ = √3/2이다.
• ③ 오답: 직각이려면 내적이 0이어야 하지만 적분값은 1이다.
• ④ 오답: 이 각의 코사인은 음수여야 하지만 계산된 내적은 양수다.

10. 선형변환 T의 행렬 M이 주어졌을 때 T가 길이와 각을 보존하는지 가장 효율적으로 판정하는 방법은?

① 한 벡터의 길이만 계산해 같으면 결론 낸다. ② det(M)이 양수인지 여부만 확인한다. ③ M^TM = I인지 확인해 직교행렬 여부를 판정한다. ④ M의 모든 원소가 1 이하인지 확인한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: 특정 벡터 하나의 길이 보존은 모든 벡터와 각에 대한 보존을 보장하지 않는다.
• ② 오답: 양의 행렬식만으로 직교성을 판정할 수 없으며, R²의 대칭변환에 대응하는 직교행렬은 행렬식이 -1이다.
• ③ 정답: 이 식은 내적과 길이의 보존을 동시에 보장하고 결과적으로 각도 보존한다.
• ④ 오답: 원소 크기는 열벡터의 단위직교성과 동치가 아니다.

참고 자료와 작성 기준

이 글은 해당 차시 강의자료를 바탕으로 학습 목적에 맞게 재구성한 비공식 학습자료입니다. 개념 관계, 계산 과정과 문제 해설은 학습자의 이해를 돕도록 구성하고 검토했습니다.

• 작성·편집: 올에이클래스 학습연구팀
• 주요 근거: 한국방송통신대학교 선형대수 제14강 「내적공간과 직교벡터」 강의자료(2024)
• 보충 자료: 외부 보충 자료를 사용하지 않았습니다.
• 편집 원칙: 올에이클래스 편집 정책
• 최종 내용 검토: 2026-08-27