방송대 선형대수 4강: 정칙행렬과 역행렬 판정

행렬방정식 AX=B에서 스칼라 방정식처럼 무심코 “A로 나누기”를 할 수는 없습니다. 먼저 A가 역행렬을 갖는지 판정하고, 2×2 공식이나 가우스-조르단 소거법 가운데 알맞은 방법을 선택해야 합니다. 이 글은 존재 판정, 계산, 검산, 연립방정식의 해와 위수까지 하나의 의사결정 흐름으로 묶습니다.

행렬에서는 나눗셈보다 역행렬의 존재를 먼저 묻는다

스칼라 방정식 ax=b에서 a≠0이면 곱셈의 역원 a^-1을 양변에 곱해 x=a^-1b를 얻습니다. 행렬방정식 AX=B도 같은 생각을 확장하지만, 모든 행렬에 역원이 있는 것은 아닙니다.

n차 정방행렬 A에 대해 어떤 행렬 B가 AB=BA=I_n을 만족하면 A를 정칙행렬 또는 역연산이 가능한 행렬이라고 합니다. 이때 B는 A의 역행렬이며 A^-1로 씁니다. 역행렬이 없는 정방행렬은 특이행렬입니다.

첫 판정 질문: 정방행렬이라는 사실은 역행렬을 논의할 수 있게 할 뿐, 역행렬의 존재를 보장하지는 않습니다. 실제로 A를 단위행렬로 행변환할 수 있는지 확인해야 합니다.

역행렬이 존재한다면 하나뿐입니다. B와 C가 모두 A의 역행렬이라고 가정하면 B=BI=B(AC)=(BA)C=IC=C입니다. 이 짧은 증명은 결합법칙과 역행렬의 정의만 사용합니다.

2×2 행렬은 공식보다 분모가 0인지 먼저 확인한다

A=[[a,b],[c,d]]일 때 D=ad-bc라고 두면, D≠0인 경우에만 다음 역행렬이 존재합니다.

A^-1=(1/D)[[d,-b],[-c,a]]

계산 순서는 ‘D 확인 → 주대각선 원소 교환 → 나머지 두 원소의 부호 변경 → 전체에 1/D 곱하기’입니다. 강의록의 A=[[2,1],[5,3]]에서는 D=2·3-1·5=1이므로 A^-1=[[3,-1],[-5,2]]입니다.

검산은 한쪽 곱만 대충 보는 것이 아니라 실제 곱을 계산해 단위행렬이 나오는지 확인합니다.

첫째 행·첫째 열: 2·3+1·(-5)=1
첫째 행·둘째 열: 2·(-1)+1·2=0
둘째 행·첫째 열: 5·3+3·(-5)=0
둘째 행·둘째 열: 5·(-1)+3·2=1

자주 생기는 오류: D=0인데도 공식에 대입하면 0으로 나누게 됩니다. 또 네 원소에 모두 부호를 바꾸는 것이 아니라 a와 d는 자리를 바꾸고 b와 c만 부호를 바꿉니다.

곱의 역행렬은 적용 순서를 되돌려야 한다

정칙행렬의 성질은 계산을 다시 시작하지 않고도 새 행렬의 역행렬을 판단하게 해 줍니다. A와 B가 같은 차수의 정칙행렬이고 c≠0이면 다음이 성립합니다.

대상	역행렬	판단 이유
`A`^-1	(`A`^-1)^-1=`A`	되돌리는 연산을 다시 되돌리면 원래 행렬
`AB`	(`AB`)^-1=`B`^-1`A`^-1	마지막에 적용된 `B`부터 취소해야 함
`cA`	(`cA`)^-1=`c`^-1`A`^-1	스칼라와 행렬을 각각 되돌림
`A`^T	(`A`^T)^-1=(`A`^-1)^T	전치한 곱의 순서와 단위행렬을 이용

특히 (AB)^-1을 A^-1B^-1로 쓰면 일반적으로 틀립니다. 올바른 식을 곱하면 (AB)(B^-1A^-1)=AIA^-1=I가 되지만, 순서를 유지한 A^-1B^-1에서는 가운데 항이 곧바로 소거되지 않습니다.

정칙행렬의 정수 거듭제곱도 같은 규칙을 따릅니다. A⁰=I, A^-n=(A^-1)ⁿ으로 정의하면 A^rA^s=A^r+s가 정수 지수에서도 유지됩니다. 따라서 A⁵A^-3=A²이지만 (A⁵)^-3=A^-15입니다.

기본행렬은 한 번의 행연산을 행렬 곱으로 기록한다

기본행렬은 단위행렬 I_n에 기본행연산을 정확히 한 번 적용해 얻는 행렬입니다. A의 왼쪽에 기본행렬 E를 곱한 EA는 A에 그와 같은 행연산을 한 결과와 같습니다.

기본행연산	3차 기본행렬의 예	역연산
1행과 2행 교환	`[[0,1,0],[1,0,0],[0,0,1]]`	같은 두 행을 다시 교환
3행에 5를 곱함	`[[1,0,0],[0,1,0],[0,0,5]]`	3행에 1/5를 곱함
1행의 2배를 3행에 더함	`[[1,0,0],[0,1,0],[2,0,1]]`	1행의 2배를 3행에서 뺌

각 기본행연산은 되돌릴 수 있으므로 기본행렬은 모두 정칙행렬이고, 그 역행렬도 같은 종류의 기본행렬입니다. 행 교환은 자기 자신이 역행렬이며, c배 연산은 1/c배로, 다른 행의 c배를 더하는 연산은 -c배를 더하는 연산으로 취소합니다.

A에 여러 행연산을 차례로 적용해 B가 되었다면 각각의 기본행렬을 이용해 B=E_k···E₂E₁A로 쓸 수 있습니다. 따라서 A가 단위행렬과 행상등이라는 말은 A가 유한개의 기본행렬의 곱이라는 말과 연결됩니다.

가우스-조르단 소거법은 왼쪽 판정과 오른쪽 계산을 동시에 한다

n차 정방행렬 A의 역행렬을 구하려면 확대행렬 (A|I_n)를 만들고 양쪽에 같은 기본행연산을 적용합니다. 왼쪽이 단위행렬이 되면 오른쪽은 A^-1입니다. 왼쪽 소거행제형에 영행이 생겨 단위행렬이 될 수 없다면 역행렬이 없습니다.

강의록의 A=[[1,3,0],[0,5,2],[1,5,1]]은 다음 핵심 상태를 거칩니다.

(A|I₃)에서 1행을 3행에서 빼면 셋째 행 왼쪽은 [0,2,1]이 됩니다.
둘째 행과 셋째 행을 조합해 둘째 선도원소를 1로 만들고, 첫째·셋째 행의 둘째 열을 0으로 만듭니다.
셋째 선도원소를 이용해 위쪽의 셋째 열을 0으로 만들면 왼쪽이 I₃가 됩니다.
오른쪽에 남은 행렬은 [[-5,-3,6],[2,1,-2],[-5,-2,5]]입니다.

직접 곱해 첫째 행을 검산하면 [1,3,0]과 역행렬의 세 열의 내적이 각각 1, 0, 0입니다. 같은 방식으로 나머지 행도 계산하면 AA^-1=I₃가 됩니다.

양쪽을 함께 바꾸는 이유: 왼쪽에서 A를 I로 만든 행연산들의 누적 효과가 바로 A^-1입니다. 오른쪽 단위행렬에 같은 연산을 적용하지 않으면 그 누적 효과를 기록할 수 없습니다.

암호화와 복호화는 행렬과 역행렬의 역할을 보여 준다

강의록은 문자를 수로 바꾼 메시지 행렬 M에 정칙행렬 A를 곱해 MA를 암호문처럼 만들고, 다시 A^-1을 곱해 원문을 되찾는 예를 제시합니다. 핵심 관계는 (MA)A^-1=M(AA^-1)=M입니다.

예에서 M=[[8,15,14],[7,3,2],[8,0,0]], A=[[1,0,1],[1,1,2],[0,2,3]]이고, 곱한 결과는 MA=[[23,43,80],[10,7,19],[8,0,8]]입니다. 여기에 A^-1=[[-1,2,-1],[-3,3,-1],[2,-2,1]]을 오른쪽에서 곱하면 M을 복원합니다.

곱하는 쪽도 보존: 메시지를 MA처럼 오른쪽에서 변환했다면 복원도 오른쪽에서 A^-1을 곱해야 합니다. 행렬 곱은 교환법칙이 일반적으로 성립하지 않으므로 위치를 임의로 바꿀 수 없습니다.

위수는 해의 존재와 유일성을 구분하는 판정 도구다

행렬 M을 행제형 R로 만들었을 때 영행이 아닌 행의 수를 위수(rank)라고 합니다. 방정식이 m개이고 미지수가 n개인 AX=B에서는 계수행렬 A와 확대행렬 (A|B)의 위수를 비교합니다.

위수 관계	해의 상태	소거 과정에서 보이는 신호
rank(`A`)≠rank(`A`\|`B`)	해 없음	계수 부분은 모두 0인데 상수만 0이 아닌 모순행
rank(`A`)=rank(`A`\|`B`)<`n`	무수히 많은 해	선도원소가 없는 미지수 열이 남음
rank(`A`)=rank(`A`\|`B`)=`n`	유일한 해	모든 미지수 열에 선도원소가 생김

직접 구성한 비교 예에서 A=[[1,2],[2,4]]라고 하겠습니다. B=[[3],[7]]이면 둘째 식에서 첫째 식의 2배를 빼 0=1이 되므로 rank(A)=1, rank(A|B)=2이고 해가 없습니다. B=[[3],[6]]이면 0=0이 되어 두 위수는 모두 1이지만 미지수 수 2보다 작으므로 해가 무수히 많습니다.

따라서 위수는 ‘해가 있는가’를 먼저 판단하고, 해가 있다면 ‘하나인가 여러 개인가’를 이어서 판단하게 합니다. 정방행렬의 역행렬 존재는 모든 열에 선도원소가 생겨 위수가 n이 되는 특별한 경우입니다.

정칙성의 다섯 문장은 하나의 사실을 다른 방향에서 말한다

n차 정방행렬 A에 대해서 다음 다섯 성질은 서로 동치입니다. 어느 하나가 참임을 확인하면 나머지도 모두 참이고, 어느 하나가 거짓이면 나머지도 모두 거짓입니다.

A는 정칙행렬이다.
A는 I_n과 행상등하다.
A는 유한개의 n차 기본행렬의 곱이다.
동차연립방정식 AX=O는 자명한 해 X=O만 갖는다.
모든 n×1 행렬 B에 대해 AX=B는 유일한 해를 갖는다.

이 연결은 문제에서 주어진 정보에 맞는 판정 경로를 선택하게 해 줍니다. 행연산 결과가 주어졌다면 단위행렬 도달 여부를 보고, 동차연립방정식의 해가 주어졌다면 비자명한 해의 존재 여부를 봅니다. 역행렬이 이미 주어졌다면 곱해서 단위행렬인지 확인합니다.

범위 구분: 강의록은 ‘A가 정칙행렬 ⇔ 행렬식 |A|≠0’도 다음 강의의 정리로 예고합니다. 4강에서는 행상등, 기본행렬, 동차방정식, 모든 B에 대한 유일해를 중심으로 판정하고, 행렬식 계산은 5강의 범위로 남겨 둡니다.

연립방정식을 풀 때는 역행렬 계산 비용까지 함께 판단한다

A가 정칙행렬이면 AX=B의 양변 왼쪽에 A^-1을 곱해 X=A^-1B를 얻습니다. A^-1A=I가 되려면 곱하는 위치가 맞아야 하므로 X=BA^-1로 바꿀 수 없습니다.

다만 해 하나만 필요한 문제라면 (A|B)를 직접 소거하는 편이 불필요한 계산을 줄일 수 있습니다. 반대로 같은 A에 대해 여러 B를 반복해서 풀거나 행렬 변환을 되돌려야 한다면 역행렬을 한 번 구해 활용하는 방식이 개념적으로 유용합니다.

상황	우선 고려할 방법	확인할 결과
2×2 행렬이고 `ad-bc`를 바로 계산 가능	2×2 공식	`D`≠0과 `AA`^-1=`I`
일반적인 정방행렬의 역행렬 자체가 필요	(`A`\|`I`) 가우스-조르단 소거	왼쪽이 `I`가 되는지 확인
특정 `B`에 대한 해만 필요	(`A`\|`B`) 직접 소거	위수와 모순행, 자유변수 확인
정칙 여부만 판단	동치 조건 중 주어진 정보와 가까운 기준	단위행렬 도달·자명해·모든 `B`의 유일해

판정 결과에 따른 다음 행동

정방행렬이 아니면 이 강의에서 정의한 양쪽 역행렬의 대상이 아닙니다.
2×2에서 ad-bc=0이거나 (A|I)의 왼쪽에 영행이 생기면 역행렬 계산을 중단합니다.
왼쪽이 단위행렬이 되면 오른쪽을 역행렬로 읽고, 원래 행렬과 곱해 검산합니다.
AX=B에서는 역행렬을 왼쪽에 곱하며, 위수 비교로 해 없음·무수히 많음·유일해를 구분합니다.
곱을 되돌릴 때는 역행렬의 순서를 뒤집고, 기본행연산을 되돌릴 때는 각 연산의 역연산을 역순으로 적용합니다.

문제를 만났을 때의 순서: ‘정방행렬인가 → 역행렬 존재를 어떤 정보로 판정할 수 있는가 → 2×2 공식·(A|I) 소거·(A|B) 소거 중 무엇이 목적에 맞는가 → 곱의 위치와 역순 규칙을 지켰는가 → 단위행렬 또는 원래 방정식으로 검산했는가’를 차례로 확인하세요.

예상문제 10선

1. n차 정방행렬 A의 역행렬 B가 만족해야 하는 조건은?

① A+B=I_n ② AB=A ③ BA=B ④ AB=BA=I_n

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

① 오답: 역행렬은 덧셈이 아니라 행렬 곱의 역원이다.
② 오답: AB=A는 B가 항등작용을 한다는 식이지 역행렬 조건이 아니다.
③ 오답: 곱의 결과가 B가 아니라 단위행렬이어야 한다.
④ 정답: 왼쪽과 오른쪽에서 곱했을 때 모두 단위행렬이 되는 것이 역행렬의 정의이다.

2. A=[[3,1],[2,1]]의 역행렬은?

① [[3,-1],[-2,1]] ② [[1,-1],[-2,3]] ③ [[1,1],[2,3]] ④ [[1,-2],[-1,3]]

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

① 오답: 주대각선 원소를 교환하지 않고 원래 값을 그대로 두었다.
② 정답: D=3·1-1·2=1이고 주대각선을 교환한 뒤 나머지 두 원소의 부호를 바꾼 결과이다.
③ 오답: 비주대각 원소의 부호를 바꾸지 않아 곱이 단위행렬이 되지 않는다.
④ 오답: 1과 2의 위치 및 부호를 공식과 다르게 적용했다.

3. 정칙행렬 A, B에 대해 옳은 식은?

① (AB)^-1=A^-1B^-1 ② (A+B)^-1=A^-1+B^-1 ③ (AB)^-1=B^-1A^-1 ④ (AB)^-1=BA

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

① 오답: 곱을 취소하려면 마지막 인자부터 되돌려야 하므로 순서가 반대여야 한다.
② 오답: 행렬 합의 역행렬을 각 역행렬의 합으로 분배하는 법칙은 성립하지 않는다.
③ 정답: AB의 오른쪽에 곱하면 ABB^-1A^-1=I가 된다.
④ 오답: B와 A 자체가 아니라 각각의 역행렬을 역순으로 곱해야 한다.

4. 가우스-조르단 소거법으로 역행렬을 구하는 절차로 옳은 것은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

① 정답: 왼쪽을 단위행렬로 만드는 누적 행연산이 오른쪽 단위행렬을 역행렬로 바꾼다.
② 오답: 확대행렬의 두 부분에는 같은 행연산을 동시에 적용해야 동치가 유지된다.
③ 오답: 오른쪽에는 행연산의 누적 효과를 기록할 단위행렬이 필요하다.
④ 오답: 오른쪽을 영행렬로 만들면 역행렬 정보를 얻을 수 없다.

5. 기본행렬에 대한 설명으로 옳은 것은?

① 임의의 행렬에 기본행연산을 여러 번 적용해 얻는다. ② 단위행렬에 기본행연산을 한 번 적용해 얻는다. ③ 영행렬에 기본행연산을 한 번 적용해 얻는다. ④ 정방행렬을 전치해 얻는 행렬을 뜻한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

① 오답: 출발 행렬은 단위행렬이며 적용 횟수도 정확히 한 번이다.
② 정답: 단위행렬에 한 번의 행연산을 기록한 행렬이 기본행렬이다.
③ 오답: 영행렬은 행연산으로 단위행렬의 역할을 만들 수 없으며 정의의 출발점도 아니다.
④ 오답: 전치는 기본행연산 세 종류와 다른 연산이다.

6. A에 “1행의 3배를 2행에 더하기”를 적용한 기본행렬의 역행렬은 어떤 연산에 해당하는가?

① 1행과 2행을 교환한다. ② 2행에 1/3을 곱한다. ③ 2행의 3배를 1행에서 뺀다. ④ 1행의 3배를 2행에서 뺀다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

① 오답: 행 교환은 서로 다른 종류의 기본행연산이다.
② 오답: 상수배의 역연산과 다른 행의 배수를 더하는 연산을 혼동했다.
③ 오답: 원래 바뀐 대상은 2행이므로 되돌릴 때도 2행을 수정해야 한다.
④ 정답: 같은 원천 행의 반대 상수배를 같은 대상 행에 더하면 원래 상태로 돌아간다.

7. rank(A)=rank(A|B)=2이고 미지수가 3개일 때 AX=B의 해는?

① 해가 존재하지만 자유변수가 남아 무수히 많다. ② 확대행렬의 위수가 더 크므로 해가 없다. ③ 두 위수가 같으므로 유일한 해를 갖는다. ④ 계수행렬의 위수가 0이므로 모든 값이 해이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

① 정답: 두 위수가 같아 해는 존재하지만 공통 위수 2가 미지수 수 3보다 작아 자유변수가 남는다.
② 오답: 문제에서 두 위수는 같다고 주어졌으므로 해 없음 조건이 아니다.
③ 오답: 유일하려면 두 위수가 미지수 수 3과 같아야 한다.
④ 오답: 계수행렬의 위수는 0이 아니라 2이다.

8. AX=B에서 A가 정칙행렬일 때 잘못된 풀이 단계는?

① 양변의 왼쪽에 A^-1을 곱한다. ② A^-1A=I를 사용한다. ③ 행렬 곱의 순서를 바꾸어 X=BA^-1로 쓴다. ④ 얻은 X=A^-1B를 원래 식에 대입한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

① 오답: A를 소거하려면 역행렬을 같은 쪽인 왼쪽에 곱해야 한다.
② 오답: 역행렬의 정의에 따라 왼쪽 계수가 단위행렬로 바뀐다.
③ 정답: 행렬 곱은 일반적으로 교환되지 않으므로 A^-1B의 순서를 바꿀 수 없다.
④ 오답: 원래 방정식에 대입하는 것은 올바른 검산 단계이다.

9. A⁵A^-3과 (A⁵)^-3을 순서대로 바르게 계산한 것은?

① A⁸, A^-8 ② A², A^-2 ③ A¹⁵, A^-15 ④ A², A^-15

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

① 오답: 같은 밑의 곱에서는 지수를 더하므로 5+(-3)=2이지 8이 아니다.
② 오답: 거듭제곱의 거듭제곱에서는 지수를 곱해 5·(-3)=-15가 된다.
③ 오답: 첫 식은 지수를 곱하는 형태가 아니라 같은 밑의 곱이다.
④ 정답: 첫 식에는 지수 덧셈 법칙, 둘째 식에는 지수 곱셈 법칙을 적용한 결과이다.

10. 4×4 정방행렬 A에 대해 역행렬 자체가 필요할 때 가장 적절한 판단·계산 흐름은?

① 2×2 공식을 그대로 확장해 원소 위치와 부호만 바꾼다. ② (A|I₄)를 소거하고, 왼쪽이 I₄가 되면 오른쪽을 역행렬로 읽어 곱으로 검산한다. ③ A의 각 원소를 역수로 바꾸고 행렬 곱의 순서를 유지한다. ④ (A|O)를 소거해 오른쪽 영행렬을 역행렬로 사용한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

① 오답: 2×2 전용 공식은 4×4 행렬에 원소 교환 방식으로 적용할 수 없다.
② 정답: 일반 정방행렬에서는 단위행렬을 붙인 소거법이 존재 판정과 역행렬 계산을 동시에 수행한다.
③ 오답: 행렬의 역행렬은 원소별 역수로 정의되지 않는다.
④ 오답: 누적 행연산을 기록하려면 오른쪽에 영행렬이 아니라 단위행렬을 둬야 한다.

참고 자료와 작성 기준

이 글은 해당 차시 강의자료를 바탕으로 학습 목적에 맞게 재구성한 비공식 학습자료입니다. 개념 관계, 단계별 계산, 판정 절차와 문제 해설은 학습자의 이해를 돕도록 구성하고 검토했습니다.

작성·편집: 올에이클래스 학습연구팀
주요 근거: 한국방송통신대학교 컴퓨터과학과, 「선형대수 강의록 4강: 역행렬」, 손진곤 교수, 2024년 자료.
보충 자료: 외부 자료를 사용하지 않았습니다.
편집 원칙: 올에이클래스 편집 정책
최종 내용 검토: 2026-08-26

방송대 선형대수 4강: 정칙행렬과 역행렬 판정