방송대 방통대 인공지능 13강 - 인공 신경망(2) - 요약 노트 시험족보 예상문제 - 올에이클래스

인공지능 13강 - 인공 신경망(2)

이번 강의에서는 은닉층이 있는 다층 퍼셉트론을 오차역전파로 학습시키는 원리와 연결가중치의 미분 과정을 학습합니다. 이어 제한 볼츠만 머신과 심층 신뢰망, 자기조직화 지도와 LVQ를 통해 지도학습·비지도학습 및 대표벡터 학습의 차이를 이해합니다.

비선형 결정경계와 다층 퍼셉트론

은닉층이 필요한 이유

단층 퍼셉트론은 하나의 선형 결정경계로 분리할 수 있는 문제를 다룹니다. 그러나 실제 분류 문제에는 하나의 직선이나 초평면만으로 두 클래스를 나눌 수 없는 경우가 많습니다. 다층 피드포워드 신경망은 입력층과 출력층 사이에 하나 이상의 은닉층을 두고 여러 단계의 선형 결합과 비선형 활성화를 구성하여 이러한 문제를 해결합니다.

강의의 예에서는 입력 x₁, x₂에 대해 두 판별식 D₁(x₁,x₂)=-x₁-x₂+1.5와 D₂(x₁,x₂)=x₁+x₂-0.5가 은닉 뉴런 u₁, u₂의 출력을 만듭니다. 출력층은 이 중간 표현을 다시 결합하여 원래 입력공간에서 하나의 직선으로 분리하기 어려운 영역을 표현합니다.

은닉층 학습의 문제

지도학습 표본은 입력과 최종 레이블을 제공하지만 은닉층의 뉴런이 어떤 값을 출력해야 하는지는 직접 알려 주지 않습니다. 따라서 은닉층에 목표 출력이 없는 상태에서는 각 은닉 뉴런에 단순 퍼셉트론 학습 규칙을 그대로 적용할 수 없습니다.

이 문제를 해결하려면 최종 출력의 오차가 은닉층의 각 연결가중치에 얼마나 책임이 있는지를 계산해야 합니다. 1974년 Paul Werbos, 1986년 Rumelhart 등에 의해 다층 퍼셉트론의 학습 방법이 개발되었으며, 그 핵심이 오차역전파입니다.

시험 핵심: 은닉층은 비선형 분리 문제를 위한 중간 표현을 만들지만 은닉층 레이블은 제공되지 않습니다. 오차역전파는 출력층 오차를 뒤쪽 층에서 앞쪽 층으로 전달하여 이 문제를 해결합니다.

오차역전파의 기본 원리

모델과 활성함수

오차역전파(BP, backpropagation)는 은닉층을 포함하는 다층 퍼셉트론을 학습시키는 모델입니다. 입력벡터 x와 레이블 y로 구성된 학습표본을 사용하는 지도학습이며, 연결가중치는 경사하강법으로 조정합니다.

오차를 각 층으로 미분하여 전달해야 하므로 활성함수는 미분 가능해야 합니다. 강의에서는 시그모이드 함수를 사용합니다.

f(u)=1/(1+e^-u),   df(u)/du=f(u)(1-f(u))

시그모이드의 출력은 0과 1 사이이며, 미분값을 현재 출력 f(u)만으로 계산할 수 있어 체인 룰을 적용한 가중치 미분에 편리합니다.

손실함수와 경사하강법

Rumelhart의 모델은 출력 ŷ와 정답 레이블 y의 오차제곱합을 손실함수로 사용합니다. 출력 뉴런이 N개일 때 손실은 다음과 같습니다.

C(ŷ,y)=(1/2)Σ_k=1^N(ŷ_k-y_k)²

1/2은 제곱항을 미분할 때 생기는 2와 상쇄되어 계산을 단순하게 합니다. 학습의 목표는 C를 최소화하는 연결가중치 w를 찾는 것입니다. 경사하강법은 손실이 증가하는 기울기의 반대 방향으로 가중치를 이동합니다.

Δw=-η ∂C/∂w,   w(n+1)=w(n)+Δw

η는 학습률입니다. 기울기가 양수이면 가중치를 줄이고, 기울기가 음수이면 가중치를 늘려 손실이 작아지는 방향으로 이동합니다.

체인 룰

신경망의 출력은 여러 함수가 층별로 합성된 결과이므로 체인 룰(chain rule)이 필요합니다. y=f(u), u=g(x)라면 dy/dx=(dy/du)(du/dx)입니다.

강의의 y=(3x²+x-2)² 예에서 u=3x²+x-2, y=u²로 두면 dy/du=2u, du/dx=6x+1입니다. 따라서 dy/dx=2(3x²+x-2)(6x+1)입니다. 오차역전파도 손실함수에서 가중치까지 이어지는 합성함수를 같은 방식으로 분해하여 미분합니다.

출력층과 은닉층의 가중치 학습

출력층 가중치의 기울기

출력층의 p번째 뉴런이 은닉층 출력 o₁,…,o_q를 입력으로 받는다고 하겠습니다. 가중합과 출력은 다음과 같습니다.

u_p=w₁o₁+…+w_qo_q+…+b,   ŷ_p=f(u_p)

w_q에 대한 손실의 미분은 체인 룰로 세 부분으로 나뉩니다.

∂C/∂w_q=(∂C/∂ŷ_p)(∂ŷ_p/∂u_p)(∂u_p/∂w_q)

각 항은 ŷ_p-y_p, ŷ_p(1-ŷ_p), o_q입니다. 출력층 뉴런의 오차항을 δ_p=(ŷ_p-y_p)ŷ_p(1-ŷ_p)로 정의하면 미분과 갱신식은 간단해집니다.

∂C/∂w_q=δ_po_q,   Δw_q=-ηδ_po_q

w_q(n+1)=w_q(n)+Δw_q

은닉층 오차의 역전파

은닉 뉴런에는 직접적인 정답 레이블이 없습니다. 대신 그 뉴런의 출력이 다음 층의 여러 뉴런을 통해 최종 손실에 미친 영향을 합합니다. 은닉 뉴런 p′에서 다음 층 뉴런 k로 이어지는 가중치를 w′_k, 다음 층의 오차항을 δ′_k라 하면 은닉층 오차항은 다음과 같이 계산됩니다.

δ_p=[Σ_kδ′_kw′_k]o′_p(1-o′_p)

대괄호 안의 합은 다음 층에서 돌아온 오차 신호이고, o′_p(1-o′_p)는 현재 은닉 뉴런의 시그모이드 미분값입니다. 이전 층 출력 o_q에서 이 은닉 뉴런으로 들어오는 가중치는 출력층과 같은 형식인 Δw_q=-ηδ_po_q로 갱신합니다.

“오차를 역전파한다”는 것은 출력값 자체를 거꾸로 복사한다는 뜻이 아닙니다. 체인 룰에 따라 다음 층의 오차항과 연결가중치를 이용해 각 은닉 뉴런의 손실 기여도를 계산한다는 의미입니다.

모멘텀과 다층 퍼셉트론의 결정경계

모멘텀 항

모멘텀(momentum)은 경사하강 과정에서 최적해에 더 잘 접근하도록 이전 단계의 가중치 변화량을 현재 갱신에 일정 비율로 반영하는 항입니다.

Δw(n)=-ηδo+αΔw(n-1)

강의에서 모멘텀 계수 α의 범위는 0.5~1.0으로 제시됩니다. 이전 이동 방향이 현재 기울기와 비슷하면 이동이 누적되어 훈련이 더 빠르게 진행될 수 있습니다. 또한 좁은 방향에서 기울기가 번갈아 바뀌는 진동을 완화하고, 지역최소치나 고원문제를 개선하는 데 도움을 줍니다.

층 수와 결정경계의 복잡성

구조	학습 가능한 결정경계
단층 구조	선형 경계
2층 구조	볼록한 경계
3층 구조	임의 형태의 경계

층을 추가하면 앞선 층에서 만든 여러 선형 경계를 다음 층이 조합할 수 있으므로 더 복잡한 영역을 표현할 수 있습니다. 강의 정리에서는 3층 이상의 다층 퍼셉트론으로 복잡한 결정경계를 갖는 문제를 풀이할 수 있다고 설명합니다.

시험 핵심: 모멘텀은 현재 기울기를 대신하는 것이 아니라 현재의 경사하강 갱신에 이전 Δw의 일부를 더합니다. 층 수 증가는 결정경계의 표현력을 높입니다.

볼츠만 머신과 제한 볼츠만 머신

볼츠만 머신

볼츠만 머신(Boltzmann machine)은 완전연결 방식의 순환 신경망으로, 가시 유닛(visible unit)과 은닉 유닛(hidden unit)으로 구분된 2층 구조를 가집니다. 모든 유닛이 완전연결을 이루며 상호작용합니다.

가시 유닛은 외부 환경으로부터 정보를 입력받고, 은닉 유닛은 가시 유닛에 나타난 특징과 상관관계를 표현합니다. 순환 연결을 통해 유닛 상태가 서로 영향을 주는 확률적 모델입니다.

제한 볼츠만 머신의 구조와 역할

제한 볼츠만 머신(RBM, restricted Boltzmann machine)은 볼츠만 머신에서 같은 층 내부의 연결을 제거하고 가시층과 은닉층 사이의 층간 연결만 허용합니다. 이 제한으로 가시 유닛끼리 또는 은닉 유닛끼리의 연결은 없고 두 층 사이만 가중치 w로 연결됩니다.

RBM은 레이블 없이 학습하는 비지도학습 모델입니다. 학습이 끝나면 입력에 따라 각 은닉 유닛의 값이 1이 될 조건확률을 정하며, 은닉 유닛의 상태는 입력 데이터에 대한 새로운 표현, 즉 입력 패턴의 특징이 됩니다. 따라서 RBM 학습은 학습표본으로부터 자동으로 특징 추출기를 구성하는 것으로 볼 수 있습니다.

은닉 유닛과 가시 유닛의 조건확률

2진 학습표본 벡터 v가 가시 유닛에 입력되었을 때 은닉 유닛 h_j가 1이 될 조건확률은 다음과 같습니다.

p(h_j=1|v)=σ(b_j+Σ_iv_iw_ij)

여기서 b_j는 은닉 유닛 h_j의 바이어스이고 σ(x)=1/(1+e^-x)입니다. 반대로 은닉 유닛 벡터 h가 주어졌을 때 가시 유닛 v_i가 1이 될 조건확률은 다음과 같습니다.

p(v_i=1|h)=σ(a_i+Σ_jh_jw_ij)

a_i는 가시 유닛 v_i의 바이어스입니다. 같은 연결가중치 w_ij를 사용하여 가시층에서 은닉층을 표본화하고, 다시 은닉층에서 가시층을 복원할 수 있습니다.

시험 핵심: 일반 볼츠만 머신은 모든 유닛이 완전연결된 순환 구조이고, RBM은 같은 층의 연결을 금지하여 가시층-은닉층 사이의 연결만 남긴 구조입니다.

깁스 샘플링과 CD 학습

확률에서 2진 상태로

깁스 샘플링(Gibbs sampling)은 둘 이상의 확률변수의 결합확률분포에서 일련의 표본을 만드는 확률적 알고리즘입니다. RBM에서는 계산한 조건확률과 0~1 사이 난수를 비교하여 각 유닛의 2진 상태를 정합니다.

은닉 유닛은 난수 random(0,1)이 p(h_j=1|v)보다 작으면 1, 그렇지 않으면 0이 됩니다. 가시 유닛도 같은 방식으로 random(0,1)이 p(v_i=1|h)보다 작으면 1, 그렇지 않으면 0이 됩니다. 따라서 조건확률이 높을수록 1로 표본화될 가능성이 높지만 결과가 항상 1로 고정되는 것은 아닙니다.

대조발산 학습

CD(contrastive divergence)는 Geoffrey Hinton이 제안한 RBM 학습 알고리즘입니다. t번째 학습표본 x^(t)를 초기 가시 상태 v⁽⁰⁾로 놓고, 가시층에서 h⁽⁰⁾을 표본화한 뒤 h⁽⁰⁾에서 재구성된 v⁽¹⁾, 다시 v⁽¹⁾에서 h⁽¹⁾을 표본화합니다. CD-n은 이 깁스 샘플링을 반복하여 v⁽ⁿ⁾, h⁽ⁿ⁾을 구합니다.

초기 데이터 상태에서 관찰한 가시-은닉 결합과 n단계 재구성 상태에서 관찰한 결합의 차이로 가중치와 바이어스를 갱신합니다.

Δw_ij=η[v_i⁽⁰⁾p(h_j=1|v⁽⁰⁾)-v_i⁽ⁿ⁾p(h_j=1|v⁽ⁿ⁾)]

Δa_i=η[v_i⁽⁰⁾-v_i⁽ⁿ⁾]

Δb_j=η[p(h_j=1|v⁽⁰⁾)-p(h_j=1|v⁽ⁿ⁾)]

학습표본 집합의 각 표본에서 구한 변화량의 평균으로 연결가중치 w_ij와 가시·은닉 바이어스 a_i, b_j를 갱신합니다. 이 과정은 원 데이터에서 얻은 통계와 모델이 재구성한 데이터의 통계 차이를 줄이는 방향으로 진행됩니다.

심층 신뢰망

RBM을 층별로 쌓는 학습

심층 신뢰망(DBN, deep belief net)은 RBM을 여러 층으로 쌓은 형태입니다. 첫 번째 RBM의 가시층 v₁에 데이터를 입력하여 학습한 뒤 은닉층 출력 h₁을 다음 RBM의 가시층 v₂ 입력으로 사용합니다. 이 과정을 층별로 반복하여 더 높은 단계의 표현을 학습합니다.

사전학습과 미세조정

DBN은 분류기를 구현할 신경망의 연결가중치 초기화에 활용할 수 있습니다. 먼저 레이블 없이 RBM들을 층별로 사전학습하여 데이터의 표현을 얻습니다. 그 위에 Softmax와 같은 출력층을 한 층 이상 추가한 뒤, 레이블을 사용하는 오차역전파 학습으로 전체 신경망을 미세조정합니다.

즉 DBN 사전학습은 좋은 초기 연결가중치를 제공하고, BP 미세조정은 최종 분류 목적에 맞게 가중치를 조정합니다. 두 단계의 학습 목적과 지도정보 사용 여부를 구분해야 합니다.

DBN에서 한 RBM의 은닉 출력이 다음 RBM의 가시 입력이 됩니다. 모든 층을 처음부터 동시에 학습하는 것이 아니라 층별 사전학습 후 분류층을 더해 BP로 미세조정합니다.

자기조직화 지도의 구조

생물학적 배경과 모델의 목표

대뇌피질에서는 운동, 감각, 시각, 청각, 언어 등 기능적으로 밀접한 정보를 다루는 뉴런이 가까이 배치되어 짧은 연접 연결로 상호작용합니다. 자기조직화 지도(SOM, self-organizing map)는 이러한 공간적 조직화에서 착안하여 Kohonen이 제안한 신경회로망 모델입니다.

SOM의 목표는 임의 차원의 입력 패턴을 1차원 또는 2차원 지도에 변환하고, 입력공간에서 가까운 패턴들이 지도에서도 가깝게 배치되는 위상적으로 순서화된 적응 변환을 만드는 것입니다.

입력층과 지도 노드

d차원 입력벡터 x=(x₁,…,x_d)의 각 요소는 지도상의 모든 노드 c₁,c₂,…,c_k와 연결됩니다. 각 노드에는 입력과 같은 차원의 가중치벡터 w가 있으며, 이 벡터가 해당 노드가 대표하는 입력 패턴의 중심 역할을 합니다.

SOM은 정답 레이블이나 기대 출력을 주지 않는 비지도학습을 사용합니다. 입력에 반응할 권한을 여러 노드가 경쟁하여 얻는 경쟁학습이며, 승자 노드뿐 아니라 지도상 이웃 노드도 학습에 참여합니다.

자기조직화 지도의 학습

경쟁·협력·적응

단계	작동 방식
경쟁	각 노드가 입력 패턴에 대한 판별식을 계산하고 가장 큰 값을 갖는 노드가 승자가 됨
협력	승자 노드를 중심으로 지도 위 이웃 노드의 공간적 위치를 정하여 활성화함
적응	활성화된 노드가 입력에 더 강하게 반응하도록 연결가중치를 조정함

이웃집합의 가중치 갱신

학습벡터 x_j가 입력되면 승자 노드 c_i와 그 승자를 중심으로 한 이웃집합 N_ci(t)의 가중치를 갱신합니다.

w_m(t+1)=w_m(t)+α(t)[x_j-w_m(t)],   m∈N_ci(t)

이웃집합에 속하지 않는 노드의 가중치는 그대로 유지합니다. 갱신벡터 α(t)[x_j-w_m(t)]는 대표벡터 w_m을 입력 x_j 방향으로 이동시킵니다.

적응 이득 α(t)는 0<α(t)<1이며 시간 t에 따라 단조 감소합니다. 이웃집합 N(t)의 크기도 학습이 진행될수록 작아집니다. 초기에는 넓은 이웃이 함께 움직여 지도의 전체 질서를 형성하고, 후기에는 작은 이웃이 세부적인 데이터 분포에 맞게 조정됩니다.

지도 형성과 군집화

강의의 맵 형성 예에서는 초기의 거친 2차원 뉴런 배열이 반복 학습을 거치며 표본이 분포한 영역으로 이동하고, 최종적으로 데이터의 모양을 따라 펼쳐집니다. 노드의 이웃 관계를 유지하면서 표본 분포에 적응한다는 점이 단순 군집 중심 학습과 구별되는 특징입니다.

반복 학습을 통해 표본집합은 k개의 군집으로 군집화되고, w_i(i=1,…,k)는 각 군집을 대표하는 대표벡터가 됩니다.

시험 핵심: SOM은 비지도 경쟁학습이지만 승자 하나만 갱신하지 않습니다. 승자와 토폴로지상 이웃을 함께 입력 방향으로 이동시키며, 학습률과 이웃 범위를 점차 줄입니다.

LVQ와 지도학습 대표벡터

벡터 양자화와 패턴 분류

LVQ(learning vector quantization)는 자기조직화 지도를 패턴 분류에 활용하기 위한 모델입니다. 벡터 양자화는 입력 신호를 유한한 대표벡터로 근사하여 양자화 오차가 최소가 되도록 대표벡터 위치를 정합니다. 패턴 분류는 입력을 유한한 클래스 중 하나로 나누며, 최적 결정경계를 형성하도록 대표벡터 위치를 정하는 것이 목표입니다.

승자 노드와 클래스 정보

LVQ는 지도학습으로 대표벡터를 학습합니다. 각 출력노드는 그 노드가 나타내는 클래스 정보를 갖습니다. 클래스 레이블이 있는 학습표본 x_j가 입력되면 가장 유사한 가중치벡터 w_i를 가진 출력노드 c_i가 승자가 됩니다.

클래스 일치 여부에 따른 갱신

학습표본 x_j의 클래스와 승자 노드 c_i의 클래스가 같으면 승자 대표벡터를 입력 쪽으로 이동합니다.

w_i(t+1)=w_i(t)+α(t)[x_j-w_i(t)]

두 클래스가 다르면 잘못 반응한 대표벡터를 입력에서 멀어지는 방향으로 이동합니다.

w_i(t+1)=w_i(t)-α(t)[x_j-w_i(t)]

같은 클래스의 대표벡터는 해당 표본에 가까워지고 다른 클래스의 대표벡터는 멀어지므로, 반복 학습 결과 클래스 사이의 결정경계가 조정됩니다.

구분	SOM	LVQ
학습 방식	비지도학습	지도학습
레이블	제공하지 않음	학습표본과 출력노드에 클래스 정보가 있음
갱신 대상	승자와 이웃 노드	승자 대표벡터
갱신 방향	입력 방향으로 이동	클래스 일치 시 접근, 불일치 시 이탈
주요 목적	위상 보존 지도와 군집 형성	클래스 결정경계 형성

LVQ는 SOM과 유사하게 가장 가까운 대표벡터를 승자로 고르지만, 레이블을 이용해 이동 방향을 결정합니다. 클래스가 다를 때 대표벡터를 입력에서 밀어낸다는 점이 핵심입니다.

핵심 개념 정리

• 다층 퍼셉트론: 은닉층을 이용해 선형 분리가 어려운 문제의 중간 표현을 만들며, 은닉층 레이블이 없으므로 오차역전파가 필요합니다.
• 오차역전파: 미분 가능한 활성함수와 체인 룰을 이용해 출력층 오차를 은닉층으로 전달하고 경사하강법으로 가중치를 조정합니다.
• 모멘텀: 이전 가중치 변화량의 일부를 현재 갱신에 더하여 학습을 빠르게 하고 지역최소치와 고원문제 개선에 도움을 줍니다.
• RBM: 가시층과 은닉층 사이에만 연결이 있는 비지도 확률모델이며, 조건확률과 깁스 샘플링으로 새로운 특징 표현을 학습합니다.
• CD와 DBN: CD는 데이터 상태와 재구성 상태의 통계 차이로 RBM을 갱신하고, DBN은 RBM을 층별로 쌓아 사전학습한 뒤 BP로 미세조정할 수 있습니다.
• SOM: 경쟁·협력·적응 과정을 거쳐 고차원 입력을 위상적으로 정돈된 저차원 지도에 배치하고 가중치벡터를 군집 대표벡터로 만듭니다.
• LVQ: 클래스 레이블을 사용하는 지도학습으로, 승자의 클래스가 정답과 같으면 입력에 접근시키고 다르면 입력에서 멀어지게 합니다.

이 강의의 신경망 모델은 학습에 레이블을 사용하는가, 오차 또는 경쟁을 어떤 방향으로 전달하는가, 가중치가 무엇을 대표하는가로 구분해야 합니다. BP는 최종 오차의 기울기를 뒤로 전달하고, RBM은 확률적 재구성으로 특징을 학습하며, SOM은 이웃 관계를 보존하는 군집 지도를 만들고, LVQ는 클래스 일치 여부에 따라 대표벡터를 당기거나 밀어 결정경계를 형성합니다.

예상문제 20선

1. 다층 퍼셉트론에서 은닉층 학습에 오차역전파가 필요한 주된 이유는?

① 입력벡터가 제공되지 않기 때문이다. ② 은닉층 뉴런의 목표 출력값을 직접 제공할 수 없기 때문이다. ③ 출력층에 가중치가 존재하지 않기 때문이다. ④ 모든 활성함수가 상수이기 때문이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
학습표본은 최종 레이블만 제공하므로 은닉층의 정답을 직접 알 수 없습니다. BP는 출력 오차의 기여도를 은닉층으로 전달합니다.

2. 오차역전파 모델에 대한 설명으로 옳지 않은 것은?

① 입력과 레이블로 구성된 학습표본을 사용한다. ② 경사하강법에 따라 연결가중치를 훈련한다. ③ 시그모이드처럼 미분 가능한 활성함수를 사용할 수 있다. ④ 은닉층마다 정답 레이블을 직접 제공해야만 작동한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
BP의 목적이 바로 은닉층 레이블 없이 최종 출력 오차에서 은닉층의 기울기를 계산하는 것입니다.

3. 시그모이드 f(u)=1/(1+e^-u)의 미분은?

① f(u)(1-f(u)) ② 1-f(u) ③ f(u)² ④ 항상 1

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
시그모이드의 미분은 현재 출력값을 이용한 f(u)(1-f(u))로 표현됩니다.

4. 경사하강법의 가중치 변화량을 올바르게 나타낸 것은?

① Δw=ηC ② Δw=∂w/∂C ③ Δw=-η∂C/∂w ④ Δw=C+w

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
손실을 줄이기 위해 손실 기울기의 반대 방향으로 학습률 η만큼 이동합니다.

5. 출력층 오차항 δ_p의 구성으로 옳은 것은?

① 입력값과 바이어스의 합만 사용한다. ② (ŷ_p-y_p)와 시그모이드 미분값의 곱이다. ③ 다음 층 오차항의 평균만 사용한다. ④ 이전 가중치 변화량만 사용한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
출력층에서는 δ_p=(ŷ_p-y_p)ŷ_p(1-ŷ_p)로 계산합니다.

6. 은닉층 오차항을 계산할 때 필요한 정보는?

① 현재 은닉 뉴런의 정답 레이블만 ② 입력벡터의 차원 수만 ③ 모멘텀 계수만 ④ 다음 층 오차항과 연결가중치의 가중합 및 현재 활성함수 미분값

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
은닉층은 다음 층에서 돌아온 δ와 가중치를 합한 뒤 현재 뉴런의 시그모이드 미분값을 곱해 오차항을 계산합니다.

7. 모멘텀 항 αΔw(n-1)의 역할로 가장 적절한 것은?

① 현재 기울기를 항상 0으로 만든다. ② 레이블 없이 출력층 오차를 정의한다. ③ 이전 가중치 변화 방향을 현재 갱신에 반영한다. ④ 은닉층을 제거하여 단층 구조로 만든다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
모멘텀은 직전 단계의 Δw를 일정 비율 더해 학습 속도와 지역최소치·고원문제 개선에 도움을 줍니다.

8. 강의에서 제시한 층 수와 결정경계의 연결로 옳은 것은?

① 단층 구조 - 선형 경계 ② 단층 구조 - 임의 형태 경계 ③ 2층 구조 - 선형 경계만 가능 ④ 3층 구조 - 결정경계 형성 불가

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
강의는 단층은 선형, 2층은 볼록한 경계, 3층은 임의 형태의 경계를 학습할 수 있다고 구분합니다.

9. 제한 볼츠만 머신(RBM)의 구조적 제한은?

① 가시 유닛을 모두 제거한다. ② 은닉 유닛을 하나만 허용한다. ③ 가시층과 은닉층 사이의 연결을 금지한다. ④ 같은 층 내부 연결을 없애고 층간 연결만 허용한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
RBM은 가시층 내부와 은닉층 내부의 연결을 제거하고 두 층 사이만 연결합니다.

10. RBM의 은닉 유닛이 학습 후 표현하는 것은?

① 입력표본의 정답 레이블만 ② 입력 데이터의 새로운 특징 표현 ③ 경사하강법의 학습률만 ④ SOM의 토폴로지 좌표만

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
RBM은 비지도학습으로 입력의 특징과 상관관계를 은닉 유닛 상태에 표현하여 자동 특징 추출기 역할을 합니다.

11. 깁스 샘플링에서 유닛의 조건확률이 0.8이고 난수가 0.3이면 유닛 상태는?

① 1 ② 0 ③ -1 ④ 확률과 난수의 합인 1.1

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
난수 0.3이 조건확률 0.8보다 작으므로 강의의 표본화 규칙에 따라 상태를 1로 정합니다.

12. CD-n 학습의 의미로 옳은 것은?

① n개의 은닉층 레이블을 직접 제공한다. ② 학습률을 n배로 고정한다. ③ 깁스 샘플링을 반복하여 v⁽ⁿ⁾과 h⁽ⁿ⁾을 계산한다. ④ SOM의 이웃 크기를 n으로 고정한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
CD-n은 초기 데이터 상태에서 가시층과 은닉층의 조건부 표본화를 n단계 반복한 재구성 상태를 사용합니다.

13. 심층 신뢰망(DBN)의 층별 학습에 대한 설명으로 옳지 않은 것은?

① 여러 RBM을 층으로 쌓아 구성할 수 있다. ② 한 RBM의 은닉 출력이 다음 RBM의 가시 입력이 된다. ③ 사전학습 결과를 분류 신경망의 초기 가중치로 활용할 수 있다. ④ RBM 사전학습 뒤에는 BP 미세조정을 절대로 수행할 수 없다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
DBN으로 사전학습한 뒤 분류층을 추가하고 BP로 전체 가중치를 미세조정할 수 있습니다.

14. 자기조직화 지도(SOM)의 주요 목표는?

① 고차원 입력을 위상적으로 순서화된 1차원 또는 2차원 지도로 변환하는 것 ② 모든 입력에 동일한 출력 레이블을 부여하는 것 ③ 출력층 오차제곱합을 직접 역전파하는 것 ④ 가시층을 은닉층과 완전연결하는 것

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
SOM은 임의 차원의 입력 패턴을 저차원 지도에 배치하면서 입력의 이웃 관계를 보존하도록 학습합니다.

15. SOM 학습의 세 과정이 올바른 순서로 나열된 것은?

① 적응 → 경쟁 → 협력 ② 경쟁 → 협력 → 적응 ③ 협력 → 적응 → 경쟁 ④ 경쟁 → 역전파 → 깁스 샘플링

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
노드들이 먼저 경쟁해 승자를 정하고, 승자 주변 이웃과 협력한 뒤, 활성화된 노드의 가중치를 적응시킵니다.

16. SOM 학습이 진행될수록 적응 이득 α(t)와 이웃집합의 크기는 어떻게 되는가?

① 둘 다 계속 증가한다. ② α(t)만 증가하고 이웃은 고정된다. ③ α(t)는 단조 감소하고 이웃집합도 점점 작아진다. ④ 둘 다 첫 반복 후 즉시 0이 된다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
초기에는 넓게 지도를 조직하고 후기에는 작은 범위에서 세밀하게 조정하도록 학습률과 이웃 범위를 줄입니다.

17. LVQ에 대한 설명으로 옳은 것은?

① 레이블을 사용하지 않는 순수 비지도학습만 가능하다. ② 승자 이외의 모든 노드를 반드시 갱신한다. ③ 가시 유닛과 은닉 유닛의 깁스 샘플링을 사용한다. ④ 클래스 정보를 이용해 대표벡터를 학습하는 지도학습 모델이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④
LVQ는 학습표본과 출력노드의 클래스 정보를 사용하여 클래스별 대표벡터와 결정경계를 학습합니다.

18. LVQ에서 입력 x_j의 클래스와 승자 노드의 클래스가 같은 경우 가중치는?

① 입력에서 멀어지는 방향으로 이동한다. ② 반드시 0으로 초기화한다. ③ α(t)[x_j-w_i(t)]를 더하여 입력 쪽으로 이동한다. ④ 모든 다른 클래스 대표벡터의 평균으로 바꾼다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③
정답 클래스가 일치하면 승자 대표벡터를 해당 입력에 가까워지게 하여 그 클래스의 영역을 강화합니다.

19. SOM과 LVQ의 차이에 대한 설명으로 옳지 않은 것은?

① SOM과 LVQ는 모두 레이블 없는 비지도학습만 사용한다. ② SOM은 승자와 그 이웃을 함께 갱신한다. ③ LVQ는 클래스가 다르면 승자 대표벡터를 입력에서 멀어지게 한다. ④ SOM은 위상 보존 군집 지도를, LVQ는 클래스 결정경계를 목표로 한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①
SOM은 비지도학습이지만 LVQ는 클래스 레이블을 사용하는 지도학습입니다.

20. 학습 모델과 핵심 작동 방식의 연결로 옳은 것은?

① BP - 레이블 없이 이웃 노드만 갱신 ② RBM - 조건확률과 깁스 샘플링으로 특징 표현 학습 ③ SOM - 출력 오차를 체인 룰로 역전파 ④ LVQ - 클래스가 다를 때 대표벡터를 입력 쪽으로 이동

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②
RBM은 가시·은닉 유닛의 조건확률과 확률적 표본화를 사용하여 입력의 새로운 특징 표현을 비지도학습합니다.