기본 콘텐츠로 건너뛰기

방송대 오픈소스기반데이터분석 8강: 분석 주기와 EDA·방법론 선택

오픈소스기반데이터분석 8강 - 데이터 분석 (1)

방송대 오픈소스기반데이터분석 8강: 분석 주기와 EDA·방법론 선택

같은 데이터라도 “정해 둔 조건을 적용할 것인가”, “모집단을 추론할 것인가”, “정답을 학습할 것인가”에 따라 분석법이 달라진다. 이 글은 문제 정의부터 결과 해석까지의 순환 구조를 먼저 세우고, 규칙·통계·기계학습·딥러닝과 EDA를 목적과 데이터 조건에 맞게 배치하는 기준을 익힌다.

같은 고객 데이터도 질문이 바뀌면 분석법이 바뀐다

나이, 이용 기간, 구매액, 문의 횟수를 가진 고객 데이터가 있다고 가정하자. “미성년자는 특정 서비스에서 제외한다”처럼 이미 정해진 조건을 일관되게 적용하려면 규칙 기반 분석이 알맞다. “표본 고객의 평균 구매액으로 전체 고객을 추정할 수 있는가?”는 추론통계의 질문이다. 과거 이탈 여부라는 정답이 있고 새 고객의 이탈을 예측하려면 지도학습을 고려할 수 있다. 반대로 정답 없이 비슷한 행동의 고객군을 찾으려면 비지도학습이 맞다.

따라서 분석법은 최신이거나 복잡하다는 이유로 선택하지 않는다. 해결할 문제, 이용할 수 있는 정답 데이터, 결과의 설명 가능성, 데이터의 형식과 규모를 함께 확인해야 한다. 단순한 규칙으로 충분한 문제에 복잡한 모델을 쓰면 검증과 설명 비용만 늘고, 복잡한 비선형 패턴을 규칙 몇 개로 표현하려 하면 예외가 끝없이 증가한다.

선택 핵심: 방법의 이름보다 먼저 “무엇을 출력해야 하는가, 정답 표시는 있는가, 규칙을 사람이 설명해야 하는가, 데이터가 표·이미지·텍스트·시계열 중 무엇인가”를 묻는다.

분석 주기는 여섯 지점이 서로 되먹임하는 구조다

강의자료는 데이터 분석을 문제 정의, 데이터 수집, 데이터 전처리, 탐색적 데이터 분석(EDA), 모델링 및 분석, 시각화 및 결과 해석의 여섯 지점으로 제시한다. 마지막 지점은 시각화와 해석을 함께 묶었지만, 실제 사고에서는 결과를 표현하는 일과 그 의미를 판단하는 일을 구분해 볼 수 있다. 중요한 점은 이 흐름이 한 번 끝나는 직선이 아니라 반복적·순환적이라는 사실이다.

지점반드시 답할 질문다음 지점으로 넘기는 것되돌아가야 하는 신호
문제 정의누가 어떤 결정을 내려야 하는가?분석 목표와 성공 기준결과가 나와도 행동으로 연결되지 않음
데이터 수집목표를 판단할 관측값이 있는가?출처와 수집 조건이 기록된 데이터필요 변수가 없거나 표본이 한쪽에 치우침
데이터 전처리결측·오류·불일치가 의미를 왜곡하는가?분석 가능한 일관된 데이터변환 뒤 행 수나 분포가 예상 밖으로 변함
EDA분포·관계·이상점·추세는 무엇을 말하는가?가설, 추가 질문, 모델 조건새 품질 문제나 누락 변수를 발견함
모델링 및 분석목적과 가정에 맞는 방법인가?추정·예측·분류·군집 등의 결과성능이 낮거나 가정 위반·과적합이 의심됨
시각화 및 결과 해석결과가 문제의 언어로 설명되는가?의사결정 근거와 한계해석이 목표와 어긋나 문제 정의를 수정해야 함

예를 들어 이탈 예측 정확도는 높지만 실제 담당자가 개입할 시점을 알 수 없다면 모델만 고칠 문제가 아닐 수 있다. “이탈 여부를 맞힌다”에서 “개입 가능한 시점에 위험 고객을 찾는다”로 문제 정의를 다듬고, 시점 정보가 있는 데이터를 다시 수집해야 한다. 결과 해석이 첫 단계로 되돌아가는 이유다.

규칙과 통계는 데이터를 사용하는 방식이 다르다

규칙 기반 분석은 사람이 조건을 먼저 명시한다

규칙 기반 분석은 전문가의 경험과 도메인 지식을 if-then 조건으로 표현한다. 어떤 조건 때문에 결과가 나왔는지 추적하기 쉬워 투명성과 해석 가능성이 높다. 그러나 조건 사이의 복잡한 상호작용이나 새로운 예외를 자동으로 일반화하기 어렵다.

다음은 강의 개념을 확인하기 위해 직접 구성한 배송비 판정 규칙이다. 위에서 먼저 만족한 분기에서 함수가 끝나므로 조건의 순서도 분석 결과의 일부다.

def shipping_fee(member, order_total, island):
    if island:
        return 5000
    elif member and order_total >= 30000:
        return 0
    elif order_total >= 50000:
        return 0
    else:
        return 3000

섬 지역 회원이 6만 원을 주문해도 첫 조건에서 5,000원이 반환된다. “고액 주문은 무료”라는 규칙을 더 우선하려면 분기 순서를 바꿔야 한다. 규칙이 투명하다는 말은 자동으로 타당하다는 뜻이 아니라, 이처럼 판정 근거와 우선순위를 사람이 확인할 수 있다는 뜻이다.

통계적 모형은 변동과 불확실성을 수학적으로 다룬다

통계적 분석은 데이터의 패턴과 관계를 수학적으로 모형화한다. 기술통계는 평균·중앙값·최빈값 같은 중심 경향, 표준편차·분산·범위 같은 산포, 왜도·첨도 같은 분포 형태로 현재 데이터를 요약한다. 추론통계는 표본을 이용해 모집단에 관한 결론을 내리며 가설검정, 신뢰구간 추정, 회귀 분석 등이 여기에 포함된다.

기술통계로 표본을 잘 설명했다고 해서 모집단 결론이 자동으로 성립하지는 않는다. 추론에는 표본 추출 방식과 모형 가정이 필요하며, 가정이 맞지 않으면 정확성과 신뢰성이 낮아질 수 있다.

기계학습의 세 갈래는 정답과 보상의 존재로 구분한다

학습 방식학습 신호주요 질문강의자료의 대표 과제혼동 방지 기준
지도학습입력과 정답 레이블새 입력의 정답을 어떻게 예측할까?분류, 회귀정답이 범주면 분류, 연속 수치면 회귀다.
비지도학습정답 레이블 없음데이터 안의 구조를 어떻게 찾을까?군집화, 차원 축소, 연관 규칙사전에 붙인 정답을 맞히는 과제가 아니다.
강화학습행동 뒤 얻는 보상누적 보상을 키울 행동 정책은 무엇인가?환경과 상호작용하는 의사결정각 입력의 정답표보다 행동·상태·보상의 연쇄가 핵심이다.

분류와 군집화는 결과가 그룹처럼 보일 수 있어 혼동하기 쉽다. 스팸·정상이라는 기존 레이블을 학습해 새 메일을 판정하면 분류다. 레이블 없이 메일의 단어 사용 패턴이 비슷한 묶음을 찾으면 군집화다. 결과 모양이 아니라 학습할 때 정답 레이블을 제공했는지가 결정적 기준이다.

강화학습도 지도학습과 같지 않다. 매 상황에서 정답 행동을 직접 알려 주는 대신, 에이전트가 환경에서 행동하고 얻은 보상을 바탕으로 장기적으로 유리한 정책을 학습한다. 강의자료의 게임 화면 예시는 시행과 보상의 반복이라는 상호작용 구조를 보여 준다.

딥러닝은 별도 목표가 아니라 표현 학습을 강화한 기계학습이다

딥러닝은 다층 인공신경망을 기반으로 하는 기계학습의 한 분야다. 각 층은 앞 층의 출력을 입력으로 받아 더 추상적인 특징을 만들며, 낮은 수준의 특징에서 높은 수준의 특징으로 계층적 표현을 학습한다. 그래서 이미지·텍스트·시계열 같은 비정형 또는 복잡한 데이터에서 새로운 가능성을 열었다.

구조강의자료가 연결한 데이터·분야선택 전 확인할 점
CNN컴퓨터 비전공간적 패턴을 다루는 이미지 과제인가?
RNN·LSTM·GRU텍스트 또는 시계열순서와 시간 의존성이 중요한가?
트랜스포머자연어 처리, 대규모 언어 모델문맥 관계를 학습할 충분한 데이터와 자원이 있는가?

여기서 흔한 오개념은 “딥러닝이 발전했으니 규칙과 통계는 낡았다”는 생각이다. 명확한 규정 준수는 규칙이 더 설명하기 쉽고, 표본에서 불확실성을 추론하는 질문은 통계가 직접적인 언어를 제공한다. 딥러닝의 강점은 모든 문제를 대체한다는 데 있지 않고, 복잡한 표현을 데이터에서 계층적으로 학습하는 데 있다.

EDA는 모델 전의 통과 의례가 아니라 질문을 수정하는 탐색이다

탐색적 데이터 분석(Exploratory Data Analysis, EDA)은 데이터의 기본 특성과 구조를 이해하고, 내재된 패턴·변수 관계·이상점·추세를 발견하는 체계적 접근이다. 기술통계량과 데이터 시각화를 함께 사용하며, 데이터 품질 문제를 조기에 찾고 분석 방향과 가설을 세우는 데 기여한다.

EDA에서 그래프를 많이 만드는 것 자체가 목표는 아니다. 학습을 위해 온라인 학습 서비스 데이터를 살핀다고 가정하면 다음처럼 질문과 증거를 연결할 수 있다.

  1. 구조 질문: 행은 학습자인가 접속 사건인가? 한 행의 단위를 먼저 확인한다.
  2. 품질 질문: 학습 시간의 결측률과 음수·과대값을 요약 통계와 분포로 찾는다.
  3. 관계 질문: 학습 시간과 성취도 사이 관계가 전체와 집단별로 같은지 비교한다.
  4. 가설 질문: 특정 주차 이후 이탈이 늘어나는 패턴이 보이면 수집 누락인지 실제 행동 변화인지 후속 확인 항목을 만든다.

해석 핵심: EDA에서 발견한 상관관계는 후속 분석의 가설이지 곧바로 원인 증명이 아니다. 제3의 변수, 표본 편향, 시간 순서와 수집 방식을 확인해야 한다.

자동화된 EDA는 탐색의 시작을 빠르게 하지만 결론을 대신하지 않는다

새 데이터셋의 변수별 통계, 결측 현황, 상관관계와 시각화를 반복해서 만드는 일은 시간이 많이 든다. 자동화된 EDA 도구는 이런 기계적 작업을 몇 줄의 코드로 수행해 분석자가 고차원적 분석과 모델링에 집중하도록 돕는다. 다음 코드는 강의자료의 ydata_profiling 활용 방식을 학습용 로컬 데이터로 재구성한 예다.

import pandas as pd
from ydata_profiling import ProfileReport

df = pd.DataFrame({
    "학습시간": [35, 52, 48, 10, 67],
    "퀴즈점수": [72, 88, 84, 51, 93],
    "수료여부": ["Y", "Y", "Y", "N", "Y"]
})

profile = ProfileReport(df, title="학습 데이터 EDA 보고서")
profile.to_file("learning_profile.html")

ProfileReport는 DataFrame을 바탕으로 보고서 객체를 만들고, to_file()은 결과를 HTML 파일로 저장한다. 실행에는 해당 라이브러리가 설치된 환경이 필요하다. 보고서가 생성되었다고 분석이 끝난 것은 아니다. 경고와 상관계수의 의미를 변수 정의·표본 크기·수집 맥락과 함께 해석해야 한다.

자동 보고서에서 본 것바로 단정하면 안 되는 것사람이 이어서 확인할 것
결측률이 높음해당 열은 쓸모없다.누락 원인, 집단별 누락 차이, 대체 가능성
두 변수의 상관이 큼한 변수가 다른 변수의 원인이다.시간 순서, 제3의 변수, 비선형 관계
희귀한 값이 있음입력 오류이므로 삭제해야 한다.실제 사건 여부, 단위와 허용 범위
분포가 치우침분석에 사용할 수 없다.목표 모형의 가정, 변환 필요성, 집단 차이

방법론 선택은 목적·신호·가정·설명의 네 축으로 좁힌다

분석 방법론의 발전은 이전 방법이 사라진 연대표가 아니라 사용할 도구가 늘어난 과정으로 보는 편이 정확하다. 강의자료는 규칙 기반 분석, 통계적 방법론, 기계학습, 딥러닝, 자동화된 기계학습과 대규모 언어 모델로 확장되는 흐름을 제시한다. 실제 선택에서는 다음 네 축을 순서대로 확인한다.

  1. 목적: 규칙 적용, 설명, 모집단 추론, 예측, 구조 발견, 순차적 의사결정 중 무엇인가?
  2. 학습 신호: 정답 레이블, 보상, 혹은 둘 다 없는 데이터 중 무엇을 확보했는가?
  3. 가정과 데이터: 분포 가정이 타당한가, 표·이미지·텍스트·시계열 중 어떤 형식인가, 양과 품질은 충분한가?
  4. 설명과 운영: 결과를 사람이 규칙으로 설명해야 하는가, 새 상황에 일반화해야 하는가, 계산 자원과 유지 비용을 감당할 수 있는가?

이 네 축에서 답이 모호하면 모델을 먼저 고르지 말고 문제 정의나 EDA로 돌아간다. 강의에서 데이터 분석을 반복적 주기로 제시한 이유가 바로 여기에 있다.

핵심 개념 정리

  • 분석 방법은 기술의 최신성보다 문제의 출력, 데이터 조건, 설명 요구에 맞춰 선택한다.
  • 분석 주기의 각 지점은 다음 단계에 정보를 넘기고, 실패 신호가 발견되면 앞 단계로 되돌아간다.
  • 규칙은 사람이 조건을 명시하고, 통계는 변동과 불확실성을 모형화하며, 기계학습은 데이터에서 패턴을 학습한다.
  • 지도·비지도·강화학습은 각각 정답 레이블, 레이블 없음, 행동 뒤 보상이라는 학습 신호로 구분한다.
  • EDA와 자동화 도구는 질문과 가설을 만드는 보조 수단이며, 상관·이상점·경고를 최종 결론으로 바꾸지는 않는다.

새 분석 과제를 받으면 결정할 문제를 한 문장으로 정의하고 → 확보한 데이터와 학습 신호를 확인하고 → EDA로 품질·분포·관계를 탐색하고 → 목적과 가정에 맞는 규칙·통계·학습 방법을 고르고 → 결과를 문제의 언어로 해석한 뒤 → 부족한 단계로 되돌아간다. 이 순환을 지키는 것이 특정 모델 이름을 많이 아는 것보다 안정적인 분석의 출발점이다.

예상문제 10선

1. 데이터 분석의 목적을 가장 정확하게 설명한 것은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

  • ① 오답: 수집은 분석 주기의 한 지점이며 목적과 관련 없는 데이터까지 모으는 것이 목표는 아니다.
  • ② 정답: 패턴과 통찰을 의사결정에 연결한다는 강의의 정의를 담고 있다.
  • ③ 오답: 복잡한 모델도 문제 정의, 가정 확인과 결과 해석을 대신하지 못한다.
  • ④ 오답: 시각화는 탐색과 전달의 수단이며 그래프 개수 자체가 분석 목적이 아니다.

2. EDA에서 중요한 변수가 수집되지 않았음을 발견했다. 다음 행동으로 가장 적절한 것은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

  • ① 오답: 정보 부족은 모델 복잡도로 해결되지 않으며 잘못된 일반화를 만들 수 있다.
  • ② 오답: 입력 근거가 부족한 상태의 시각화는 문제를 해결하지 못한다.
  • ③ 오답: 근거 없는 상수는 실제 관측값을 대신하지 못하고 왜곡을 추가한다.
  • ④ 정답: 분석 주기는 순환하므로 발견된 문제를 앞 단계의 정의와 수집에 반영해야 한다.

3. 법령에 명시된 연령·자격 조건을 동일하게 적용하고 판정 이유를 설명해야 한다. 우선 고려할 방법은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

  • ① 정답: 이미 정해진 조건을 투명하게 적용하고 근거를 추적해야 하는 요구에 맞는다.
  • ② 오답: 군집화는 숨은 구조 발견에 적합하지만 법적 조건 자체를 집행하는 방법은 아니다.
  • ③ 오답: 이 사례에는 상태·행동·보상의 연속적 상호작용이 제시되지 않았다.
  • ④ 오답: 기술통계는 현황 요약에는 유용하지만 개별 자격 판정 규칙을 실행하지 않는다.

4. 기술통계와 추론통계를 바르게 구분한 것은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

  • ① 오답: 두 통계 영역의 역할을 서로 뒤바꾸었다.
  • ② 오답: 레이블 학습과 군집은 기계학습 과제이며 두 통계의 구분 기준이 아니다.
  • ③ 정답: 현재 데이터 요약과 모집단 일반화라는 결정적 차이를 정확히 나타낸다.
  • ④ 오답: 규칙 실행과 강화학습의 특징을 통계 영역에 잘못 연결했다.

5. 분류와 군집화를 구분하는 가장 중요한 질문은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

  • ① 오답: 분류와 군집화 모두 둘 이상의 그룹을 만들 수 있어 개수만으로 구분할 수 없다.
  • ② 오답: 표현 형식은 학습 방식의 차이를 결정하지 않는다.
  • ③ 정답: 분류는 레이블을 학습하는 지도학습이고 군집화는 레이블 없이 구조를 찾는다.
  • ④ 오답: 결측치는 전처리 문제이며 분류·군집의 결정적 구분 기준이 아니다.

6. 본문의 배송비 함수에 member=True, order_total=60000, island=True를 입력하면 반환값은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

  • ① 정답: 첫 번째 if island가 참이어서 5,000을 반환하고 함수가 종료된다.
  • ② 오답: 회원·주문액 무료 조건도 참이지만 앞선 섬 조건이 먼저 실행된다.
  • ③ 오답: 기본 배송비는 앞의 모든 조건이 거짓일 때만 else에서 반환된다.
  • ④ 오답: if-elif 구조는 위에서 처음 참인 분기 하나를 선택하므로 결과가 정해진다.

7. 에이전트가 게임 화면을 보고 행동한 뒤 받은 점수를 이용해 장기 전략을 개선한다. 가장 가까운 학습 방식은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

  • ① 오답: 기술통계는 데이터를 요약하며 행동과 보상의 연쇄로 정책을 학습하지 않는다.
  • ② 오답: 비지도학습은 레이블 없는 구조를 찾지만 환경 보상으로 행동 전략을 개선하는 설정과 다르다.
  • ③ 오답: 규칙 기반 방식이라면 사람이 행동 조건을 미리 명시하며 보상에서 정책을 학습하지 않는다.
  • ④ 정답: 환경과 상호작용하며 누적 보상을 높이는 행동 정책을 학습하는 상황이다.

8. EDA의 역할로 가장 적절한 것은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

  • ① 오답: EDA는 모델링 전에 데이터와 질문을 이해하는 탐색이며 단순 장식 단계가 아니다.
  • ② 정답: EDA의 두 접근법과 품질 발견·가설 수립 역할을 함께 설명한다.
  • ③ 오답: 탐색에서 보인 상관은 후속 검토할 가설이며 인과를 자동 입증하지 않는다.
  • ④ 오답: 자동화는 반복 작업을 돕지만 경고와 패턴의 맥락 해석은 분석자가 수행해야 한다.

9. “딥러닝이 최신이므로 명확한 규정 판정에도 언제나 규칙보다 낫다”는 주장에 대한 교정은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

  • ① 오답: 딥러닝과 기술통계는 목적과 작동 방식이 다르고 규정을 평균으로 표현할 근거도 없다.
  • ② 오답: 규칙은 입력 데이터의 조건을 읽어 판정할 수 있으며 데이터 사용 여부가 구분점이 아니다.
  • ③ 오답: 딥러닝은 지도·비지도 등 여러 학습 설정에 쓰일 수 있어 레이블 부재가 필수 조건은 아니다.
  • ④ 정답: 설명 가능성, 데이터 형식과 문제 복잡도를 기준으로 방법을 선택해야 한다.

10. 새 고객 데이터에는 이탈 레이블이 없고, 먼저 행동이 비슷한 집단과 품질 문제를 파악하려 한다. 적절한 시작 조합은?

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

  • ① 오답: 지도 분류는 학습할 이탈 레이블이 필요하며 현재 조건에는 없다.
  • ② 오답: 고객군 발견은 상태·행동·보상 정책 문제가 아니라 레이블 없는 구조 탐색에 가깝다.
  • ③ 정답: 데이터 상태를 먼저 탐색하고 레이블 없는 집단 발견이라는 목적에 맞는 방법을 검토한다.
  • ④ 오답: 단일 평균 기준은 다변량 행동 구조를 반영하지 못하며 집단 수의 근거도 없다.

참고 자료와 작성 기준

이 글은 해당 차시 강의자료를 바탕으로 학습 목적에 맞게 재구성한 비공식 학습자료입니다. 개념 관계, 코드 예제와 문제 해설은 학습자의 이해를 돕도록 구성하고 검토했습니다.

  • 작성·편집: 올에이클래스 학습연구팀
  • 주요 근거: 한국방송통신대학교 컴퓨터과학과, 「오픈소스 기반 데이터분석」 8강 ‘데이터 분석 1’ 강의자료(PDF 생성 정보: 2025년)
  • 편집 원칙: 올에이클래스 편집 정책
  • 최종 내용 검토: 2026-08-30

댓글