방송대 유비쿼터스컴퓨팅개론 14강: 빅데이터의 5V와 처리 파이프라인

방송대 유비쿼터스컴퓨팅개론 14강: 빅데이터의 5V와 처리 파이프라인

데이터가 많다는 사실만으로는 빅데이터를 설명할 수 없습니다. 이 글에서는 데이터의 구조와 5V를 진단하고, 수집에서 분석까지의 처리 흐름에 하둡과 스파크를 배치한 뒤, 활용 가치와 개인정보 보호를 함께 판단합니다.

문제는 ‘큰 파일’이 아니라 다루는 방식의 한계에서 시작한다

빅데이터는 대용량의 정형·반정형·비정형 데이터 집합이며, 이를 수집·저장·분석하여 의미 있는 결과를 도출하는 정보기술까지 아우른다. 따라서 파일 크기 하나만 보고 빅데이터인지 판정하면 부족하다. 기존 데이터베이스와 단일 장비로 감당하기 어려운 양, 빠른 발생 속도, 서로 다른 형식이 함께 나타날 때 분산 저장과 병렬 처리 같은 새로운 접근이 필요해진다.

관계형 데이터베이스가 쓸모없어졌다는 뜻도 아니다. 구조가 일정하고 트랜잭션의 정확성이 중요한 업무에는 여전히 적합하다. 빅데이터 기술은 관계형 데이터베이스가 해결하던 문제를 모두 대체하는 도구가 아니라, 규모와 형태와 속도가 달라진 데이터 문제를 처리하기 위한 확장된 선택지다.

판정 질문: “몇 기가바이트인가?”보다 “현재 방식으로 제때 저장·처리할 수 있는가?”, “형식이 얼마나 다양한가?”, “분석 결과가 실제 의사결정에 쓰이는가?”를 먼저 묻는다.

데이터 유형은 스키마가 얼마나 고정되어 있는지로 구분한다

정형·반정형·비정형의 구분은 내용의 중요도나 파일 크기가 아니라 구조가 미리 정해져 있는 정도에 달려 있다. 같은 서비스 안에서도 주문 테이블, 로그 문서, 고객 사진이 서로 다른 유형으로 공존할 수 있다.

유형	구조 판단 기준	강의 범위의 예	저장·처리 관점
정형 데이터	열과 속성, 값의 규칙이 사전에 명확함	관계형 데이터베이스의 테이블	질의와 무결성 관리가 쉬움
반정형 데이터	일정한 태그·키·메타데이터가 있지만 행·열이 완전히 고정되지는 않음	HTML, XML, JSON, 전자메일의 헤더와 본문	구조를 해석한 뒤 필요한 필드를 추출함
비정형 데이터	미리 정한 테이블 구조로 곧바로 표현하기 어려움	텍스트, 이미지, 오디오, 비디오	내용 분석과 특징 추출 과정이 추가로 필요함

전자메일은 좋은 경계 사례다. 발신자·수신자·제목·날짜는 일정한 필드이지만 본문과 첨부파일의 형식은 다양하므로 전체를 반정형 데이터로 볼 수 있다. 사진 파일도 촬영 시각 같은 메타데이터는 구조화되어 있지만 이미지 픽셀의 의미는 별도 분석이 필요하다.

오개념 교정: 비정형은 ‘아무 구조도 없다’는 뜻이 아니다. 저장 형식이나 내부 패턴은 있을 수 있지만, 관계형 테이블의 고정된 열처럼 분석 목적에 바로 맞는 구조가 없다는 뜻에 가깝다.

5V는 데이터를 다섯 개의 서로 다른 질문으로 진단한다

강의자료는 전통적인 3V인 볼륨·속도·다양성에 정확성과 가치를 더해 5V로 설명한다. 다섯 특성은 체크리스트처럼 독립적으로 살피되 서로 연결해 해석해야 한다.

특성	진단 질문	대표 위험	대응 방향
볼륨(Volume)	한 장비와 기존 도구가 감당하기 어려울 만큼 많은가?	저장 공간과 처리 시간 부족	분산 저장과 병렬 처리
속도(Velocity)	얼마나 빠르게 생성되며 언제까지 처리해야 하는가?	늦은 분석으로 가치 상실	실시간·스트림 처리
다양성(Variety)	테이블·문서·영상·센서값 등 형식이 얼마나 다른가?	통합과 해석의 어려움	유연한 저장 구조와 전처리
정확성(Veracity)	누락·오류·조작 가능성을 통제했는가?	잘못된 패턴과 의사결정	정제, 품질 검증, 출처 확인
가치(Value)	분석 결과가 실제 문제 해결에 기여하는가?	비용만 큰 데이터 축적	목표와 활용 기준을 먼저 정의

직접 구성한 예로, 공장 설비 2만 대가 매초 온도와 진동을 보내고 정비 기록은 표로, 점검 사진은 이미지로 쌓인다고 하자. 장비 수와 누적량은 볼륨, 초 단위 유입은 속도, 센서값·기록·사진의 혼합은 다양성이다. 고장 난 센서의 이상값을 걸러야 한다는 요구는 정확성, 고장을 미리 찾아 정지 시간을 줄이는 목표는 가치에 해당한다.

이 사례에서 저장 용량만 늘리면 볼륨 문제 일부만 해결한다. 이상값을 그대로 학습시키면 정확성이 무너지고, 정비 시점에 결과가 도착하지 않으면 속도 요구를 놓친다. 5V는 빅데이터를 꾸미는 다섯 수식어가 아니라 설계의 누락을 찾는 진단 렌즈다.

가치는 수집이 아니라 네 단계가 연결될 때 생긴다

조직이 빅데이터를 활용하는 과정은 수집, 적재, 처리, 분석의 네 단계로 볼 수 있다. 각 단계의 산출물이 다음 단계의 입력이 되므로 한 단계의 오류가 뒤로 전파된다.

1. 수집: 여러 출처에서 정형·비정형 데이터를 받아들인다. 대용량 파일뿐 아니라 실시간 스트림도 고려한다.
2. 적재: 모은 데이터를 분산 저장장치에 영구 또는 임시로 저장한다. 관계형 데이터베이스와 다른 저장 방식이 필요할 수 있다.
3. 처리: 분석할 수 있도록 데이터를 정형화하고, 오류·중복·불필요한 값을 정제한다.
4. 분석: 패턴과 경향을 찾아 사업이나 조직의 문제 원인을 설명하고 개선 방향을 제시한다.

예를 들어 설비 온도값이 두 번 전송되었다면 수집 자체는 성공했어도 처리 단계에서 중복을 제거하지 않으면 평균이 왜곡될 수 있다. 사진이 저장되었지만 설비 번호와 연결되지 않았다면 적재는 되었어도 분석에 필요한 맥락이 사라진다. 반대로 분석 알고리즘이 정교해도 품질 낮은 입력을 자동으로 올바르게 만들지는 못한다.

파이프라인 추적법: 결과가 이상하면 분석 모델부터 탓하지 말고 출처→수집 시각→저장 위치→정제 규칙→분석 입력을 거꾸로 추적한다. 이것이 단계별 책임을 분리하는 방법이다.

하둡과 스파크는 같은 빅데이터 문제를 다른 실행 방식으로 푼다

대용량 데이터를 한 서버에 몰아넣는 대신 여러 서버에 나누어 저장하고 처리하면 용량과 계산 부하를 분산할 수 있다. 하둡은 이러한 분산 처리를 지원하는 자바 기반 오픈소스 프레임워크이며, 강의자료는 핵심 요소로 HDFS와 맵리듀스를 설명한다.

구성·기술	주된 역할	작동 핵심	판단 단서
HDFS	분산 저장	파일을 블록으로 나누어 여러 서버에 분산·중복 저장	큰 파일, 장애 복구, 데이터 안정성
NameNode	메타데이터 관리	파일과 블록이 어느 DataNode에 있는지 관리	실제 데이터 블록 자체보다 위치 정보를 담당
DataNode	블록 저장과 요청 처리	실제 데이터 블록을 보관하고 읽기·쓰기 수행	저장 작업의 실행 주체
MapReduce	분산 배치 처리	Map에서 부분 작업, Reduce에서 중간 결과를 결합	디스크 중심의 대규모 일괄 처리
Spark	빠르고 유연한 분산 처리	데이터를 메모리에 두고 반복 연산을 줄임	실시간성 또는 반복 계산이 중요한 처리

MapReduce를 단어 수 집계에 적용하면 Map 단계는 각 데이터 조각에서 ‘단어, 1’ 쌍을 만들고, 중간 단계는 같은 단어를 모으며, Reduce 단계는 숫자를 합산한다. 큰 입력을 독립적인 작은 작업으로 나눈 뒤 최종 결과를 결합하는 구조다.

하둡과 스파크를 단순히 구형·신형으로만 나누면 틀리기 쉽다. 하둡은 HDFS와 MapReduce를 중심으로 대용량 저장과 배치 처리에 강하고, 스파크는 메모리 중심 처리로 반복 작업과 실시간 처리에 유리하다. 스파크는 대체로 더 많은 메모리 비용이 필요할 수 있으므로 데이터 규모, 지연 허용 시간, 반복 계산 여부를 함께 보고 선택한다.

활용 분야가 달라도 질문은 비용·예측·경험·위험으로 모인다

빅데이터 분석은 새로운 제품과 서비스 개발, 유지보수, 비용 절감, 고객 경험, 리스크 관리, 인공지능 데이터 처리에 활용된다. 제조업에서는 생산설비 센서와 공정·품질·재고·배송 데이터를 결합하여 고장 사전 진단, 실적 관리, 제품 추적에 적용할 수 있다.

목표	필요한 데이터	분석 결과	성과 확인 질문
예지 보전	센서값, 고장·정비 기록	고장 가능 설비와 정비 시점	돌발 정지와 유지보수 비용이 줄었는가?
실적 관리	라인별 계획량과 실제 생산량	차이와 병목 구간	계획 대비 편차 원인을 찾았는가?
제품 추적	생산·재고·출하·배송 이력	제품의 이동 경로와 상태	문제 발생 구간을 빠르게 좁혔는가?
고객 경험	구매, 검색, 반응 데이터	선호와 이탈 징후	맞춤 서비스가 만족을 실제로 높였는가?
리스크 관리	과거 이상 사건과 현재 징후	위험 가능성과 대응 우선순위	예상하지 못한 상황의 피해를 줄였는가?

데이터를 많이 모았다는 사실은 성과가 아니다. ‘불량률을 낮춘다’처럼 해결할 문제를 먼저 정하고, 필요한 데이터와 분석 결과, 실행 조치, 성과 지표를 연결해야 가치가 생긴다. 목적 없이 축적한 데이터는 보관 비용과 개인정보 위험만 늘릴 수 있다.

정확성과 개인정보 보호는 분석 뒤가 아니라 설계 앞에 둔다

빅데이터는 다양한 경로에서 수집되므로 잘못된 정보, 조작된 값, 중복과 누락이 섞일 수 있다. 분석 전에 출처와 정확성을 확인하지 않으면 큰 데이터가 오히려 잘못된 결론에 더 큰 확신을 줄 수 있다.

개인 맞춤 서비스에는 개인정보가 필요할 수 있지만, 수집 목적과 필요한 범위를 분명히 하고 불필요한 정보는 모으지 않아야 한다. 주민등록번호처럼 개인을 직접 가리키는 식별자를 비식별화하면 위험을 낮출 수 있으나, 그것만으로 항상 안전해지는 것은 아니다.

직접 구성한 예로 이름을 지운 이동 기록에 ‘매일 밤 같은 집에서 출발해 같은 회사에 도착’하는 패턴이 남아 있다고 하자. 다른 공개 정보와 결합하면 개인을 다시 추정할 수 있다. 여러 정보의 조합으로 특정인을 알아내는 재식별 가능성까지 살펴야 한다. CCTV 영상의 일정한 이동 경로 역시 얼굴이 보이지 않더라도 개인정보가 될 수 있다는 강의자료의 경고와 연결된다.

보호 판단 순서: 수집 목적 확인 → 꼭 필요한 항목만 선택 → 직접 식별자 제거·변환 → 다른 정보와 결합했을 때의 재식별 가능성 점검 → 접근 권한과 보관 기간 관리로 이어진다.

새 사례는 여섯 칸으로 분석하면 빠뜨림이 줄어든다

시험이나 실제 사례에서 ‘이것이 빅데이터인가?’를 판단할 때 다음 순서를 사용한다.

1. 목표: 어떤 문제를 해결하고 어떤 가치를 만들려는가?
2. 유형: 정형·반정형·비정형 중 무엇이 섞여 있는가?
3. 5V: 양·속도·다양성·정확성·가치에서 가장 큰 요구는 무엇인가?
4. 파이프라인: 수집·적재·처리·분석 중 현재 병목은 어디인가?
5. 기술: 분산 저장, 배치 처리, 메모리 기반 빠른 처리 중 무엇이 필요한가?
6. 책임: 데이터 품질과 개인정보 위험을 어떻게 통제할 것인가?

온라인 서비스의 클릭 로그를 분석해 추천을 개선하는 사례라면 로그 형식과 이미지·검색어의 다양성을 확인하고, 실시간 추천에 필요한 속도를 정한다. 그다음 저장 공간만 늘릴지, 스트림 처리까지 할지 결정한다. 마지막으로 추천 성과뿐 아니라 잘못된 로그와 과도한 개인정보 수집도 점검해야 전체 설계가 완성된다.

핵심 개념 정리

• 빅데이터는 대용량 정형·반정형·비정형 데이터와 이를 수집·저장·분석해 의미를 찾는 기술을 함께 가리킨다.
• 데이터 유형은 스키마의 고정 정도로 구분하며, 반정형 데이터는 일정한 태그나 키를 가지지만 행·열 구조가 완전히 고정되지는 않는다.
• 5V는 볼륨, 속도, 다양성, 정확성, 가치이며 각각 용량·시간·형식·신뢰·목적의 문제를 진단한다.
• 처리 과정은 수집→적재→처리→분석으로 이어지고, 앞 단계의 품질 문제가 뒤 단계 결과에 전파된다.
• HDFS는 파일을 블록으로 분산·중복 저장하고, NameNode는 위치 정보, DataNode는 실제 블록을 담당한다.
• MapReduce는 부분 작업과 결과 결합에 적합한 배치 처리 방식이고, Spark는 메모리 중심으로 반복·실시간 처리를 빠르게 수행한다.
• 활용 가치는 데이터 양이 아니라 문제 해결과 실행 가능한 결과에서 생긴다.
• 비식별화 뒤에도 다른 정보와 결합한 재식별 가능성을 점검해야 한다.

빅데이터 사례를 만나면 먼저 목적과 데이터 유형을 확인하고, 5V 중 무엇이 기존 방식을 어렵게 하는지 찾는다. 이어 수집·적재·처리·분석의 병목에 맞추어 HDFS·MapReduce·Spark 같은 기술의 역할을 배치한다. 마지막으로 결과가 실제 가치를 만드는지, 데이터 품질과 개인정보 위험을 통제했는지 확인해야 ‘많은 데이터’를 ‘쓸 수 있는 데이터’로 바꿀 수 있다.

예상문제 10선

1. 강의자료의 빅데이터 개념을 가장 잘 설명한 것은?

① 크기가 큰 정형 테이블만을 뜻한다. ② 대용량의 여러 유형 데이터와 이를 분석해 의미를 찾는 기술을 함께 가리킨다. ③ 인터넷에서 생성된 데이터는 크기와 관계없이 모두 빅데이터다. ④ 분석하지 않고 오래 저장한 데이터만을 뜻한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: 정형 데이터뿐 아니라 반정형·비정형 데이터도 포함한다.
• ② 정답: 데이터 집합과 수집·저장·분석 기술을 함께 설명한다.
• ③ 오답: 생성 장소 하나로 빅데이터를 판정하지 않는다.
• ④ 오답: 의미 있는 결과를 도출하는 분석과 활용이 중요하다.

2. 전자메일을 반정형 데이터로 분류하는 근거로 가장 적절한 것은?

① 모든 메일 본문이 동일한 길이이기 때문이다. ② 메일은 숫자만 저장하기 때문이다. ③ 관계형 테이블의 열이 항상 고정되어 있기 때문이다. ④ 발신자·날짜 같은 필드는 구조화되어 있지만 본문과 첨부 형식은 다양하기 때문이다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: 본문의 길이와 표현은 일정하지 않다.
• ② 오답: 문자·파일 등 여러 형태를 포함한다.
• ③ 오답: 고정된 테이블 구조는 정형 데이터의 특징이다.
• ④ 정답: 일정한 메타데이터와 유연한 내용 구조가 함께 있다.

3. SNS에서 수집한 정보에 오류와 조작이 섞였는지 확인하는 5V 특성은?

① 볼륨 ② 속도 ③ 정확성 ④ 다양성

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: 볼륨은 데이터 양의 문제다.
• ② 오답: 속도는 생성·처리의 시간 요구다.
• ③ 정답: 오류·누락·조작 가능성과 데이터 신뢰성을 다룬다.
• ④ 오답: 다양성은 데이터 형식과 출처의 차이를 가리킨다.

4. 빅데이터 분석의 네 단계가 올바르게 배열된 것은?

① 수집 → 적재 → 처리 → 분석 ② 분석 → 수집 → 처리 → 적재 ③ 적재 → 분석 → 수집 → 처리 ④ 처리 → 분석 → 적재 → 수집

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: 원천 데이터를 모아 저장하고 정제한 뒤 패턴과 의미를 찾는다.
• ② 오답: 분석할 입력을 수집·적재하기 전에 분석할 수 없다.
• ③ 오답: 저장할 데이터는 먼저 수집되어야 한다.
• ④ 오답: 처리와 분석은 수집·적재된 데이터를 전제로 한다.

5. HDFS에서 파일 블록의 위치 같은 메타데이터를 관리하는 구성 요소는?

① DataNode ② NameNode ③ Reduce 함수 ④ 센서 스트림

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: DataNode는 실제 데이터 블록을 저장하고 요청을 처리한다.
• ② 정답: NameNode는 파일과 블록 위치에 관한 정보를 관리한다.
• ③ 오답: Reduce는 처리 결과를 결합하는 연산 단계다.
• ④ 오답: 센서 스트림은 저장 시스템의 관리 노드가 아니다.

6. 반복 계산과 빠른 실시간 처리가 중요할 때 강의자료가 제시한 기술은?

① 관계형 테이블의 열 고정 ② DataNode의 이름 변경 ③ 디스크만 사용하는 단일 서버 처리 ④ 메모리 중심으로 데이터를 처리하는 Spark

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: 스키마 특성이지 빠른 분산 처리 기술이 아니다.
• ② 오답: 노드 이름 변경은 처리 성능 해법이 아니다.
• ③ 오답: 단일 서버의 디스크 중심 처리는 해당 요구와 맞지 않는다.
• ④ 정답: Spark는 메모리 기반 처리로 반복 연산과 실시간 처리에 유리하다.

7. MapReduce에서 여러 부분 결과의 같은 키를 모아 최종 값을 만드는 단계는?

① Reduce ② 수집 ③ 비식별화 ④ NameNode 복제

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ①

• ① 정답: Reduce는 Map의 중간 결과를 키별로 결합해 최종 결과를 만든다.
• ② 오답: 수집은 원천 데이터를 받아들이는 파이프라인 단계다.
• ③ 오답: 비식별화는 개인정보 보호 방법이다.
• ④ 오답: NameNode의 역할과 Reduce 연산을 혼동한 표현이다.

8. 빅데이터 활용에 관한 설명으로 가장 적절한 것은?

① 데이터 양이 많으면 목표가 없어도 자동으로 가치가 생긴다. ② 분석 모델이 정교하면 잘못된 입력 데이터는 확인할 필요가 없다. ③ 해결할 문제와 실행 조치까지 연결해야 분석 결과가 가치가 된다. ④ 비정형 데이터는 저장할 수 없으므로 모두 버려야 한다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ③

• ① 오답: 목적 없는 축적은 비용과 위험만 늘릴 수 있다.
• ② 오답: 입력 품질 문제는 결과의 정확성을 무너뜨린다.
• ③ 정답: 가치 특성은 문제 해결과 의사결정 기여로 판단한다.
• ④ 오답: 비정형 데이터도 분산 저장과 내용 분석의 대상이다.

9. 이름과 주민등록번호를 지운 이동 기록의 개인정보 위험을 가장 바르게 판단한 것은?

① 직접 식별자를 지웠으므로 어떤 경우에도 안전하다. ② 다른 정보와 결합해 개인을 추정할 수 있는지 재식별 가능성을 점검해야 한다. ③ 이동 기록은 숫자로 표현되므로 개인정보가 될 수 없다. ④ 데이터 양이 적으면 수집 목적을 확인하지 않아도 된다.

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ②

• ① 오답: 남은 속성 조합으로 다시 개인을 알아낼 수 있다.
• ② 정답: 비식별화 이후에도 결합에 따른 재식별 위험을 살펴야 한다.
• ③ 오답: 표현 형식이 숫자인지는 개인정보 판단 기준이 아니다.
• ④ 오답: 최소 수집과 목적 명확화는 양과 무관하게 필요하다.

10. 공장 센서 데이터의 분석 결과가 늦고 이상값 때문에 오판까지 발생했다. 우선 함께 점검할 5V는?

① 다양성과 가치만 ② 볼륨과 다양성만 ③ 가치와 볼륨만 ④ 속도와 정확성

정답입니다.

오답입니다. 답안을 다시 선택해 보세요.

정답 및 해설 보기

정답: ④

• ① 오답: 늦은 처리와 이상값이라는 직접 단서를 모두 설명하지 못한다.
• ② 오답: 형식과 양보다 시간 지연과 신뢰 문제가 명시되어 있다.
• ③ 오답: 목표와 용량만으로 이상값 문제를 진단할 수 없다.
• ④ 정답: 결과 지연은 속도, 이상값으로 인한 오판은 정확성의 문제다.

참고 자료와 작성 기준

• 주요 출처: 한국방송통신대학교 유비쿼터스컴퓨팅개론 강의록 14강 「빅데이터」, 1~66쪽. 67쪽의 15강 예고는 본문 범위에서 제외했다.
• 작성·편집: 올에이클래스 학습연구팀
• 콘텐츠 성격: 강의자료를 학습 목적에 맞게 재구성한 비공식 학습자료
• 외부 보충 자료: 사용하지 않음
• 편집 정책: 올에이클래스 편집 정책
• 검토일: 2026년 9월 7일